【摘 要】
:
随着信息化规模的不断扩大,网络流量数据呈现爆炸式增长,给网络流量异常检测带来了巨大的挑战。网络流量异常检测可以帮助管理人员分析大规模复杂网络中的流量情况,及时发现网络
论文部分内容阅读
随着信息化规模的不断扩大,网络流量数据呈现爆炸式增长,给网络流量异常检测带来了巨大的挑战。网络流量异常检测可以帮助管理人员分析大规模复杂网络中的流量情况,及时发现网络中的异常情况,进行网络安全态势的预测,确保网络安全运行,它是网络安全和网络管理的关键技术之一。由于网络环境和系统中存在着大量的多源、异构的网络流量数据,如何快速、有效地实现这些流量数据的异常检测,是网络安全领域的一个新的课题。因此,利用高效的机器学习算法(隔离森林和深度森林)以及Spark大数据处理平台来实现网络流量异常检测的智能化并行处理。论文的主要创新工作如下: 针对大规模复杂网络,采用层次化思想,并结合大数据并行处理技术,提出一种基于大数据平台的并行网络流量异常检测系统模型。该系统模型层次化地分为数据采集层、数据预处理层、网络流量异常检测层及应用服务层,模型架构在大数据并行处理平台之上,并依据该模型设计了相应的原型系统,验证了该模型的有效性。 为了解决大规模网络流量数据的处理与单一节点计算瓶颈之间的矛盾问题,提出一种基于Spark与隔离森林的并行网络流量异常检测方法。该方法借鉴隔离森林算法和Spark技术各自在网络流量异常检测与大数据处理方面的优势,将隔离森林算法的建树过程及异常评估过程实现并行化。实验结果表明,与单机环境下的网络流量异常检测方法相比,所提方法在保持较高准确率的同时具有较快的执行效率,并克服了隔离森林算法处理数据集规模受限于内存最大容量的缺陷;并与基于Hadoop集群环境下的并行网络流量异常检测方法进行比较,所提方法避免MapReduce频繁的磁盘I/O操作,提升了迭代效率,大大减少了数据处理时间,提高了网络流量异常检测的执行效率。 为了解决大规模网络流量数据异常检测性能不佳的问题,提出了一种基于深度森林的网络流量异常检测方法,并给出了基于Spark和深度森林的并行网络流量异常检测框架。该方法通过多粒度扫描结构实现网络流量数据的特征转换,然后通过级联森林结构进行逐层处理并得到最终的异常检测结果。实验结果表明,与隔离森林和支持向量机的异常检测方法相比,该方法在准确率、泛化能力及稳定性方面表现最优,且异常检测模型具有较高的稳定性,适应于大规模复杂网络流量异常检测的处理。
其他文献
移动Ad Hoc网络的自组织、可自愈等特性,使其适用于网络环境动态变化的军事领域及灾后应急通讯等民用领域。移动Ad Hoc网络的拓扑结构直接影响网络抗毁性、网络容量、网络通
摘 要:在工程建设与施工中,进行工程建设以及施工的监理是对于工程建设施工进度以及工程的建设施工质量进行保证的有效措施之一。本文对我国建筑工程监理的现状及问题进行分析,提出相应的对策。 关键词:工程建设;工程监理;监理制度 中图分类号:K826.16 文献标识码:A 文章编号: 一、 工程监理现状 根据 2011年对全国 6512个建设工程监理企业的调查,我国工程监理无论是企业和从业人员数
随着网络技术的飞速发展,为适应网络新业务的数目和需求持续增长,终端使用多家乡技术接入网络的方式逐渐兴起。使用多家乡技术既可以为用户带来便利和更高质量的服务,又可以
临近空间信息网由地面到海拔100公里以下范围内节点组成,是一种天空地一体化的新型自组织网络,在情报收集、侦察监视、通信保障等方面具有显著的应用优势。高效的成簇方案对于
正交频分复用(OFDM,Orthogonal Frequency Division Multiplexing)技术能有效地克服宽带产生的多径干扰,显著降低接收端均衡器的复杂度。多输入多输出(MIMO,Multiple Input M
认知无线电技术被列为解决无线频谱资源短缺问题的核心技术之一。频谱资源占用模型研究则侧重于提取授权用户的频谱使用特征,为认知无线电中的资源共享策略、系统性能评估等
摘要:本文从施工的角度,介绍了泽口闸围堰施工中采用吹填技术进行实施的情况及吹填围堰施工技术的优点,该围堰相比其它类型围堰省时,高效,综合效益明显, 运用于江河湖泊围堰、挖河清淤、放淤固堤、引河便桥与各种水利防护水工程的圈堵及临时道路的修筑,推广前景广阔,以供今后省内类似围堰工程参考。 关键词:泽口闸、围堰、吹填 中图分类号:TU473.5文献标识码: A 文章编号: 一、概述 1.1、工程
近年来,人们对通信的需求日益增长,对移动通信系统的信道容量和传输速率也有了更高的要求。正交频分复用(OFDM)和多入多出(MIMO)技术成为了移动通信领域的研究热点,并且广泛
胎儿心电图信号(FECG)是胎儿心脏活动的最源发性信号,直接反映了胎儿在孕期中的成长和健康情况,通过胎儿心电图的检查,能够早期发现胎儿生长发育过程中的异常状况,是对胎儿宫内安
摘要: 屋顶绿化作为一种绿化模式. 在开拓城市绿色空间,改善城市生态环境方面有着重要的意义.本文对屋顶绿化的发展历史、建造形式、功能、设计原则和植物配置原则等方面进行探讨,以期为城市屋顶绿化的推广提供参考. 关键词:屋顶绿化;功能;规划设计;植物配置 Abstract: as a kind of roof greening greening model. In exploit the urba