基于分布式的网络流量采集分析系统的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xiangqiuli8609
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前一方面随着网络规模的日益扩大和网络速度的不断提升,网络流量呈现出惊人的几何增长趋势,海量网络流量的处理面临严峻的挑战,另一方面网络上的应用种类丰富多样,大大改变了互联网的流量结构和流量模式,对网络流量进行不同层次的分析尤为重要。   本文通过利用PF_RING和libpcap技术对网络流量进行采集和存储,设计了一种新型的高速网络数据采集系统,对流量零拷贝技术进行了深入的研究和探索;同时结合在海量数据处理方面有突出优势的的云计算技术,在分布式Hadoop开源云计算平台的基础架构上运用Hive数据仓库对海量的网络流量数据进行统计分析展示,并对比研究Hive在检索速度方面和传统关系型数据库的异同;流量分析方面利用正则表达式匹配技术对应用层数据进行协议识别,设计了一种新型的对应用层数据进行协议识别和分析的框架。搭建环境实验结果表明,本文设计的流量采集分析系统在高速网络下能够降低网络丢包率和提高系统吞吐量,同时流量分析子系统的统计分析和协议识别也在工程性领域具有良好的应用前景。
其他文献
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
中国经济的快速增长很大程度上依靠资源高消耗实现的,是一种粗放型的增长方式,人口、资源和能源以及环境的压力制约着经济的进一步发展。如何改变传统的粗放型经济发展的模式,使
随着人类社会文化和经济的不断发展,海量信息的交换与传输已经成为人们生活中与衣食住行一样不可缺少的一环。通信技术在近十年内呈现出异常繁荣的发展状况,各种形式的网络如雨
不同于传统路由器对信息的“存储—转发”处理方式,网络编码允许网络中某些中间节点在对流经的信息进行编码组合然后再转发,即“编码—转发”的工作方式,这样能够获得基于“
全光网络的快速发展要求光信号的传输、交换均在光域进行。但是在光交换方面,目前大多的交换都需要光-电-光的转换过程,这主要是由光缓存技术的非全光性造成的。随着调相信号在
班主任与学生建立良好的师生关系,有利于教学活动与教学管理工作的顺利开展.因此,在小学班级管理工作中,班主任要积极运用情感教育,加强与学生的沟通交流,拉近师生距离,从而
学位
随着通信技术的发展,第三代移动通信网络已经逐渐普及。为了满足人们对无线通信传输速率及通信业务越来越高的要求,可至少支持100Mbps传输速率的第四代移动通信系统IMT-Advance
Ad-Hoc网络因为具有无中心、自组织、不需固定基础设施等优点,使其近些年来成为无线通信领域的研究热点。在Ad-Hoc网络中,为了使得节点之间相互可以通信,路由协议成了必不可
“多规合一”不是简单地、机械地把各类规划叠加整合集成在一张图上,“多规合一”是利用信息化手段建立统一的城市空间规划体系,实现统筹发展的方法和平台.