业务流监测中的数据包采样技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:xtmpjordan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量监测对于网络流量计费、资源规划、流量控制和流量工程等至关重要。随着Internet的快速发展,带宽不断增加,高速链路对实时网络流量监测提出挑战。由于监测设备软硬件性能的限制,基于采样技术实现流量监测分析成为一种重要方法,也是IETF的IPFIX和PSAMP工作组推荐的方法。   本文在充分调研国内外相关技术基础上,分析现有基于概率的采样、基于流的采样以及基于数据包的采样方法的优缺点。较小流于网络流量异常监测十分重要,但现有采样方法对于小业务流的估计非常不精确,例如固定概率采样忽略掉比例超过80%的较小业务流。数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(Sketch Guided Sampling)采样方法可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低。   基于SGS方法,本文提出一种自适应实时网络流量的采样方法SRGS(Sketch and Resources Guided Sampling)。该方法将系统处理能力作为设计采样方法的重要参数,当超过系统处理能力时,采用预测采样速率及强制采样的方法,及时调整采样概率,使得系统的实际采样速率尽快调整到系统能够承受的范围之内。实验结果表明,SRGS方法能够及时根据流大小和监测系统处理能力,调节数据包采样概率。通过对实际网络链路Trace的统计分析发现,当系统处理能力不足时,在丢包率为50%的情况下,SRGS方法将对流大小估计的平均相对误差由31.37%降低到2.60%。   SRGS方法由于采用数据流算法,因此对于每个数据包处理会增加三次对内存的访问操作,针对链路速度不断增加并允许牺牲一些流大小估计准确性的任务而言,论文在SRGS工作的基础上,提出一种改进的数据包采样方法FRGS(Feedback and Resources Guided Sampling)。FRGS方法利用对流大小估计值的反馈值代替数据流算法,这样不仅节省了数据存储空间,而且也提高了处理效率。为了提高对较小流的准确估计,FRGS方法也采用强制采样的策略。实验结果表明,提出的FRGS方法相对SGS方法取得了明显的改善,能够对资源受限下的高速链路数据包进行实时采样,并能够准确估计流大小分布,其平均相对误差相比SGS方法由37.38%降低到4.92%。
其他文献
本文主要研究基于点特征的图像匹配算法。点特征是图像上具有明显特性并能够把目标标识出来的点,它可以较好的描述目标的特征。点特征检测和图像匹配技术在计算机视觉和图像理
片上多处理器(CMP)是当前主流的微处理器体系结构,它利用现有的海量晶体管资源在单个芯片上集成多个处理器核,通过多核并行执行的方式开发指令级和线程级等各个层面的并行度来
当计算机网络应用的日益普及,伴随而来的是一系列的网络安全问题,入侵检测技术作为一种主动的信息安全保障措施,备受关注。 本文首先以网络安全为基础,介绍了入侵检测的概念、
Petri网提供了一种以图形和数学为基础的形式化建模方法。现在它已经成为建模和分析工业系统的成熟工具,其应用领域也越来越广泛,涉及到工作流管理,软件工程,并发程序设计,异步电
P2P是由若干互相对等的网络结点组成的一种网络结构,其中每个网络节点称为对等点,对等点消除了服务器和客户端间的角色差别,通过它们之间的信息直接交换完成计算和信息的共享.JX
压缩感知理论是近几年兴起来的一门新的信号采样理论,它打破了传统信号采样理论在采样频率方面的限制,引起了学术界的巨大轰动。传统信号采样理论包含了四个方面的内容:采样、
随着国际化交流日益频繁,多语人才的需求越来越迫切,口语测试的普及率、公平性受到广泛关注。面对传统的口语测试所带来的时空受限、组织成本高、评估主观性强、反馈信息单一等
本文是基于机器学习中的局部加权学习(Locally Weighted Learning,简称LWL)进行了深入的研究,这种学习方法既可用于回归问题(局部加权线性回归),又可用于分类问题(局部加权朴素
在传统的客户机/服务器(Client/Server,C/S)体系架构的企业应用系统开发中,数据一般存放在服务器上,应用程序一般存放在客户端计算机上。这样的系统虽然解决了数据共享等问题,但
数据压缩技术是多媒体领域的重要研究方向之一。由于多媒体数据量非常巨大,海量多媒体数据的存储和传输成为多媒体应用所面临的主要问题。通过使用数据压缩技术,对多媒体数据进