论文部分内容阅读
网络流量监测对于网络流量计费、资源规划、流量控制和流量工程等至关重要。随着Internet的快速发展,带宽不断增加,高速链路对实时网络流量监测提出挑战。由于监测设备软硬件性能的限制,基于采样技术实现流量监测分析成为一种重要方法,也是IETF的IPFIX和PSAMP工作组推荐的方法。
本文在充分调研国内外相关技术基础上,分析现有基于概率的采样、基于流的采样以及基于数据包的采样方法的优缺点。较小流于网络流量异常监测十分重要,但现有采样方法对于小业务流的估计非常不精确,例如固定概率采样忽略掉比例超过80%的较小业务流。数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(Sketch Guided Sampling)采样方法可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低。
基于SGS方法,本文提出一种自适应实时网络流量的采样方法SRGS(Sketch and Resources Guided Sampling)。该方法将系统处理能力作为设计采样方法的重要参数,当超过系统处理能力时,采用预测采样速率及强制采样的方法,及时调整采样概率,使得系统的实际采样速率尽快调整到系统能够承受的范围之内。实验结果表明,SRGS方法能够及时根据流大小和监测系统处理能力,调节数据包采样概率。通过对实际网络链路Trace的统计分析发现,当系统处理能力不足时,在丢包率为50%的情况下,SRGS方法将对流大小估计的平均相对误差由31.37%降低到2.60%。
SRGS方法由于采用数据流算法,因此对于每个数据包处理会增加三次对内存的访问操作,针对链路速度不断增加并允许牺牲一些流大小估计准确性的任务而言,论文在SRGS工作的基础上,提出一种改进的数据包采样方法FRGS(Feedback and Resources Guided Sampling)。FRGS方法利用对流大小估计值的反馈值代替数据流算法,这样不仅节省了数据存储空间,而且也提高了处理效率。为了提高对较小流的准确估计,FRGS方法也采用强制采样的策略。实验结果表明,提出的FRGS方法相对SGS方法取得了明显的改善,能够对资源受限下的高速链路数据包进行实时采样,并能够准确估计流大小分布,其平均相对误差相比SGS方法由37.38%降低到4.92%。