论文部分内容阅读
随着大规模复杂网络的迅速发展,在高速、宽带的网络环境下网络数据往往以数据流(Data Stream)的形式出现,这些数据或数据的属性必须按照顺序存取且只能被读取一次或有限次,而不能随机存取,且是源源不断,甚至于无限的,往往又是高维的,如何从大量动态变化的数据中快速获取有用信息具有非常重要的意义。正是网络安全应用的迫切需求,造成了基于数据流挖掘的入侵检测研究在国内外也取得比较丰硕的成果。数据流挖掘是数据挖掘的一个新的研究方向,数据流分类作为数据流挖掘的重要方面,得到了国际数据库领域专家们的广泛而深入的研究。基于数据流分类的网络入侵检测研究也受到了网络安全学界的关注,国内外有些会议或论文关注到了其相关应用研究,但还没有具体的相关产品。传统基于离线数据集和全部数据集的等同学习的入侵检测方法不能适应于高速网络环境,海量的网络数据流不可能全部存贮到固定的磁盘空间,而且网络的入侵模式也随着时间不断变化,离线方式不能及时发现对网络的入侵行为,基于数据流分类的集成模式可以有效地适应高速大流量的网络入侵检测。基于数据流分类的网络入侵检测研究有极大的挑战性,其中主要需要解决两个困难问题:一是数据流分类的概念漂移(Concept Drift)问题;另一个是在类不平衡的网络数据流中分类问题。在网络入侵中,攻击手段和网络流量经常发生变化;在巨大的网络流量中,有类标的数据要远远少于无类标的数据,而当前研究在线入侵检测系统也面临这两个难题。本文结合了入侵检测技术和数据流分类挖掘技术,设计了适应大规模、高速网络数据流的异常检测系统模型以及检测算法,主要讨论了网络数据流分类中概念漂移现象的解决方案,以及在类不平衡的网络数据流环境中的在线分类,并进行了相关模拟测试与分析,证明该系统有较高的检测率和较低的误报率,通过对比发现该系统的性能超过了传统的入侵检测方法,有较高的应用价值。