随着互联网的迅速发展，网络安全问题日益严重，安全威胁事件逐年上升，近年来的增长态势变得尤为迅猛。与此同时，经济利益的驱动和网络攻击技术门槛的降低使得异常流量也呈爆炸式的增长趋势，尤其是网络蠕虫、端口扫描、分布式拒绝服务攻击(DDoS)、网络滥用等异常流量占用了大量带宽，导致网络负担过重和性能下降。因此有效、快速地检测网络中的异常流量，然后对不同类型的异常流量采用不同的控制策略，从而保障互联网中用户的正常网络行为显得十分重要。 本论文对局域网内的异常流量检测系统的关键技术展开研究，提出了一些新的检测算法和检测模型，主要内容包括： (1)提出了一种基于信息熵理论的特征选择算法。文中的实验数据采集自局域网内防火墙的真实数据，该数据集是拥有19个属性的高维数据，即有离散型属性又有连续性属性的异构数据集。维数高、数据量大必然导致算法处理的速度缓慢，同时这些属性对算法的有效性贡献也不同，如果对它们相同对待会导致算法有效性下降。在这种考虑下，首先计算属性的重要系数，删除重要系数小于一定阈值的属性，得到重要属性集；然后计算属性间的冗余系数，删除冗余属性，得到精简的属性集；最后用ID3算法对精简的属性集进行了验证，结果表明这种属性选择算法是有效的。 (2)通过分析局域网内网用户利用P2P软件进行大流量下载的特点，将数据挖掘技术应用于P2P流量的检测中，提出了局域网内检测P2P流量的新算法。根据领域知识，有效克服了关联算法在这个领域中的局限性，并优化了数据挖掘中的关联算法，通过实验证明优化的算法提高了检测的效率。最后将挖掘出的规则与防火墙系统联动，限制局域网中大规模的下载，提高校园网的利用效率。 (3)提出了一种改进的聚类算法用于检测局域网中P2P下载，进一步提高了检测P2P下载的效率。首先，根据P2P下载流量的特点，提出了一种基于二元变量法度量两个记录之间距离的新方法；然后，提出了一种基于相似度和密度的聚类方法，用于检测P2P流量。实验表明该算法的优点不仅能够检测出未知种类的P2P下载，基本满足系统实时性检测的要求，而且在时间上比关联算法进行挖掘效率高。 (4)针对P2P下载和网络蠕虫具有相似的搜索机制，造成检测和定位网络蠕虫困难的问题，提出了一种融合危险模式和ID3分类方法的检测算法(DM-ID3)。实验结果表明该算法能成功地检测出网络蠕虫，且误警率低。 (5)异常流量的检测大多是分而治之的，如将网络蠕虫的检测作为一个单独的课题进行研究，不考虑其它异常流量的影响，而实际的网络环境中各种异常流量往往是并发的。针对这个问题，提出了一种能够检测拒绝服务攻击(DoS)、网络蠕虫、P2P下载等异常流量类型的通用模型。首先，用基于危险模式的网络异常流量的检测算法检测出的异常流量的存在；然后，依据基于有序度的ID3算法(OD-ID3)对异常流量进行分类，将异常流量分为DoS、蠕虫、P2P下载、其他四种类型；最后，将检测到的不同类别的异常流量和防火墙进行联动，采取不同的控制方法。实验结果表明该方法的优点是无指导、实时性强，检测率高。