基于数据相关性的异常检测算法研究

来源 :北京交通大学 | 被引量 : 10次 | 上传用户:A123456_gam
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及和信息技术的发展,异常检测已经逐渐成为数据挖掘领域的研究热点。异常检测旨在检测出观测数据中的非正常值,被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在这些领域中,异常数据的产生,相对于大量存在的正常数据,可以被视作一种随机现象,它通常不符合正常数据的数据模式,也不具备正例样本所具有的数据相关性。数据的相关性包含数据内部样本属性之间的相关性以及数据样本间的相关性,即结构相关性。研究如何有效利用正常数据和异常数据在数据相关性上的差异性有助于提高异常检测性能。为此,本文围绕数据属性相关性和数据结构相关性进行了深入细致的研究,并取得了一定的研究成果。本文的主要研究成果包括:(1)为解决多视角数据以及高维数据的异常检测问题,本文从数据属性相关性角度出发,提出了一种基于随机相关编码的异常检测算法。该算法将高维数据随机划分为多视角数据,并通过随机典型相关编码提取多视角数据集中不同视角和属性间的相关性构建RCCE特征空间。在RCCE特征空间基础上利用基于Rayleigh分布的判决模型对正常数据和异常数据属性相关性的差异进行统计分析以实现对测试样本的集成判决;(2)在异常检测中,正常数据通常具有异常数据所不具备的某种数据结构相关性,即数据的内蕴结构。为此,本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构,并通过多重标签传递来构建未标记正例样本与待测试样本标签置信度的差异。最后,基于正例样本的标签置信度的统计特性分析,实现对测试样本的异常性判决;(3)针对现有基于聚类的异常检测算法的局限性,本文利用超图的优势,提出了一种基于超图聚类的异常检测算法。该算法首先通过超图聚类实现对数据结构的描述,然后对得到的聚类结果利用基于关联度的判决模型对局部结构相关性进行分析,并将数据结构相关性上的差异转换为关联度的差异,最后通过对关联度差异的统计分析实现对测试样本的异常判决。
其他文献
多输入多输出空间分集技术能够明显降低无线信道衰落的影响,提高无线通信的质量,特别在提高系统容量和频谱利用率方面。但是这种技术受制于移动终端制造水平,可能无法内置多个天
同轴电缆宽带接入网技术(HINOC,HIghperformanceNetworkOverCoax)是“三网融合”方案中光纤用户到家庭用户之间的传输解决方案。该技术由我国科技工作者自主提出,利用有线电视
MIMO(Multiple Input Multiple Output,多入多出)可以在不增加带宽的条件下成倍地提高系统的吞吐量,因此第四代移动通信将MIMO技术作为一种关键技术,而协作多点传输(Coordinated
随着印刷行业的快速发展,印刷企业对于产品成本及产品质量的控制愈加重视,自动化印刷品表面质量检测成为印刷行业检测的主要方式。在检测前,工人们通常会采集一幅合格样品的
本文主要研究宽带无线OFDM传输系统频谱感知技术。论文首先介绍了认知无线电技术的概念和发展,阐述了频谱感知技术的基本概念、原理以及当前的最新研究进展;分析了频谱感知的基
在无线网络中,用户间合作技术可以提高网络性能,但分布式的公平合作方案设计仍然是个挑战。本文主要研究基于联盟博弈的资源分配和多业务调度问题,并对其进行了性能分析和仿真验
随着近年来国家对“三网融合”的大力推进,目前骨干网络已经实现了光纤化,“最后一百米”的接入网速率成为了整个网络系统的瓶颈[1]。HINOC(HighperformanceNetworkoverCoax,高性
近年来,随着计算机通信技术的飞速发展和互联网商业模式的急速转变,基于网络的应用随处可见。随着网络应用的普及,数据量急剧增加,对计算平台的存储能力和计算速度提出了严峻挑战
由成千上万廉价微型的传感器节点组成的无线传感器网络,能够实时的掌控监测区域的动态,给人们的生活带来便利。无线传感器网络作为新兴的高新产业,在军事应用、智能家居和智能交
移动IPv6技术在近几年引起了广大学者的热切关注,其中移动节点在移动过程中的切换技术是移动IPv6技术的关键技术之一,这也是目前移动IPv6技术研究的热点。随着IEEE802.11无线局