一般/特殊知识的发现方法及其依赖关系的挖掘

来源 :云南大学 | 被引量 : 0次 | 上传用户:tegger
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异常检测是数据挖掘领域的研究方向之一。最初在对数据的统计分析中,样本数据中存在一些数据点,它们很明显地偏离大多数样本数据的分布区域,这些点被称为例外。例外数据可能是由于一些监测或统计上的错误造成的,因此为了使数据更可靠,需要将这些例外数据从样本数据中剔出。随着更多学者加入到例外的研究中来,例外的概念也随着不同领域的共同研究而被扩展。例外数据不单单是监测或统计上的错误,还有可能是另一种机制产生的数据,这些数据因为与众不同而更加引起研究者的注意。不同领域的研究者提出不同的名称来描述例外监测,如:欺骗行为检测,入侵监测,异常监测等。   从统计角度来看,人们把低概率发生的事件看成异常,以区分正常。传统的统计方法发现异常需要假设数据所满足的概率模型,并且不能很好地同时支持连续数据和分类数据。我们认为人们对正常和异常的划分是一种思维概念的划分,本文基于模糊统计方法,把事件发生的概率与隶属度联系起来,得到数据对“正常”的隶属函数和对“异常”的隶属函数。本文的方法不假设数据的概率模型,也能同时支持连续数据和分类数据。对于传统的统计方法需要设定阈值来划分正常和异常,本文采取正常隶属函数与异常隶属函数的交点来划分正常和异常,从而避免寻找一个合适的阈值的问题。实验表明本文方法有很好的检测率。   挖掘不同数据间发生异常的依赖关系也很有必要,不同数据间异常的依赖关系,能为我们提供决策支持和预测推断。目前已有的工作使用关联规则来挖掘数据间异常的依赖关系,但不能进行推理。贝叶斯网是不确定性知识表示和推理的有效工具。在异常发现的基础上,本文基于贝叶斯网挖掘不同数据间正常和异常的概率依赖关系,描述这样关系的贝叶斯网称为“一般/特殊贝叶斯网”。我们将能引起系统整体状态变化的因素称为系统中的关键影响因素,发现关键影响因素有着重要意义,在监控中,关键影响因素是需要重点监控的对象,或者是对系统调整的首要对象。把贝叶斯网看作一个系统,系统中的每个因素就是贝叶斯网的一个节点,我们对一般/特殊贝叶斯网进行推理,并基于一种距离度量公式,将概率推理关系构建成描述节点间的影响特征强度,通过一个阈值来划分影响特征强度,从而发现关键影响因素集合。
其他文献
随着3d虚拟场景技术应用的深入,人们对虚拟场景的真实感和复杂程度都有了更高的要求,虚拟场景建模技术研究也成为近年来国内外的一个热点,有很广泛的实用价值以及应用前景。凭借
在网络技术和网络应用飞速发展的今天,网络管理方法和技术显得越来越重要。网络管理作为网络技术研究的重要领域,它使得各通信网络能够稳定、高效、持续地运转,为社会生产和生活
随着互联网技术的发展,信息隐藏作为网络环境中一种新的保密通信手段,其应用得到迅速发展。然而,信息隐藏技术既可被国家用于安全、可靠地传送机密信息,也可被犯罪分子用于计划和
人形机器人是一种集环境感知、动态决策与规划、行为控制与执行等多项功能于一体的高智能机器系统。用于人型机器人的机器视觉研究涉及图像实时处理技术,计算机视觉传感器技术
随着教育体制改革的不断深化,我国的教学管理模式逐渐从学年制向学分制过渡。为了顺应时代的要求,我校远程与继续教育学院开始考虑引进学分制,而我校现行的远程教学系统采用学年
空间数据是各种地理信息的基础,地理空间数据库管理是GIS中最重要的功能之一,随着我国测绘事业的发展,拥有一款具有自主版权、支持军方产品标准和数据格式、安全可靠、功能强大
基于互联网的社交网络正在成为人类社会中社会关系维系和信息传播的重要渠道和载体,能够迅速形成社会舆论,对国家安全和社会发展都会产生深远的影响。对社交网络舆情进行实时
随着生活水平的提高,车辆逐渐成为人们生活中不可或缺的一部分,与此同时,人们对行车过程中的舒适度和智能度也有了更高的要求。本文通过提供车内基于位置的服务,对车内不同位置的
相对于C/S或B/S网络架构,P2P每个节点既可是客户端,又可以是服务器端,这种结构使得P2P在资源共享、协同工作、深度搜索和电子商务领域得到成功的应用。然而,P2P先天的开放、匿名
从产生的那一天起,GIS系统的开发经历了两次操作系统平台的迁移。早期的GIS系统都是基于Unix平台的桌面架构,随着上世纪九十年代初Windows操作系统的普及,那些成功的将软件迁移