Web实体事件重复检测问题研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:wecan626
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的日新月异,Web上的信息量也在飞速增长。Web已经成为一个巨大的数据源,拥有着海量的数据。这些数据中蕴含着大量有价值的实体事件,对人们的工作和社会的生产具有举足轻重的作用。对Web上的实体事件进行充分的挖掘和分析,能够获取丰富的知识,在市场情报分析、舆情分析、电子商务、商业智能等领域具有十分重要的意义。但是Web是一个自由和开放的空间,Web实体事件来自不同的数据源,Web数据源具有自治性强的特点,发布信息相对随意,再加上自然语言也具有自由灵活的特点,同一实体事件采用不同的表述方式是一种极其常见的现象。这给实体事件的发现分析工作带来了极大的困难,也给搜索信息的用户和决策者带来了很大的困扰。为了让用户获得简洁、准确、无重复的实体事件信息,就需要对来自不同数据源的实体事件表象进行重复检测,这也是Web实体事件发现研究领域的重要子任务。要实现以上目标,就必须解决以下两个关键问题:(1)实体事件表象的重复检测。对来自不同数据源的实体事件表象进行重复检测,识别同一实体事件的多种表象,即将来自不同数据源的表意相同、表达方式不同的实体事件表象识别出来。(2)实体事件的重复检测。实体事件是由重复的实体事件表象组成的集合表示的,经过实体事件表象的重复检测之后,实体事件之间仍然可能存在重复,需要进一步识别实体事件之间的重复现象。本文对不同的实体事件表象、实体事件之间的关系进行了研究,以Web实体事件重复检测为目标,针对以上两个待解决的关键问题展开研究,探索了实体事件表象的重复检测和实体事件的重复检测两方面的问题,主要工作与研究内容如下:(1)针对实体事件表象的重复问题,根据商业领域中,同一时间、同一地点,一个特定的主体只能参加一个活动这一个规律,本文提出了“基于动态权重的线性组合方法”。将实体事件表象对的时间、地点、主体三个主要属性,以及其他辅助属性进行相似度计算,并利用属性相似度计算出动态权重,然后利用各个属性的相似度得分和动态权重求出实体事件表象对的相似度得分。最后将实体事件表象对的相似度得分与特定的阈值进行比较,对实体事件表象对是否重复做出判断。实验结果表明,该方法相对于其他方法能够获得较高的F-measure值,有效的解决了实体事件表象的重复问题。(2)实体事件由重复的实体事件表象组成的集合表示,不同的实体事件之间也可能存在重复。因此,在基于动态权重的线性组合方法的基础之上,本文进一步提出了两种实体事件重复检测的方法:基于实体事件属性的重复检测方法和基于实体事件关系的重复检测方法,用以解决不同实体事件之间的重复问题。第一种方法是一种直接的重复检测方法,直接计算实体事件之间的相似度;第二种方法以第一种方法为基础,是一种间接的重复检测方法,它根据实体事件之间的关系,将待比较实体事件的关联事件集进行比较,进而得出两个待比较实体事件之间的关系相似度。
其他文献
随着计算机科学的发展,当前很多计算机研究领域都需要强大的计算能力对大规模数据进行分析。很多情况下,传统的单处理器串行程序难以在较短时间内解决问题,因此对基于多核处
随着多媒体技术的发展,互联网的不断普及,数字图像作为一种内容丰富,表现力强的信息储存方式被广泛应用,海量的数字图像也因此产生。如何快速准确的从数据库中找到用户所需要的图
IPv6协议的设计解决了困扰互联网发展的地址短缺问题,同时IPv6地址的安全性问题也备受关注。DHCPv6协议用来为主机动态分配IPv6地址和其他配置信息,但协议本身存在的缺陷使得
全文索引用于处理大文本集合,利用它人们可以在海量文本中快速获取需要的信息。现有的全文索引技术归纳起来通常有两种类型的方法:基于倒排索引的方法和基于后缀数组的方法。
计算领域已经进入多核/众核架构及云计算的时代。一方面,芯片的片上并行度在不断提高,如何将硬件的潜在计算能力转变为软件的执行效率成为一个非常关键的问题,也是编译系统的
随着网络、通信和数字技术的发展,能够提供更多细节信息的高分辨率图像逐渐成为人们的广泛需求。图像超分辨率重建的目的是利用一幅或者多幅低分辨率图像来获得一幅清晰的高
目前,主流操作系统为了隔离用户程序对操作系统运行稳定性和安全性的影响,将计算机系统运行空间划分为内核空间和用户空间,分别对应系统级和用户级两种处理机运行层级。其间,
海场景建模与实时绘制研究的进展在军事国防、航海仿真、国土勘探、影视特技及游戏制作等数字娱乐领域有着广泛的应用价值。但现有海场景建模与绘制研究大多集中在海面之上,对
随着近年来我国高速铁路研究的深入发展,尤其近年来,京沪、武广、广深、哈大等高速铁路专线的开通,动车组作为一种铁路客运货运的重要工具,在交通中的重要性日渐凸显。闸片作
随着我国经济的腾飞,我国遥感事业和计算机技术不断发展与日趋成熟,遥感技术在我国的多个行业中得到了非常广泛的应用,并且各行各业对遥感影像的需求也逐渐增加。然而,遥感影像数