基于词项依赖信息的中文信息检索方法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:lizhou555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国智能手机的普及,移动互联网使用人数的增加,促使了移动互联网的飞速发展,网络中存储的各种数据呈指数级增长。如何利用信息检索技术快捷有效地从这些海量的数据中获取有用的信息,是工业界和学术界都极其关注的问题。传统的信息检索技术大多基于“词袋”模型,假设词项之间是相互独立的,而忽略了词项之间的依赖关系。本文利用统计方法捕获词项之间的依赖关系,构建更有效的中文信息检索模型。主要的工作包括以下几个方面:第一,从统计的角度,本文提出了全独立、顺序依赖以及全依赖三种词项之间的依赖关系,基于这三种依赖关系分别构建了检索的文本特征,设计了排序函数。考虑到文本长度以及中文语句的特殊性,在构建文本特征时,将词项之间的距离纳入统计范围。我们在NTCIR-5中文信息检索测试集上进行了实验。实验分为两部分,第一部分实验分别基于三种依赖关系构造文本特征,在基于顺序依赖和全依赖关系构造文本特征时,只组合两个词项。第二部分实验在基于顺序依赖和全依赖关系构造文本特征时,查询文本范围内组合多个词项构建文本特征,并与第一部分的实验数据做了比较。在平均准确率(MAP)和P@10两种评测指标上做了比较,基于顺序依赖关系和全依赖关系构建的文本特征所得到的检索结果都优于基于全独立关系的文本特征的检索结果,而且在构建文本特征时,多于两个词项组合的文本特征的检索结果要优于只组合两个词项的文本特征的检索结果。第二,实现了一个基于词项依赖信息的中文全文信息检索系统。该系统主要包含三个模块:文档解析模块、索引模块、以及用户交互模块。文档解析模块将新闻语料解析成多个域,便于后面索引的创建以及检索结果的展示。索引模块实现了文本的预处理,索引创建以及索引维护。用户交互模块实现了用户查询输入的文本处理,整合了基于词项依赖关系的排序方法,实现了结果展示。
其他文献
在全球彩电技术之争愈演愈烈的今天,量子点、OLED、激光代表了现阶段最前沿的几种彩电显示技术。由于在画质、成本、功耗、寿命等方面的综合优势,量子点电视更易于被大众消费
物理情景的创建,给学生展示物理生动活泼、幽默诙谐的一面,使学生在好看、好奇中自觉调动思维,将精力集中到情境之中,尝试利用自己的认知、情感和能力来对物理知识进行解释,
时至四月,高三物理学习大都进入了第三轮复习.不少教师认为该讲的东西几乎讲完了,第三轮复习也就自然是“学生整天苦苦地做试卷,教师乐此不疲地讲试卷”的单一模式.但笔者认
现如今高中物理课堂早已摆脱陈旧教育教学观念,打破书本文字的刻板教学思想理念,运用新思维方式培养学生在学习能力上的转变,也在教学方法和科学实验有崭新的突破.并且针对高
辨识和分析基因的表达模式对于理解生物体的内在活动机制、针对性的疾病诊断和药物设计具有重要的作用。尽管当前存在多种基因跨组织表达数据如微阵列、EST等,但是如何通过这
使用计算机辅助设计系统设计一件优雅的三维衣服是很耗时的,而且在一般情况下,衣服是基于某个参照人体模型设计的,所以需要一个试穿系统来将已设计好的衣服自动过渡到其他的人体
在“文艺复兴”时期的绘画中,肖像画占据着突出的地位.肖像画在这个充满变化和改革的时代还具有不同的功能.本文通过描述“文艺复兴”时期的不同肖像画作品,对肖像画的功能进
近年来,随着数据管理技术的飞速发展,人们对数据的认知也在逐渐发生变化,研究者们突破对传统数据的理想化定义,认识到不确定性是数据的固有属性。随着计算机技术的不断发展,一种结
“物理教师专业发展”的核心概念是:物理教师工作乃是一种专业工作,物理教师是持续发展的个体,可以透过持续地学习与探究历程来提升专业水准与专业表现.它强调物理教师在专业
“当代艺术”在时间上是指现如今的所有的艺术形式,用以区分于“现代主义”,而在内涵上则包括现在自由的、混杂的、多元的、无序的艺术.不过,艺术的界定是很困难的,不同历史