基于主题分析的文本检索方法研究

被引量 : 0次 | 上传用户:kissonegougou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于搜索引擎的推广,我们可以随时随地从互联网上获取自己所需的信息。但是基于信息呈指数级的增长速度和人们对搜索结果的更高要求,使得搜索引擎的智能化和个性化成为目前迫切需要解决的问题。那么如何在浩瀚的知识海洋中快速、准确地查找自己想要的那部分信息已成为新时代检索技术所面临的挑战。在传统的信息检索系统中,搜索引擎在描述用户查询与候选文档之间的关系时,往往仅考虑了词与词之间的字面匹配,并没有充分利用词语之间语义表达上的关联信息,这使得搜索结果与用户所需差距较大。本文从相关度出发,先利用主题模型对文档建模以抽取文档的主题信息,然后利用主题信息计算查询语句与候选文档之间的相关度并根据相关度对文档进行排序,最后将排序结果呈现给用户。然而,在上述过程中,主题模型表现出了自身的不足,一是主题模型中主题k值的选择过于随机化,这有可能因为不恰当的k值选择而使得主题与主题之间的区分度不够明显,造成主题之间的高重叠性;二是基于语料层的主题分布在某种程度上并不能完全代表单篇文章的主题分布,这可能会造成文档主题概率分布的高稀疏性,甚至会有损单篇文章的主题特征表示精度。基于以上两点,本文第三章和第四章分别对模型进行改进,使其能够最大程度地在信息检索任务上发挥作用。本文第三章提出了一种基于词向量主题模型的文本检索方法,该方法的主题建模部分充分考虑了主题之间的重叠关系和Gibbs抽样的初始过程。首先,利用词向量优秀的词语语义表达能力对主题之间的关系进行刻画,进而对主题模型中的k值进行再确定,使主题之间保持相对独立。另外,利用词向量对词进行聚合以改进Gibbs抽样过程中的词语的初始主题分配。然后,利用确定的k值,我们对语料进行主题建模,得出“文档—主题”、“主题—词”两个多项式分布矩阵,进而对矩阵进行运算得到“词”对“文档”的表征关系,这种“表征关系”在本文中被称为“贡献度”。在词语贡献度的基础上,我们可以把查询语句和候选文档集之间语义关系的紧密程度用“数值”描述出来。最后,通过这种“数值”关系对候选文档进行排序,进而将排序结果显示在用户查询界面上。本文第四章提出了一种基于聚类主题模型的文本检索方法,该方法是在第三章的基础上对主题建模方法和排序方法做出更进一步的改进。对于主题建模方法,基于传统主题模型在信息检索任务上的不理想表现,我们通过分析得出,对语料层上的主题建模在一定程度上造成了单篇文章主题分布的稀疏性并损失了主题在单篇文档中的特征表达精度,这就影响了单篇文档主题的真实概率分布。基于以上分析,我们在文本建模前先对文档集聚类,使主题相同或相近的文档集合尽可能聚集在一起,然后依次对聚类簇进行主题建模,充分发挥主题模型在信息检索任务上的建模能力。对于排序方法,在词语相关度计算方面,我们采用互动百科知识库对词语之间的相关度计算进行改进,使它们之间的语义关系变得更准确。本文实验所采用的语料库是NTCIR-5 (NACSIS Test Collections for IR),实验后利用TREC信息检索评测工具进行相关指标的测评。从实验结果可以看出,文中提出的基于词向量主题模型的文档检索方法和基于聚类主题模型的文档检索方法在MAP、R-precision和P@N指标上有良好的表现,提高了检索系统的准确率和召回率。这也间接表明本文方法的可行性。
其他文献
在小学英语教学中进行德育渗透是十分必要的,其主要途径是结合PEP小学英语教材内容,适时、适度地在教学中进行人际关系、思想品质、爱国主义和社会主义等德育内容渗透,达到育
目的为开展宝鸡市儿童口腔疾病综合干预项目提供基础资料。方法 2011年3月从宝鸡市9个街道办中随机抽取3个,各抽取1所小学,从3所小学一、二年级中各随机整群选取2个班级小学
基于国产GIS软件SuperMap的Objects组件自主开发的"城市地震灾害预测信息系统"平台,考虑道路路基路面的基本烈度、路基土、场地类别、地基失效程度、路基类型、路基高度、设
随着"以人为本"及低碳节能思想的深入,愈来愈多的学者开始展开人体热舒适性的研究,城市是以人为中心,同时也是能源消耗的集中地。文章首先概述了当前人体热舒适性的研究现状,
会计电算化的发展对现有会计工作的革新有以下几个方面:会计电算化改变了会计数据的处理方法;改变了会计的工作方式;改变了财会人员的知识结构和工作职能;降低了信息成本、提
目的观察乙肝疫苗(HBVac)与乙肝免疫球蛋白(HBIG)联合阻断HBV母婴传播效果。方法采用HBVac和HBIG,对芒市乙肝表面抗原(HBs Ag)阳性产妇分娩的新生儿实施母婴阻断措施。结果 2
<正>德育教育是素质教育的重要内容,各学科教学都是实施德育教育的主要阵地。我们要将德育教育有机渗透于各学科教学中,以促进学生德智体美劳全面发展,使学生成为新世纪合格
狂犬病是由狂犬病毒感染引起的人畜共患的急性致死性传染病,长期以来严重威胁着人类的生命安全。狂犬病流行主要分布在亚州、非州和拉丁美洲等发展中国家,我国是受狂犬病危害
<正>知识产权的司法保护是知识产权保护体系中最重要的一环。所谓的知识产权司法保护就是凭借国家的司法力量对知识产权权利进行调节和分配,保障知识产权立法的贯彻和实现,维
为评价准分子激光散光性角膜切削术(photoastigmatic-refractivekeratectomy,PARK)治疗复合性近视散光的效果,采用ker-atomⅠ型准分子激光机,利用准分子激光对角膜浅表层的椭圆形切削,共对57例82只复合近视散光眼行治疗,随访1年以上。术前近