论文部分内容阅读
随着互联网技术的飞速迅猛发展,互联网用户可以更加容易地从网络上获取日常关心的热点话题。网络新闻已然成为人们获取新闻信息的主要媒介之一,相比传统新闻媒体,网络新闻在报道重大事件上更具有时效性与互动性。在这个时间就是金钱,效率就是生命的当代社会,如何有效组织某个热门新闻话题帮助用户快速了解热点事件已经成为人们亟待解决的认知需求。话题发现与追踪是近几十年自然语言处理、信息检索领域的一项热门研究方向,该技术能有效帮助人们快速组织网络上的海量信息,缓解人们面对海量新闻时的无力感,此外,国家机关需要快速了解广大群众面对舆情事件的态度并做出相应决策。因此,面向网络新闻的热点话题发现具有现实需求意义。运用于该领域的主流模型有VSM(Vector Space Model)和LDA(Latent Dirichlet Allocation)模型,到目前为止,这两个模型在该领域的研究取得了较好的效果。传统VSM运用于该领域时建模过程简单,操作容易,但是忽略了文本内容的语义相关性;而LDA模型能有效解决这个问题,能充分地表达文本内容的语义,但在运用于该领域的文本表示时需要人为设定话题数目的K值。针对上述问题,本文做了一些相关的研究工作。本文的主要贡献和创新点如下:1.本文提出一种基于VSM与ILDA (Infinite LDA)联合建模的新闻话题发现算法,该联合建模方法能充分利用两种模型各自优势并能避免使用单一模型的不足,有效地解决了话题发现领域文本建模所面临的问题。2.考虑到新闻标题能简要概括新闻报道的核心内容,即标题中出现的特征词应当给与更高的权重,本文改进了传统的TF-IDF算法,给予同时出现在标题和正文的特征词更高的权重,有效保证特征提取的正确性和有效性。3.在此话题发现算法的基础上,我们引入衰老理论,提出基于能量热度的热点话题排序算法,首先利用衰老理论对话题建模,然后对各时间片内产生的话题分别进行能量热度计算,并关联相邻一段时间片该话题的能量热度,然后利用话题衰减移除算法删除能量热度较低的话题最后按照能量热度递减的顺序实现热点话题的排序。在真实的网络新闻语料上我们进行大量实验证明了本文提出方法的有效性。