新闻文本关键词提取算法研究与实现

来源 :中南财经政法大学 | 被引量 : 0次 | 上传用户:jklgfdjligjregjmreji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新闻关键词的提取可以快速帮助用户定位新闻的中心思想,了解新闻的大致内容,给用户判定是否要仔细查看的依据,从而提高用户体验。然而人工去标注关键词虽然质量可以保证,但是难以完成海量的新闻数据。本文通过对新闻文本特点进行分析,展开对新闻关键词提取算法的研究,并实现了一款实用的新闻关键词提取系统。实验表明,针对新闻领域文本,本文的关键词提取算法无论是性能还是准确度明显优于传统的关键词提取算法。本文着重研究了基于词频统计、基于词图模型与基于主题模型的关键词提取算法,从这三个方面入手,分别对TF-IDF算法、TextRank算法与LDA主题模型算法进行探索改进。由于现有资源里没有公开的关键词数据集,本文通过爬虫技术爬取网易新闻构建关键词测试集,并且对测试集的关键词进行人工交叉标注。使用搜狗实验室提供的新闻数据构建语料库。最后,实现了一个新闻关键词提取系统,将对新闻关键词提取的改进应用到此系统,系统具有简洁大方,易操作,响应快的特点。为了提高新闻关键词的提取准确率和运行效率,本文围绕上述三个方面的关键词提取算法做了几点创新。针对传统TF-IDF算法的逆文档频率将一些罕见词的概率提高问题,引入齐普夫定律来抑制这一问题,同时引入卡方检验将主题因素加入到权重的计算。通过设计实验,结果表明改进后关键词提取的准确率和效率有了明显的提升。针对这三种提取方法的各自优缺点,引入机器学习中的模型融合思想,采用瀑布融合和并行组合融合两种融合方式,总共设计了五种实验方案,最终实验结果表明TF-IDF算法与TextRank算法瀑布融合的效果比较好,TF-IDF算法与TextRank算法并行组合的效果优于其他组合方案,并且经过融合后提取算法的准确率与效率相比单一算法有明显提高。文末,针对新闻关键词提取研究与实现的过程中遇到的问题和自己的不足之处做了总结,并对系统进一步改进与研究进一步深入做了展望。
其他文献
经济全球化浪潮下,越来越多的企业选择跨越国界开展经营活动,试图在国际市场上获取竞争优势。在此形势下,国际创业逐渐成为学者们研究的重要领域。而国际市场绿色创业是国际创业领域的分支。在环境问题和社会治理问题日益突出的当下,不少学者从绿色创业的角度为经济的可持续发展的献上良策。本文在相关文献基础上,以国际创业企业为研究对象,对绿色创业导向、双元学习、可持续竞争优势、环境不确定性的关系进行研究。首先,本研
随着5G通信、物联网和人工智能等信息技术的快速发展,通信领域对小型化,高度集成化和高频化的电子元器件的需求越来越迫切。基于基片集成波导(SIW)结构的电路和元器件具有高Q值、易加工及性能优异的特点,是微波毫米波电路和元器件研究领域的热点之一。滤波器作为电子通信系统中的必备关键器件受到了广泛研究,而传统的微带线滤波器已经难以满足毫米波系统高Q值和低插入损耗的要求。已有研究表明,采用LTCC技术制备的
随着国内文化旅游产业的兴起及国家政策的高度导向与扶持,以地域性、民族性差异为诱因,以民族特色文化景观为旅游资源的民族村寨旅游迎来全新的开发热潮。民族村寨旅游对推动
海域环境复杂多变,垂直密度分层海洋流体环境在全球范围内普遍存在,在开发海洋资源的过程中,海洋分层效应已经成为越来越不可忽视的重要因素。浮式结构在分层流体表面航行时,
为研究上海市郊区虾类养殖场周边水源水的环境质量状况,对上海市奉贤区、金山区、青浦区和崇明区17个虾类养殖场开展了相关调查。依据《地表水环境质量标准》,采取综合污染指
[摘 要] 以“新时代全国高等学校本科教育工作会议”等会议精神为背景,分析了本科院校财务管理专业人才培养模式的现状及其存在的主要问题。借鉴国外个别国家应用型人才培养的特色模式,提出改革财务管理专业人才培养质量的相关举措,促进本科院校为社会输送更多的专业优秀财务人才。  [关键词] 财务管理专业;人才培养模式;举措  doi : 10 . 3969 / j . issn . 1673 - 0194
该研究通过野外观察和人工控制实验相结合的方法,从开花动态、花部基本特征、繁育系统、传粉生物学及种子性状等方面对荞麦属(Fagopyrum Mill.)植物细柄野荞麦(Fagopyrum gra
目的1.系统评价推拿治疗青少年近视的有效性,为后续的临床试验提供循证依据。2.观察禅揉推拿法治疗青少年近视的临床疗效,为该病的临床治疗提供更为有效手段。方法1.计算机检索CNKI、维普、CBM、万方数据库、Pubmed、The Cochrane Library,查找关于推拿治疗青少年近视的随机对照试验。由2名评价员按照纳入与排除标准,独立筛选文献,并对纳入文献进行数据提取、质量评估,运用Rev M
目的分析癌痛规范化治疗对我院麻醉药品合理应用及癌痛处方质量的影响,同时探讨其对患者癌痛用药知识水平、疼痛控制满意度及生活质量的作用效果,以期为相关医疗机构癌痛规范