基于LSTM的语义关系分类研究

被引量 : 0次 | 上传用户:guodong0810
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本的深度语义分析近年来成为了自然语言研究领域的一个热点。给定实体对的句子语义关系分类是其中一个重要的任务。语义关系分类技术的研究有助于其他文本处理技术的发展,例如信息检索,信息抽取,文本摘要,机器翻译,问答知识库构建,词义消歧和语言模型等。深度学习在自然语言处理领域的应用研究是近年来的研究热点。有学者将深度学习技术用于语义关系分类任务上,并在标准测试集上得到了比传统统计学习方法更好的成绩。但是本文认为,他们提出的方案、使用的模型并没有充分挖掘深度学习在该任务上的潜力。在当前多个深度模型中,基于长短期记忆单元(Long Short-term memory,LSTM)的递归神经网络(recurrent neural network,RNN)模型因为其能有效利用序列数据中长距离依赖信息的能力,被认为特别适合文本序列数据的处理。因此,本文提出一个基于LSTM的深度学习模型来解决语义关系分类问题,在标准评测集合上取得的成绩达到了目前最好水平,展示出了LSTM在挖掘文本序列语义信息任务上的强大能力。具体的,本文首先对原始文本进行预处理和特征提取,在该阶段本文提出了相对依赖特征方案,然后将预处理获得的特征做向量化处理(embedding)并送入双向LSTM(Bi-LSTM,BLSTM)模型提取文本特征;其次,通过对BLSTM的输出做基于实体对位置的相对最大池化(relative max pooling)操作降维获得句子类型特征,从embedding层输出和BLSTM层输出中抽取对应实体的特征组成实体类型特征;最后使用前馈神经网络(MLP)对这两种类型特征做特征融合并送入softmax分类器分类。此外,本文在系统实现的过程中还实验尝试了多种最新的深度学习技术,包括最新的模型和训练的技巧,并在本文的最后对这些技术会有简要的介绍和实验分析。
其他文献
唐传奇发轫于初唐时期,兴盛于中唐时代。在中唐传奇所完整保存的近40种作品中,大多数题材取自现实生活,涉及到爱情、历史、神仙、政治等多个方面,其中以爱情题材的小说成就最
<正>漆雕古代,大漆用于雕塑艺术,主要体现在佛器的髹饰上,如供佛器、容置器、携行器、密教法器等,其中最为典型的要属"夹纻漆佛像"。漆是万年不朽之器,大漆静寂不喧、沉稳内
自身炎症性疾病临床表现多样,常出现误诊或延迟诊断。临床表现为复发性全身性炎性反应,绝大多数患者表现为突发周期性发热,伴急相反应物升高、皮疹、浆膜炎、淋巴结肿大和关
随着大学信息化的建设与发展,信息化系统在投入使用后产生了大量的可用数据。本文采用理论分析与案例调研相结合、问卷调查与统计分析相结合的研究方案,同时查阅大量的文献资
目的 观察加味龙胆泻肝汤内服加自拟方湿敷治疗子痈的临床疗效.方法 将2013年1月-2014年2月本院外二科(泌尿外科)门诊及病房确诊的入选病例治疗组与对照组各78例,治疗组用加味
为减少废弃聚酯(PET)纤维环境污染,促进资源循环利用,使用乙二醇,以Zn(AC)2.2H2O为催化剂,对回收的PET纤维进行解聚,并分离提纯醇解产物,采用羟值、酸值、差示扫描量热法、红外光
企业是现代社会经济增长的发动机,而当企业出现了微利或亏损时,很多人处于朦胧状态.只知道利薄或利亏,却不知道其终极原因所在。企业的生产力与生产关系是企业中的一对基本矛盾。
在各个企业不断追求管理效率的浪潮中,内部审计的内容也在不断的发生着变化,如何为企业增加价值也成为了如今内部审计的目标。增值型内部审计在我国属于起步阶段,推行增值型
近十几年来,经济全球化的程度不断加深,商品产业运输要求变得更加快捷有效率。因此航空运输业有了较大的发展,进而拉动具有相关性的部分产业在机场周边地区聚集,促进一种新的
语境概念源自于语言学,包括上下文语境和场景语境两部分。美国人类学家爱德华?霍尔说过;“任何科学门类的研究都离不开语境”。伴随着跨学科的思考,从人文科学到自然科学,众