基于叠层循环神经网络的语义关系分类算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:rxw257
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系分类(又称语义关系分类),是信息抽取领域中实现文本结构化的重要方法之一,它在机器翻译、信息检索、自动问答、知识库构建等多项自然语言处理任务中都有着广泛的应用。伴随着深度学习在自然语言处理领域多项任务上取得了突破,人们开始探索将深度学习应用在关系分类上,基于深度学习的关系分类成为了研究热点之一。现有的基于深度学习的关系分类,主要在两阶段任务上,包括实体识别和语义关系分类,分别构建网络模型。然而,该类方法普遍存在以下问题:(1)现有的方法在两阶段上采用分步训练的方式,因而在实体识别阶段产生的错误会传播到语义关系分类阶段,造成错误累积的问题,从而影响最终的分类效果;(2)不同的句法结构存在结构上的差异性,基于特定句法结构的网络模型不能直接使用在其它结构上,存在鲁棒性较差的问题。针对上述问题,本文提出了基于叠层循环神经网络的语义关系分类算法。该算法的模型框架分为两层,分别是序列预测层和关系预测层,并将这两层进行嵌套作为完整网络模型进行端到端的训练。主要工作如下:(1)序列预测层:本文构造了Bi-LSTM-CRF融合注意力机制的网络。首先,利用Bi-LSTM获取序列的双向隐状态编码信息;其次,在注意力机制下对其进行二次学习以调整权重分布;最后,通过CRF层基于BILOU标注模式进行解码,从而预测实体标签信息。该层旨在提升模型对序列上重点信息的关注度,并充分利用上下文信息进行解码,从而提升实体识别效果。(2)关系预测层:本文构造了一种融合多句法结构的Bi-Tree-LSTM网络。该层通过将全树、子树和最短路径结构加权融合在同一网路中,分别从自顶向下和自底向上两个方向上充分学习结构信息,获取三元组结构信息的候选关系,最后通过SoftMax分类器预测候选关系的类别标签。该层旨在将多种句法结构融合在同一网络中,从而增强模型的鲁棒性。(3)本文通过将关系预测层嵌套在序列预测层之上,利用共享参数在同一个网络中进行端到端的训练,使得两阶段互相促进,从而提升了分类效果。本文在SemEval-2010 Task8数据集上取得了86.3的F1值,优于现有的前沿方法。同时分析了序列预测层和关系预测层的实验效果,验证了算法的有效性和鲁棒性。
其他文献
(目的)本文旨在研究柑橘渣对抗旱王断奶犊牛养分消化率的影响。(方法)选择32头5月龄、体重相近的健康抗旱王牛作为试验动物。按年龄、体重和膘情均等的原则将试验牛随机分成4
水翼绕流问题是研究船舶减摇鳍以及仿生推进器的基础和简化,具有实际的工程意义,考虑自由液面的情形则属于两相流问题,有着重要的学术意义。本文基于水翼绕流,考虑了水翼多体干扰问题,即双翼问题,以及在浅水情况下水翼的兴波问题,期望通过双翼之间相互干扰达到有效的消波、减阻和增升效果。首先,本文建立了模拟带自由液面双翼干扰问题的数值模型。在本文数值模型中假设流体运动为无粘无旋的势流运动,在两个水翼的弦向布置涡
为解决企业推荐资源有限的情况下,物尽其用、合理地分配推荐资源问题,本文对资源受限约束下的多对多推荐进行了研究,在满足客户需求的条件下做推荐,使企业总体收益尽可能的最大化。推荐是企业的一种重要营销方式,根据推荐方式的不同,推荐可分为资源不受限的推荐和资源受限的推荐,而实际上,资源受限的推荐往往也是多对多的推荐,一个客户可以接受多个满足自身的项目或产品,一个项目可以推荐给多个适合的客户,但是每个项目的
目前气候变暖已经成为一个全球面临的问题,而CO_2是对气候变化影响最大的温室气体之一,在目前严峻的环境保护形势下,节能减排的呼声日益强烈,世界各国也在积极研究CO_2减排技术。碳捕获与封存技术(Carbon Capture and Storage,CCS)是目前公认最有前景的CO_2减排手段之一,而富氧燃烧(oxy-fuel combustion)技术则是实现规模化碳捕获最有前途的技术之一,天然气
气溶胶颗粒物在空调风管内沉积会引起微生物、细菌滋生,产生有害物质,进而造成室内空气污染。因此,研究空调风管中颗粒物的沉降特性,对风管清洗、改善室内空气品质,保障人员健康有重要意义。目前,国内外对于管内颗粒物迁移沉降的理论方面有较多研究,而对真实空调风管尤其是阀门等部件附近的颗粒物相关的研究相对较少,因此,本文通过实验测试与数值模拟相结合的方法对方形风管弯头、阀门附近的颗粒物运动与沉降特性进行了研究
随着802.11n协议的普及,利用普适和细粒度的WiFi信号实现人物身份识别逐渐成为可能。不同于需要借助额外设备(如相机、超声波等)的传统方法,基于WiFi信号的身份识别方案可以
高能发射药使现代火炮获得了更高的炮口动能,但导致了传统H90黄铜弹带在高膛压发射条件下的严重磨损问题,为此需要开发一种新型弹带材料来替代H90黄铜弹带。然而,对弹带磨损机理的清晰认识是解决这一问题的根本途径。本文采用金相显微镜、电子扫描显微镜、能谱测试手段分析磨损的H90黄铜弹带和B19白铜弹带,通过材料学和摩擦学的理论分析磨损机理,利用LS-DYNA有限元软件对两种弹带挤进膛线的三维模型进行了数
静息状态功能磁共振成像(r-fMRI)技术是研究人脑功能的重要技术之一,通过脑功能网络连接来辅助诊断脑疾病的方法近年来吸引了大量学者的关注,已成为医学研究神经精神障碍的热
聚乳酸(PLA)因其可再生性、生物降解性、生物相容性和良好的热力学性能成为传统石化塑料的最佳替代品,但是PLA较低的结晶速率极大地限制了其在众多领域的应用,因此对PLA结晶性能的改性对扩大其应用领域具有实际应用价值。本文通过溶液共混法在PLA基体中添加氧化石墨烯(GO)和接枝2代聚酰胺胺(PAMAM)树状分子的氧化石墨烯(fGO)制备复合材料来改善PLA的结晶性能。具体内容如下:通过原位聚合法在氨
在不断涌现出的新型恶意软件以及恶意软件变种过程中,一方面由于传统的检测模型过分依赖已知样本,无法检测新的恶意行为,另一方面在现实检测任务中普遍存在恶意数据难以获取