论文部分内容阅读
文本的深度语义分析近年来成为了自然语言研究领域的一个热点。给定实体对的句子语义关系分类是其中一个重要的任务。语义关系分类技术的研究有助于其他文本处理技术的发展,例如信息检索,信息抽取,文本摘要,机器翻译,问答知识库构建,词义消歧和语言模型等。深度学习在自然语言处理领域的应用研究是近年来的研究热点。有学者将深度学习技术用于语义关系分类任务上,并在标准测试集上得到了比传统统计学习方法更好的成绩。但是本文认为,他们提出的方案、使用的模型并没有充分挖掘深度学习在该任务上的潜力。在当前多个深度模型中,基于长短期记忆单元(Long Short-term memory,LSTM)的递归神经网络(recurrent neural network,RNN)模型因为其能有效利用序列数据中长距离依赖信息的能力,被认为特别适合文本序列数据的处理。因此,本文提出一个基于LSTM的深度学习模型来解决语义关系分类问题,在标准评测集合上取得的成绩达到了目前最好水平,展示出了LSTM在挖掘文本序列语义信息任务上的强大能力。具体的,本文首先对原始文本进行预处理和特征提取,在该阶段本文提出了相对依赖特征方案,然后将预处理获得的特征做向量化处理(embedding)并送入双向LSTM(Bi-LSTM,BLSTM)模型提取文本特征;其次,通过对BLSTM的输出做基于实体对位置的相对最大池化(relative max pooling)操作降维获得句子类型特征,从embedding层输出和BLSTM层输出中抽取对应实体的特征组成实体类型特征;最后使用前馈神经网络(MLP)对这两种类型特征做特征融合并送入softmax分类器分类。此外,本文在系统实现的过程中还实验尝试了多种最新的深度学习技术,包括最新的模型和训练的技巧,并在本文的最后对这些技术会有简要的介绍和实验分析。