基于层叠条件随机场的汉语句法分析技术的研究

来源 :沈阳航空工业学院 沈阳航空航天大学 | 被引量 : 4次 | 上传用户:bmw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
汉语句法分析是中文信息处理的关键技术,是对汉语进行深层次理解的基础。句法分析性能的提高对于机器翻译、信息检索、信息抽取等应用技术性能的提高都会有巨大的推动作用。目前汉语句法分析技术还不能满足中文信息处理的要求,所以对汉语句法分析的研究具有重要的实际意义。  本文提出了一种基于最长名词短语前处理的统计句法分析方法,将最长名词短语的识别与分析从句法分析中独立出来,同时使用基于语料库的统计学习方法,对汉语句法分析技术进行了探索。本文工作分三部分进行,具体内容如下:  首先,进行了对最长名词短语的分析工作。最长名词短语是名词短语中最重要的一类,它的识别与分析可以更好的帮助人们理解自然语言中的句子。由于传统的句法分析对最长名词短语的处理不够理想,本文对最长名词短语进行专门处理,以降低句法分析的复杂度。根据汉语最长名词短语的句法特点,本文提出了一种基于chunk parsing的最长名词短语分析方法,有效的提高了最长名词短语的分析效果,解决了最长名词短语对句法分析的影响。  其次,提出了一种基于层叠条件随机场模型的汉语句法分析方法。与用一个单一模型来识别所有短语的方法不同,该方法将句法分析过程分解为两个阶段:一是句子中句法单元的识别,二是句法单元之间关系的分析。这样可以对不同的子问题选用不同的模型和搜索策略进行处理,同时也降低了句子分析的难度。本文选用层叠条件随机场作为多层分析模型。  最后,在解码方式上本文使用局部最优化的搜索算法对句子进行解码。该算法利用广度优先策略寻找局部最优解,很好地缓解了传统确定性分析算法中的错误蔓延问题。  在第一届汉语句法分析评测的数据集上进行了实验,实验结果表明基于层叠条件随机场的汉语句法分析方法显著提高了句法分析的精确率和召回率,有效降低了句法分析的复杂度,使系统处理文本的速度得到了提高。
其他文献
作为一种很重要的自动验证技术,模型检测已得到广泛研究,取得了丰硕的成果并应用到众多领域,引起学术界、工业界的密切关注。模型检测的一般原理是用状态迁移系统( M )表示系
随着计算机技术与教育理论的不断融合促进了计算机辅助教育的发展,计算机辅助测试作为计算机辅助教育的重要部分而受到越来越多的关注。在计算机辅助测试系统中,组卷模块的设计
近年来,计算机视觉技术在水果图像识别方面得到了广泛的研究和应用,但随着经济的快速发展,人们生活的提高,农贸市场和超市里售卖的水果品种越来越多,而且其形状,纹理和大小都
体育比赛的主办方为了充分发掘广告带来的商业利润,总是希望尽可能地在比赛场地周围放置更多的广告牌。但是在实际的比赛现场,出于保护运动员和保证观众观看质量等方面的考虑
在无线传感器网络(WSN)的应用中,物理信息与位置信息关联才具有实际的运用价值,由此无线传感器网络节点的位置信息至关重要,是传感器网络研究的难题及热点。本文以导航系统的
本文把目前流行的粗糙集属性约简算法运用到销售数据的离群检测与分析。离群数据挖掘是数据挖掘的一个分支,目前在很多领域得到运用,挖掘出来的数据不再是当作噪声数据去掉,
随着云计算技术的深入发展,越来越多的企业通过构建虚拟化数据中心提供公有云服务,或者搭建面向企业内部的私有云平台。因此,云计算数据中心的数量大幅增加,服务器规模也快速
支持向量机是近年来流行的机器学习方法,建立在结构风险最小化原则的基础上,因此能够较好地处理小样本情况下的学习问题。然而在支持向量机算法的大样本学习应用中,存在着三
由于网络呈现多元化、多服务、多应用等特征。单一的检测方法和检测系统难以检测各种复杂攻击,综合多种检测技术或多个检测系统能够有效地提高检测准确性。然而各种IDS在检测
近年来,随着信息技术的不断发展,人们积累的信息量不断增加,传统的统计方法已经不能满足人们从大规模数据存储中获取知识的迫切需求。作为数据挖掘领域中的一个非常重要的研