引入句法和系统融合的统计机器翻译研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:jitlin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,统计机器翻译取得了很大的发展。基于短语的翻译模型和层次短语翻译模型被广泛用于机器翻译评测和在线翻译系统中,成为统计机器翻译的主流技术。同时,基于混淆网络的系统融合因为可以有效的提高翻译性能,被广泛用于机器翻译评测中。然而,它们都存在着一定的局限性:基于短语的模型缺少启发式规则来指导短语间的调序;层次短语模型对非终结符不加任何限制,不能针对具体情况进行区分;基于混淆网络(confusion network)的系统融合只允许单系统译文的词语之间进行一到一对齐,并不符合语言规律。   针对以上问题,本文重点研究了如何在基于短语的模型和层次短语模型中引入适当的句法信息来对原有模型进行增强,以及采用词图(lattice)来对系统融合进行改进。具体来说,本文的研究工作可以分为以下四个方面:   1.在从左到右解码的短语模型中引入BTG约束   短语模型可以获得很好的局部翻译,但是其对短语之间的调序不加任何限制,导致搜索空间巨大,再加上没有启发式规则来指导剪枝,导致剪枝带有一定的盲目性,会出现好的译文被剪掉的情况。引入括号转录语法(Bracketing Transduction Grammar,简称BTG)来约束短语之间的调序,可以将搜索限制在BTG空间内,使得剪枝只在合理的子空间内进行。本文提出一种移进归约算法来从左到右的引入BTG约束,保留了从左到右解码的优点。相对于原来的模型,加入BTG约束后,不仅取得了翻译性能上的提高,还取得翻译速度上的提高。   2.在层次短语模型中引入介词短语   层次短语模型既可以借助于短语来获取局部翻译,又可以借助于层次短语来处理短语之间的调序,但它没有对短语的句法成分进行区分,这可能会出现对不同的句法成分的处理相同的情况,导致短语的调序出错。而在不同的语言对中,介词短语的相对位置往往会有很大不同,所以介词短语的调序也最容易出错。本文在层次短语的基础上针对介词短语进行处理,先用条件随机场识别出介词短语,然后抽取一些包含介词短语的规则,构建一个包含介词短语的同步上下文无关文法(Synchronous Context FreeGrammar,简称为SCFG)。对于每个测试句子,在其对应的SCFG空间中进行搜索得到最终译文。相对于原来的模型,该模型取得了翻译性能上的提高。   3.在层次短语模型中引入浅层句法信息   本文提出了基于组块(chunk)的层次翻译模型将浅层句法信息引入到层次短语模型中。该模型可以结合层次短语模型和树到串模型的优点:既可以利用短语来捕捉局部翻译,又可以利用语言学信息来指导调序,同时还选择性的引入了句法黏着性。它首先利用条件随机场来进行浅层句法分析,获得组块序列,接着抽取由词语和组块组成的规则,并将连续的组块合并成一个非终结符。对于一个测试句子,该模型在其对应的基于组块的SCFG空间里,搜索最优的推导,同时得到译文。实验结果证明,相对于层次短语模型和树到串模型,该模型均取得翻译性能上的显著提高。   4.基于词图的系统融合模型   很多工作已经证明了系统融合可以获得优于单系统的翻译,现在广泛采用的是基于混淆网络的系统融合模型。该模型将所有单系统的译文集成在一个混淆网络中,通过搜索混淆网络来获得最佳译文。但是混淆网络只允许一到一对齐,这并不符合自然语言的实际情况,并且其对单系统译文的切分粒度过小,增加了产生不合理译文的可能性。本文提出了一种基于词图的系统融合模型,用词图来替换混淆网络,允许多到多对齐,更符合语言规律,而且对单系统译文切分的粒度为短语,减小了错误译文产生的可能性。该模型获得了优于基于混淆网络的系统融合模型的性能。
其他文献
协同工作环境中的科研人员协作工作,共享信息资源。随着分析数据量的增大,协同用户更希望能够获得一个便捷的数据分析途径,因此对数据图表展示的需求也日益增多。支持多个不同学
随着我国人力资源管理水平的不断提升,柔性管理在企事业单位人力资源管理当中的应用程度不断加深.文章介绍了柔性管理的特征,分析了行政事业单位人力资源管理现状,探索了柔性
图像融合是数据融合的一个重要方面,它广泛应用于军事、医疗卫生、遥感等各个领域。由于全色图像有比较好的空间分辨率,多光谱图像有比较强的光谱信息,图像融合就是将这两种
随着我国经济的高速发展,民用汽车已经走进千家万户.越来越多的学员走进驾校学习机动车驾驶技术.在驾驶员培训过程中既要培养学员的驾驶能力,更要注重培养学员的安全意识,安
基于对烟草企业青年员工思想政治工作培训策略的研究,首先,阐述烟草企业青年员工思想政治工作开展,具有提升青年员工道德素质、促进烟草企业更好发展的重要作用.然后,分析烟
湖北荆能输变电工程有限公司(以下简称荆能公司)属建安企业性质,安全责任大于天,基建安全是荆能公司的头等大事,如履薄冰,头悬利剑.近年来,荆能公司积极探索临时党支部建在一
在UMU平台的基础上,加强生理学的深度学习理论运用,重点是需要教师充分的运用这种教学的效果,掌握学生学习的兴趣点和平台的特征.教师要基于这一平台鼓励学生通过自主学习以
我国经济实力的提升带动了供电企业的发展,不过这也因此导致企业内部的腐败问题日益突出.因此对于供电企业来讲,要对重点岗位进行监督,同时做好员工的思想工作,把监督工作列
人体运动捕获技术应用范围广泛,包括医疗和健康监测、舞蹈和体育运动分析、电影动画特效和虚拟现实游戏、士兵训练和战场模拟等。基于微型传感器的人体运动捕获技术,由于其不受
随着我国道路运输业迅速发展,行业能源消耗规模逐年上升,节能减排任务艰巨.为了做好节能减排工作,本文剖析当前道路运输节能减排面临形势、存在的问题,提出推进运输结构调整