在自然语言处理领域中,标准n元文法(n-gram)是最常使用的统计语言模型。它具有简单、高效、鲁棒的特点,是自动语音识别、拼音输入法等应用的重要组成部分。但是在实际应用中,由于受到训练语料和语言模型规模的限制,n元文法存在两点不足。一是受到相邻词历史的限制,二是n值只能限定在很小的范围内。这两点不足阻碍了n元文法对句子中长距离信息的建模能力。为此,本文提出了变元依存类语言模型,有效改善了这一问题。　　 第一,将依存句法分析方法引入n元文法语言模型中,建立依存语言模型(dependency language model)。该方法改善了n元文法中“相邻词历史”的限制,利用词与词之间的依存关系,对句子中的长距离信息建模。为了验证模型的有效性,本文设计并实现了拼音输入法。实验结果表明,与标准n元文法相比,该模型可以使字错误率相对下降4.19％。　　 第二,采用基于熵值的裁剪方式构造变元依存语言模型(variable dependencylanguage model)。该模型在依存语言模型的基础上突破了词历史为3的局限,可以在保持模型大小不变的前提下,有效裁剪模型中冗余的低阶d元文法条目,代之以高阶d元文法,从而进一步使语言模型更有效的获取长距离信息。实验证明,采用这种方法能使拼音输入法的首选字错误率进一步下降相对6.68％。　　 第三,采用基于互信息值的二元合并方式构造长音节词。该方法可以缓解模型词典中具有相似同音词频率的文法条目的混淆问题。实验证明,长音节词的引入可以使拼音输入法的首选字错误率进一步下降相对6.77％。　　 第四,在变元依存语言模型基础上采用类语言模型思想,构建变元依存类语言模型。该模型针对拼音输入法中的人名识别进行建模。改进后的模型,首选字错误率进一步下降相对6.15％。　　 综上所述,与标准n元文法相比,变元依存类语言模型的首选字错误下降绝对值1.78％,相对21.9％.