对知识表示的学习一直是自然语言处理的研究目标。深层学习架构为我们提供了一种自动学习分布式特征表示的方法。通过对词的分布式特征表示的学习，基于深层学习架构的深层神经语言模型达到了比原有n-元语言模型更好的效果，进而被广泛的应用到了诸如语音识别、机器翻译、信息抽取、词义消歧等自然语言处理任务中。　　本文首先将深层神经语言模型学到的词的分布式特征表示应用到了词义自动归纳任务中，提出了基于分布式特征表示的两种上下文特征表示方法:窗口特征表示法和全句特征表示法，通过这种基于特征表示词典的上下文表示方法，达到了比传统的上下文表示方法更好的词义自动归纳效果。　　传统的深层神经语言模型架构都是基于词为单位来学习词的分布式特征表示的，但对于许多自然语言处理任务而言，特征的分布式表示也是很重要的学习内容之一，而传统的深层语言模型不能学习复杂的特征的分布式表示，为了解决特征的特征表示学习问题，本文对传统的神经网络语言模型进行了改进，提出了基于特征的深层神经语言模型架构，旨在学习复杂特征的分布式特征表示。　　为了验证本文提出的基于特征的深层神经语言模型能够学习到复杂特征的有效分布式特征表示，本文将深层神经网络架构引入到了中文分词任务中，并将这个深层神经网络分词模型与传统的基于条件随机场(CRF)的分词模型进行了对比，经实验证明，在使用相同的特征集的条件下，深层神经网络分词模型能够比基于CRF的分词模型达到更好的分词效果，使用基于特征的深层神经语言模型预训练得到的分词特征的分布式表示来初始化深层神经网络分词模型的相关参数，可以大幅度的提高深层神经网络分词模型的分词效果，进而证明了本文提出的基于特征的深层神经语言模型能够学到有价值的特征的分布式特征表示。