文本的向量化转换作为自然语言处理问题的基础任务发挥着至关重要的作用。本文以中文字向量生成模型的研究为选题,首先分析了传统字向量生成模型CBOW在训练中文字向量时的原理及其存在的问题,其次针对传统字向量生成模型存在的字向量信息局限性以及对中文字多义性的忽略问题进行改进,引入语境向量的概念,构建基于语境向量的词向量扩展结构,再结合注意力机制模型,提出一种新的面向词和语境的中文字向量生成模型,具体研究内容如下:(1)传统基于CBOW的中文字向量生成模型及存在问题分析。重点研究了传统CBOW模型的工作原理,尤其针对其存在的字向量信息局限性以及对中文字多义的忽略问题进行分析。在传统基于CBOW的字向量生成模型中,首先将文本按字划分构建字表,然后根据设定的窗口值找到每个目标字的上下文,把上下文信息作为神经网络的输入来训练得到字向量。分析表明,传统基于CBOW的字向量生成方法存在两个问题,一是根据固定窗口得到的网络输入信息是片面的,因为窗口不能涵盖目标字所在句子的完整信息。通过窗口得到的字向量信息是以窗口文字片段为基础的,并不是以完整句子为基础的,从而无法以整个句子为基础完整地对目标字准确释义,造成字信息部分缺失。二是中文字的多义性被忽略,因为中文字具有多义性,而传统的CBOW模型在最初构建字表时,无论是单义字还是多义字都只有一个索引,从而导致了多义字的多个语义都共用一个字向量存储结构,限制了字的多语义表达。(2)以传统CBOW模型为基础进行改进,得到一个新的基于词和语境的中文字向量生成模型。首先,针对传统基于CBOW模型的字向量生成方法存在的字向量信息局限性问题,引入语境向量的概念,把字或词所在的句子用向量的形式表达,称为语境向量,它由组成该句子的所有词的词向量信息共同参与得到。其次,构建词的多义存储方式,采用链表结构,称为词向量扩展结构,链表中的每个结点表达一个词义,词义用语境向量来表示,从而词的多语义被分别存入链表中的多条语境向量之中。最后,基于词向量扩展结构进行字向量生成。在生成某个句子中的字向量时,先提取包含目标字的词向量扩展结构,计算字词相似度及每个词对应的权重,加权整合词信息,又结合当前句子的语境信息得到字向量。该模型训练得到的字向量既包含其所在词的词信息,又考虑了句子的语境信息,从而使字向量的信息表达更准确完整,另外,字的多个语义存储方式也使字向量可以根据语境信息选择不同的语义,从而解决中文多义表达问题。(3)将本文提出的基于词和语境的中文字向量生成模型与改进前传统基于CBOW的字向量生成模型进行对比实验与分析。实验采用基于外部任务的字向量评价方式,分别以命名实体识别任务和新闻标题相似度任务展开实验,对比传统CBOW方法和新的基于词和语境的中文字向量生成方法在该任务中的表现,实验结果对比与分析表明,改进后的模型在命名实体识别任务和新闻标题相似度任务中表现均优于传统CBOW模型,新模型所得到的字向量信息由于引入了语境信息并支持多语义表达,使字向量信息表达更准确,同时解决了传统基于CBOW的字向量生成模型存在的中文多义性表达问题。