无条件文本生成的目的是生成与真实文本一样高质量、多形式的文本,而使用最大似然估计训练的自回归（Autoregressive,AR）神经语言模型常被用来作为无条件文本生成器。由于AR神经语言模型存在曝光偏差问题,即训练和推理阶段的输入不一致,所以生成文本的质量差并且多样性低。为了解决曝光偏差问题,生成对抗网络（Generative Adversarial Nets,GAN）被用来微调AR神经语言模型,具体方法是使用鉴别器检测到的偏差信号来指导AR神经语言模型更新。然而,此类语言GAN方法本质上是牺牲多样性来换取质量的有限提升,不仅没有改进AR神经语言模型,反而带来了模式崩塌等问题。另一方面,现有的无条件文本生成评价方法存在缺陷,即不能同时考虑生成样本的质量和多样性两个维度。为了解决无条件文本生成的评价难点,本文提出了一种新的无条件文本生成评价指标——分布偏差（Distributional Discrepancy,DD）。该指标根据生成文本和真实文本之间的分布差异来评估无条件文本生成模型的性能,可以同时完成生成样本的质量和多样性两个维度的评估。由于实际中无法得到真实文本的分布,所以不能通过计算的方式直接精确地得到DD。基于此,本文设计并实现了一种可学习的方法来估计DD,即训练一个基于神经网络的文本分类器,并根据分类器的结果来估计DD。为了观察DD的有效性以及评估表现,本文在真实数据和合成数据场景下进行了实验,使用DD和已有的三个基准指标,对基于长短期记忆（Long Short-Term Memory,LSTM）和生成预训练转换器2（Generative Pretrained Transformer 2,GPT-2）的一组AR神经语言模型进行评估并排序。实验表明,在对这些AR神经语言模型的性能进行排序时,DD的表现明显优于三个基准指标。为了改进无条件文本生成模型,本文提出了一种过滤框架。该框架通过在原始生成模型之后添加过滤器（充分训练的双向鉴别器结合采样过滤算法）,过滤掉那些和真实文本偏差大的生成文本,从而使得最终输出的生成文本的分布更接近真实文本的分布。该框架只使用过滤器修改原始生成模型的输出,并没有更新其参数,因此过滤框架能够被用来改进任何结构的无条件文本生成模型,并且避免引入GAN带来的模式崩塌等问题。为了验证过滤框架的性能及适用范围,本文在两个公开数据集下进行了实验,使用过滤框架来改善基于LSTM和GPT-2结构的AR神经语言模型。实验表明,过滤框架的性能始终优于两种AR神经语言模型和语言GAN。