近年来,随着深度学习的迅猛发展,自然语言处理已经成为了科学研究的重点领域之一。目前,基于深度学习技术来处理自然语言的研究工作主要集中在知识图谱、机器翻译、问答系统、文本分类等方向,然而关于将深度学习技术应用于自动生成文本摘要的研究工作少之又少。此外,在被称之为“互联网时代”的今天,文本信息的日生产量已然呈现出指数级地爆炸式增长趋势,面对数据量级超乎想象的文本信息,人类不再可能胜任从文本中提炼出其想要传达的核心思想的工作。因此,为了能够从文本信息中高效地提炼出核心内容,即文本摘要,我们迫切需要基于深度学习的文本摘要自动生成技术,这即是本论文研究的重点。文本摘要是自然语言处理的下游任务之一,是众多生成式任务中的一种,它分为抽取式文本摘要和抽象式文本摘要,较抽取式文本摘要而言,抽象式文本摘要的可读性以及流畅性更高。此外,在相关研究工作中发现,目前许多自然语言处理的下游任务大都在预训练语言模型基础上进行微调来实现,优秀的预训练语言模型能够充分理解上下文并生成蕴含上下文语信息的词表达,这对提升下游任务的性能有着非常重要的作用。所以,本文旨在实现一种基于预训练语言模型的抽象式文本摘要生成模型,即REINS模型。该模型将采用针对生成式任务较为主流的Encoder-Decoder架构思想,其中Encoder部分将基于目前最流行的预训练语言模型BERT进行搭建,所以REINS模型在词的表达上能够充分利用上下文语境信息,帮助Decoder更好地进行解码;而Decoder部分将基于机器翻译模型Transformer中的Decoder组件,该组件抛弃了传统生成式任务中常用RNN或CNN的思想,采用注意力机制,从而帮助REINS模型能够更加关注于词级别以及句级别的内在联系,最终使得该模型在抽象式文本摘要任务中的表现更加卓越。此外,与传统的基于RNN或CNN搭建的文本摘要生成模型相比,REINS模型还支持并行模式,能够加快模型的训练、评估以及推理过程。最后,与基于BERT搭建的针对其他下游任务的模型一样,该模型将具有较好的迁移能力,即通过较少的数据集进行训练,就能够获得较好的文本摘要生成质量。本文的主要工作和贡献包括:首先,本文提出了一种可迁移抽象式文本摘要生成模型;其次,本文搭建了以该模型为核心的抽象式文本摘要生成系统,即TATSGS系统,它能够提供数据预处理、模型训练、模型评估以及模型运用等一系列管道服务;最后,本文利用标准文本数据集CNN&Daily Mail来实现对REINS模型在生成抽象式文本摘要方面的性能进行了验证,得到了较好的实验结果,并采用ROUGE评估体系,ROUGE-1、ROUGE-2和ROUGE-L分别达到了40.13,17.87,36.94,从而验证了基于预训练语言模型BERT搭建起来的文本摘要生成模型REINS的可迁移性。