利用强化变分网络生成多样性文本

来源 :四川大学 | 被引量 : 0次 | 上传用户:kyc618
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
使计算机具有文本生成能力,是实现人工智能的重要目标之一,也是当前自然语言处理领域的研究热点。近年来,深度学习成为文本生成的主流方法,使得生成文本更加流畅,极大地提高了生成文本的质量。然而,主流的深度学习文本生成方法以序列到序列模型为基础,它们针对相同的源文本总是产生相同的目标文本,这对于要求提供多样性回复的应用场景是不适合的,例如聊天机器人。因此,在满足高质量的前提下提高生成文本的多样性,成为文本生成任务的一项重要研究课题。为了使生成的文本具有多样性,研究者提出了基于变分编码解码的方法,取得了令人鼓舞的效果。这类方法将源文本编码为多元正态分布,通过对多元正态分布采样,并利用采样得到的实值向量解码生成文本。这类变分编码解码方法虽然产生了具有一定多样性的文本,但由于它们采用交叉熵作为损失函数,试图使解码器拟合标注文本的表层表达,导致生成的文本只具有一定的表层多样性,而在语义方面仍然缺乏足够的多样性。此外,现有方法的解码端采用序列模型,训练阶段使用Teacher Forcing容易导致暴露偏差,使得生成文本与源文本的相关性降低。针对上述问题,本文工作内容如下:(1)针对生成文本缺乏语义多样性的问题,本文提出了引入目标端变分网络的文本生成模型,利用目标端变分网络捕捉标注文本的多样化语义,缓解生成文本仅具有表层多样性的问题。另外,本文在编码端构建了张量网络更好地捕捉源文本不同方面的语义。本文分别在问题生成任务和对话生成任务上进行了实验,并从多样性和相关性两个角度对所提出的方法进行了评价。实验结果表明,本文方法产生的文本虽然与源文本的相关性有轻微下降,但多样性明显提升。(2)针对第一部分工作中生成文本相关性降低的问题,本文提出了一种强化学习方法改善生成文本与源文本的相关性。该方法将第一部分工作所提出的模型当做智能体,并构建了一个相关度打分器衡量生成文本与源文本的相关性,将相关性得分当做回报,利用策略梯度方法根据回报信息更新策略参数,使智能体能够生成更具有相关性的文本。实验结果表明,本文提出的强化学习方法提高了生成文本与源文本的相关性,同时也基本保持了生成文本的多样性。
其他文献
脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网
随着物联网技术的快速发展,无线传感器网络被广泛地应用于生活生产。但由于传统无线传感器网络中的传感器节点通常采用电池供电,有限的电池容量使得节点能量问题已成为影响无线传感器网络生存时间和系统性能的主要瓶颈。近年来,无线能量传输技术的发展为解决无线传感器网络中传感器节点的能量问题提供了新思路。利用无线能量传输技术,研究者们提出了无线可充电传感器网络,即在传统无线传感器网络中引入移动充电装置对传感器节点
肺癌是全球当前最常见的疾病之一,而淋巴结的评估在肺癌诊治中占有重要地位。肿大淋巴结的存在被认为与肺癌淋巴结转移密切相关。医生通常依据CT影像中淋巴结情况和/或侵入性分期方法对患者淋巴结转移做出评估,并根据评估结果选择对应的治疗方案。因此,淋巴结的检出和分期影响到患者病情发展、疾病诊断、治疗方案选取和随访等一系列进程。但是由于医疗资源的缺乏和患者数量的庞大,人工阅片使得医生工作强度大,患者等待时间长
结直肠癌是最常见的消化道恶性肿瘤之一。结直肠息肉是结直肠癌的主要癌前病变,对结直肠息肉的早诊早治能够有效的阻断结直肠癌的发病进程,改善结直肠癌患者的生存预后。结直肠镜诊疗技术是临床实践中结直肠息肉诊断的主要手段。但由于存在多种因素不同程度影响了结直肠镜检查的质量和效果,给结直肠息肉甚至早期结直肠癌的检出带来严峻考验。结直肠癌的确诊以结直肠息肉活检细胞的病理检查为依据。结直肠病理的检查是结直肠癌确诊
近年来,随着计算机技术的不断发展,生物电信号的自动识别任务引起了大量学者进行研究。生物电信号自动识别的主要应用场景便是辅助医生进行诊疗,目的是使得计算机可以自主、高效地对生物电信号所反应出的人体疾病、异常做出判断。但在实际应用中,生物电信号的数据标注任务成为了一项大的难题。由于生物电信号本身不易被常人看懂,需要非常有经验的医学专家花费大量的时间进行标注,这极大的浪费了人力资源与时间资源,使数据集的
随着移动智能手机的普及,手持拍照成为日常生活中非常重要的一部分。然而,传统的相机传感器无法捕获自然场景中的高动态范围(High Dynamic Range,HDR),专业的硬件设备也由于其高昂的价格难以普及。目前主流的高动态范围成像(High Dynamic Range Imaging,HDRI)技术主要是通过软件层面实现,即利用算法将低动态范围(Low Dynamic Range,LDR)图像恢
乳腺癌是最为常见的癌症之一,早期发现并及时治疗可大幅提高患者存活率。因此,对于乳腺癌的早期诊断十分重要。相较于钼靶、CT等方式,超声检测因其安全性、便捷性、灵活性等优势被广泛应用,针对乳腺超声图像的辅助判别模型也逐渐被重视。不同于海量的人脸、自然图像数据,典型、准确且有效的医学图像金标准数据是极其有限的,同时,罕见疾病数据和新发疫情的早期数据亦是极度缺乏的,此类状况都极大地限制了深度学习等强大模型
甲状腺结节是一种常见的临床问题,对其进行临床检查能够判断患者是否患上甲状腺癌,超声是首选的检查方式,但为了进行更准确的诊断,还需要对患者作病理检查,由此生成的病理报告是公认的金标准。由于病理报告直接反应患者情况,知晓患者的病理报告诊断结论,便可推导出其超声图像检测结果为良性还是恶性。而这对于甲状腺超声图像的标注也具有重要意义:基于超声图像的甲状腺结节计算机辅助诊断系统以深度神经网络作为主要的甲状腺
随着智慧城市的升级,智慧城管系统朝着智能化和多任务的方向发展,其中违规广告牌检测是智慧城管系统的一项重要研究任务。近年来,随着深度学习和计算机视觉的快速发展,越来越多的基于卷积神经网络的目标检测算法被用于非法广告牌检测,具有较高的检测精度,但是在实际应用中可能有一些问题:一方面,对目标检测要求实时性;另一方面,复杂的卷积神经网络的训练需要高性能机器支持,这些高性能的机器不是每个单位都能提供。为了更
随着互联网的蓬勃发展,越来越多网民在社交平台上发表自己的言论,这些言论中通常包含大量的情绪信息,分析这些文本中蕴含的情绪可以为舆情分析等许多任务提供支持,拥有很高的应用价值。由于社交平台上用户发布的每一段文本通常包含多种情绪,且这些情绪间互相存在关联,捕捉这样的关联可以为准确识别文本中的情绪带来帮助,所以文本情绪分析应使用能够建模情绪关联性的多标签分类方法。目前以序列到序列模型为基础的深度学习方法