语义标签引导下的高清图像生成

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:jackywang1980
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,以深度学习为代表的人工智能迅速发展,在很多领域上都取得了巨大的突破。深度学习依赖于大数据以及运算能力的提高,通过网络模型中大量参数来拟合所要解决问题的函数。在图像领域,随着问题复杂化的提高,深度学习对于数据以及运算能力的需求更加严苛,在处理器运算能力难以有巨大突破的前提下,数据集的质量和数量成为图像领域深度学习发展急需解决的问题,而图像生成是解决此问题的有效手段。图像生成一般分为街景生成和人脸生成,本文对深度学习图像生成任务的难点做了细致分析。对于街景生成,现有生成模型受卷积核感受野的影响,难以获取长距离依赖。在另一方面,生成模型可解释性差,传统模型都是在总的参数空间上拟合问题函数,对于生成模型中每一层网络的作用难以分析,导致生成网络变得越来越深。对于人脸生成,传统的工作集中在无条件人脸生成以及脸部语义标签引导下的条件人脸生成,无条件人脸生成难以控制生成人脸的形状,而语义标签引导下的条件人脸生成,由于脸部语义标签难以标记,导致无法大规模进行人脸生成。为解决以上三个问题,本文围绕语义标签引导下高清图像生成进行研究,主要工作包括:(1)设计了具有区域间注意力机制的街景生成模型。针对难以获得长距离依赖的问题,受自然语言处理的启发,本文将图像分部分生成,并在每一部分的前后添加自注意力机制,这样可以获取空间上的依赖性,增加不同区域内同一类别间的响应和一致性。在获得长距离依赖的同时,部分生成也保留了区域间的独立性,防止图像生成因过于耦合而出现的图像不清晰现象。(2)设计了基于条件可预测参数的街景生成模型。针对生成模型难以分析模型中每一层作用的问题,本文探究了对街景图片进行功能生成的可能性。本文将不同的卷积核看作不同的“画笔”,为了对画笔进行预测,本文设计了不同的预测网络,在不同的小的参数空间中预测相应的卷积层卷积核参数,并且将辨别器下采样过程看作是解码阶段的逆过程,加之相对应的损失模块,使得解码阶段的卷积核具有特定的功能。(3)设计了基于mask引导下的人脸高清生成模型。本文在无条件人脸生成以及脸部语义标签人脸生成之外,设计实现了由mask引导下的条件人脸生成。本模型可以将一张mask分割图作为输入,生成具有相应前背景分割的高清人脸。本文将人脸中的鼻子、眼睛、头发看作是风格生成中的细致风格,通过映射网络对输入的风格噪音进行解耦和,并在模型64×64的尺度上进行风格注入,从而实现了基于mask引导的人脸高清生成。除此之外,本文基于mask图具有的边缘分割不清晰的缺陷,受图像抠图领域的启发,设计出基于matting引导下的人脸高清生成模型,生成的图像在边缘部分更加清晰。相较于传统的生成模型,本文设计实现的具有区域间注意力机制的街景生成模型生成效果,在1024×512尺度上略优于现有最好的街景生成模型,设计的基于条件可预测参数的街景生成模型,在512×256尺寸上实现高清街景生成并优于现有模型,设计的mask引导下的人脸高清生成模型可以精确、清晰地生成人脸。
其他文献
技术轨道研究作为技术创新理论的重要组成部分,一直以来都是国内外技术创新研究和实践所关注的前沿和热点。近年来,技术轨道识别研究已被视为技术轨道理论研究的重点。专利作为技术载体,可以精确映射出技术的核心要素,而专利间的引用关系则可以指明技术的发展起源及传播方向,对进一步识别并评价特定领域的技术轨道具备重要意义。本文从专利引文网络与社会网络分析双重维度描绘技术网络的整体结构,将专利引文网络当作技术生长历
学位
轨道交通在城市化进程和经济发展中发挥着越来越重要的作用,地铁隧道建设也得到了极大的重视,伴随而来的是对隧道相对变形监测的迫切需求。传统的地铁隧道监测是通过在隧道中布设一定数量的控制点,架设全站仪进行观测得到控制点坐标,然后人工检测病害,具有效率低下等不足。三维激光扫描技术具有数据量大、精度高、速度快等突出优势,在隧道沉降和相对变形检测中具有越来越重要的地位。相比于静站式扫描法,移动式三维激光扫描技
李巍是中国当代著名花鸟画家,曾任吉林艺术学院教授,鲁迅美术学院客座教授。1934年出生于黑龙江克山县,1957年毕业于东北美术专科学校(今鲁迅美术学院)。在校期间专攻油画,练就了扎实的油画功底,毕业后在甘肃工作期间得到齐白石嫡传门人韩不言的悉心教导,继承了齐派“似与不似”的传统文人花鸟画精髓。在回到吉林省工作后结合东北独有的自然条件人文特性建立起了具有鲜明个人风格的写意花鸟风格体系。经过多年的潜心
泰国呵叻府农业职业技术学校汉语课为兴趣课且课时有限,除去假期活动,每学期汉语课在30课时左右。教学前期的语音课教学可以帮助学生快速巩固语音知识,从整体上提高教师教学效率、学生学习效率。研究采用访谈法、测试法、偏误分析法、对比分析法和课堂观察法。测试农职学校2年级34名学生汉语声母存在的偏误问题,记录学生测试中对汉语的态度和采用的交际策略。测试结果表明学生偏误集中在塞擦音zh、ch、z、c、j、q和
小叶杨是我国重要的树种资源,抗旱耐贫瘠,在林业、生态等方面用途广泛。为保护小叶杨天然资源并加强遗传多样性和表型特征研究,该文主要开展以下工作:(1)该文首先以我国16个产区的小叶杨幼苗作为研究对象,构建适合不同地区幼苗生长的组合优化生长模型。结果表明:相对于Logistic模型和Gompertz模型,组合优化模型对我国7个地区的小叶杨幼苗生长呈现出较大的F值(a=0.01)和较高的预测精度,且模型
随着我国经济的快速发展,企业间的竞争不断加剧,企业员工的压力问题也日益凸显。危险系数较高、安全事故频发、员工的生命安全时刻处于威胁之中的高危企业,如煤矿、化工、建
区块链作为一种去中心化、多方维护、安全可信的分布式账本技术,打破了传统数据中心化存储管理的思想,近年来愈加受到各领域学者的研究与关注,其中包括医疗行业。当前医疗数据存在的信息孤岛化、数据隐私、数据易泄露等问题,是医疗信息化过程中大家关注的重点。区块链在隐私保护、访问控制、可溯源性层面的这些特性,正好能够切中当前医疗行业的这些痛点,因此区块链与医疗领域的结合具有非常大的实际意义。共识算法作为区块链技
目的:探讨肺气流受限、弥散功能异常与肺癌危险性之间的关系。方法:1.收集苏州大学附属第二医院2012年9月至2015年8月住院的患者,选取通过病理学和组织细胞学确诊的气管、支
产品缺陷认定是产品责任认定的基础性工作。生产者是否需要承担产品责任取决于对产品缺陷的认定。合理准确地把握产品缺陷认定标准才能更好地维护消费者的合法权益以及合理、公正地对生产者课以责任。改革开放初期,我国生产力较为落后,人们对于产品缺陷的认识甚少。但当下的中国快速发展,科技日新月异,为更好地维护消费者的合法权益,需要进一步完善我国产品缺陷认定的相关制度。通过对这个基础性问题的研究,希望能为我国产品缺