基于对抗学习的跨领域图像分割方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fantasy2204
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割旨在为图像中的每个像素分配一个预定义的语义类标签,使计算机能够通过视觉的方式对场景进行细粒度地理解。该技术被广泛应用于自动驾驶、城市规划、智能家居等任务中,是计算机视觉领域的重要分支。近年来,基于深度卷积神经网络的分割技术将任务性能提升到了一个新的水平。然而,现有的深度学习方法需要大量的像素级人工标注图像作为训练数据,使得这些方法所需的时间和金钱成本十分昂贵。为了减轻手工标注数据带来的沉重负担,一种方法是使用虚拟数据进行训练,例如计算机模拟图像,进而获得几乎无限数量的自动标注数据。由于不同领域之间的数据分布不同,用虚拟图像训练出的深度模型并不能很好地泛化到现实场景。针对这一难题,本文对语义分割中的领域自适应问题展开了研究,提出了一系列的创新性解决方案,并通过实验验证了方案的正确性和有效性。论文的主要工作和贡献包括以下几个方面。
  为了更好地利用像素上下文信息提升分割精度,提出了基于宏观-微观对抗学习的语义分割方法。目前主流的语义分割方法所使用的损失函数是针对每一个像素的多分类交叉熵,该损失函数只考虑对每一个像素的分类而忽略了像素间的上下文信息,容易在图像细节和全局层面造成分割错误。针对该问题,所提出的方法使用两个不同的判别器对分割网络的不同层次进行监督,引导分割网络在推导中同时考虑像素局部上下文和全局上下文信息,分别提升了分割结果的局部语义一致性和全局语义一致性,使模型输出接近于真实标签的分割结果。在多个人像分割测试集上,该方法显著改善了分割结果,达到了最先进的分割精度。
  为了减少领域自适应分割网络在训练过程中负迁移现象的产生,提出了基于语义级别对抗学习的领域自适应分割方法。传统基于对抗学习的领域自适应方法仅能将源域和目标域的特征进行边缘分布对齐,而忽略了相同语义特征的联合分布对齐,容易在训练过程中造成负迁移。针对该问题,所提出的方法结合了协同训练和对抗学习两者的思想,采用两个正交分类器对特征进行语义级别对齐,增强了源域和目标域分割结果的语义一致性,极大的减少了领域自适应过程中负迁移现象的产生,提升了模型在目标域中的泛化性能。
  针对语义分割问题深层特征过于复杂导致域间分布对齐困难的问题,设计了基于显著性感知信息瓶颈的领域自适应分割方法。在语义分割任务中,神经网络的深层特征需要编码图像的空间结构、物体形状、颜色纹理等多种信息。直接通过对抗学习的方法在复杂的深层特征上进行分布对齐效果不佳。针对这一问题,所提出的方法利用信息瓶颈对深层特征进行压缩,去除特征中与分割任务无关的干扰信息,并基于特征显著性保留重要的任务相关信息,从而降低了源域和目标域之间特征对齐的错误率,并提高对抗训练的稳定性。在多个测试集上,该方法达到了当前最先进的跨领域分割精度。
  针对目标域数据稀缺的困难场景,提出了基于单目标域样本领域自适应分割方法。相较于可利用大量目标域的无标注图像进行训练的情况,现实中可能面临更苛刻的实验条件,比如由于隐私限制和数据采集困难,只能获取很少量甚至单张无标签目标域的图像。提出的算法首次结合了对抗学习和风格迁移的思路,围绕仅有的目标域样本,以端到端的方式高效地搜索潜在的目标域风格。生成的风格化图片能够直接被用于训练,显式地加强模型在目标域的泛化能力。与其他领域自适应方法相比,此方法在目标域样本稀缺的情景下具有最优的性能。
  跨领域图像分割是一个具有挑战性的新兴课题,在大数据时代具有很强的实用价值。然而,与传统的全监督语义分割技术相比,跨领域图像分割在分割精度和分割速度上都还有较大差距。本文仅研究了其中一部分问题,后续的研究工作将会深入到神经网络原理本身,从可解释性的角度找寻模型在跨领域情况下性能下降的本质原因,从而在根本上解决领域自适应问题。
其他文献
小细胞肺癌(SCLC)在肺癌患者约占15%,通常与吸烟有密切关系,小细胞肺癌被归类为侵略性程度非常高的肺癌。SCLC的治疗方法首先从化学疗法和放射疗法开始。由于SCLC通常分为局限性(LD)和广泛性(ED)两个阶段,SCLC的患者中有70%被诊断为广泛阶段。DLL3被认为是SCLC免疫疗法的理想靶标,因为它在SCLC患者中高表达,而在正常组织中几乎不表达。免疫检查点抑制剂和DLL3靶向抗体偶联药物
脉动热管(PHP)是20世纪90年代发明的非传统热管,它是一种被动但高效的热管理装置,在太阳能电池、燃料电池、空间和电子冷却及混合动力汽车中具有良好的应用前景。PHP分为蒸发段、绝热段和冷凝段三部分,其没有吸液芯辅助工作流体从一个区域流向另一个区域,但毛细作用在这方面起到辅助作用。许多研究表明,流体热动力学和相变行为主要取决于工作流体的类型、填充率(FR)、热输入、抽空压力等。然而,对于PHP的工
学位
在弹用超声速“X”型进气系统的研究中,倒置进气道由于大攻角下性能更占优,因而受到广泛关注。本文针对Ma2~4速域范围进行了倒置二元进气道方案设计,给出了全包线范围内总体性能,并与正置方案进行了总体性能的比较。  文中首先针对倒置进气道,开展了外压段波系配置、内压段泄压槽、亚声速扩压段以及设计点对进气道性能的影响研究,获得了一种性能较优方案。进气道采用部分等熵压缩方法设计,内压段布有两道泄压槽。计算
城市废水厂中的污泥含有很多有毒有害物质,如果不加以妥善处理,将造成严重的二次污染。热解作为常规的污泥资源化利用处理手段,其主要副产物为污泥热解炭,廉价而易得,具有广阔的应用前景。另一方面,燃煤工业和机动车向大气排放大量的NOx,不仅对环境造成破坏,并威胁人类的健康。然而,通过热解制备的热解炭中含有丰富的碳元素和优良的孔隙结构,既可作为还原剂也可作为催化剂载体,应用于脱硝反应中。因此,本文将以污泥热
学位
正丁醇是具有发展潜力的内燃机生物替代燃料。均质充量压缩着火(HCCI)方式是提升传统汽油机热效率的有效方案。将正丁醇应用于HCCI发动机是缓解能源供需紧张的重要措施。本文利用负气门重叠角策略,在单缸四冲程发动机上研究了平均指示有效压力(IMEP)≤0.3MPa,当量空燃比条件下正丁醇/乙醇-汽油HCCI发动机燃烧特性和排放规律,并研究了不同推迟着火时刻方式对正丁醇HCCI发动机燃烧特性的影响。此外
CO2捕集技术作为一种负碳排放技术,可以有效实现电厂等大型碳排放源的碳减排,进而应对全球变暖和气候变化。化学吸收法是发展最为成熟,且最接近商业化的碳捕集技术,但是较高的捕集能耗限制了其进一步发展与应用。本文从多个方面分析了提升化学吸收法碳捕集技术能效的方法,形成了“循环分析及优化—技术实现、验证及优化—系统集成及优化”的分析路径,从单个循环到实际系统再到多系统集成,逐步提升化学吸收法碳捕集技术能效
学位
微波光子技术结合了微波技术和光子技术的各自优势,有望解决传统雷达难以实现的宽带信号产生和处理问题。然而现有的微波光子系统大部分基于分立器件构建,存在着重量大、体积大、成本高、可靠性差、易受环境影响等问题,严重制约了微波光子技术在雷达系统的实际应用。微波光子系统集成化是解决上述问题的重要途径,也是现阶段微波光子技术的研究焦点。  本文以集成微波光子雷达为研究方向,围绕其中的滤波、延时、移相及系统验证
保障智能卡、射频识别、无线传感器网络等资源受限设备的信息安全,已成为密码学领域备受关注的科学问题。为能更好实现密码性能在安全与高效之间的有效兼顾,本文对基于动态轮数的混沌分组密码开展研究。主要研究内容说明如下:  针对有限运算精度造成混沌系统动力学特性退化,通过统计测试分析得出量化方法和参数设置对数字混沌特性的影响规律,采用级联和扰动的补偿方式构建动力学特性显著增强的数字混沌模型,从而更好满足混沌
学位
量子信息与量子计算领域中两个著名的研究成果——BB84密钥分配协议(Bennett-Brassard protocol proposed in 1984)和Shor的质因子分解算法——均对现有的密码体系产生了深远的影响。然而,更具广泛应用前景的Grover迭代算法在穷举搜索之外的密码学应用还未经充分研究。此外,另一类典型的量子迭代运算过程——量子随机行走——的非马尔科夫模式(或具有记忆的量子行走算
数据建模是机器学习和人工智能领域的重要研究问题,聚类分析可以有效地挖掘数据内在的模式和规律。复杂网络(图数据)作为新的研究热点,对理解社会复杂系统有着重要的作用,可以有效地用于推荐系统、恐怖组织挖掘等问题。近年来,网络结构的动态演变给社团检测建模提出了新的挑战,如何采用高效的学习模型挖掘动态复杂网络内在的规律,实现社团检测和演化分析,成为动态复杂网络研究的重点。从动态复杂网络中节点重要性、社团结构