自然对抗条件下的鲁棒视觉表征方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:zcom0907
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着以深度卷积神经网络为代表的深度学习技术的快速发展,智能视觉感知技术在过去的几年内已经为人类社会带来了巨大的经济和社会效益,成为了日常生活、科学研究和社会生产中不可缺少的有力工具。但是在深入地应用过程中暴露出了许多难以解决的问题,其中最重要的一个问题便是基于深度卷积神经网络的视觉模型的可信性问题。由于基于深度卷积神经网络的视觉模型开发设计所面向的场景和真实场景之间存在不可估计的偏差,例如光照变化、遮挡、扭曲等自然因素的影响,造成视觉模型在真实场景应用过程中无法输出可信的结果。而这些基于深度卷积神经网络的视觉模型“漏洞”很有可能被不法分子所利用,并最终造成不良社会影响。模拟上述自然影响作为攻击手段的攻击类型称为自然对抗,自然对抗与非自然对抗攻击(如:PGD和FGSM)不同的是自然对抗方式更加自然、符合人类视觉认知、并且不需要考虑对抗攻击的可迁移性问题,更重要的是其构造成本低廉,即只需要对物理世界中的采集设备(摄像头)或者被采集场景(对象)加以干涉和影响、在不访问设备所收集到的图像数据的前提下就可以达到攻击的目的。自然对抗现象在当今社会中变得越来越常见。因此,保证基于深度卷积神经网络的视觉模型在部署后更少地受到自然对抗的影响,是智能视觉感知模型落地过程中需要克服的重要问题。通过对常见自然对抗攻击类型、所攻击的潜在目标以及现有视觉表征方法的分析,总结了现有基于深度卷积神经网络视觉表征方法在视觉底-中-高三个层面的问题:1)底层视觉计算中缺乏对局部视觉基元空间排布的感知能力;2)中层视觉计算中缺乏对不同邻近视觉区域之间在空间上分组特性的感知能力;3)中层视觉计算中缺乏对视觉内容构型统计特性的感知能力;4)高层视觉计算中缺乏对视觉属性关联性的感知能力。本文针对上述问题开展了以下几方面工作:(1)针对底层视觉计算中缺乏对局部视觉基元空间排布的感知能力问题。本工作通过观察发现自然图像中的多种不同视觉基元之间通常存在着内在结构依赖性,并且依此提出了一种新的深层结构揭示网络,利用视觉基元之间的空间依赖性作为鲁棒的底层视觉表示。为了明确验证所提出方法抵御基于构造图像局部扭曲的自然对抗攻击的有效性,本工作利用多个包涵丰富的空间扭曲畸变的纹理数据集构造了上述自然对抗类型的实验并进行了验证。(2)针对中层视觉计算中缺乏对不同邻近视觉区域之间在空间上分组特性的感知能力的问题。本工作通过观察发现自然图像中不同邻近局部区域之间在空间上的通常存在着连贯性,并且依此提出了一种新的深度基元连贯性网络,利用前景和背景区域的视觉基元的空间组织作为鲁棒的视觉中层线索。为了明确验证所提出方法抵御基于构造低对比度环境的自然对抗攻击的有效性,利用专门面向图像低对比度的伪装目标检测数据集构造了上述自然对抗类型的实验并进行了验证。(3)针对中层视觉计算中缺乏对视觉内容构型统计特性的感知能力的问题。本工作探索了符合人类视觉认知理论的图-底分配机制对于抵御基于构造遮挡的自然对抗攻击的有效性。并提出了一个新的图底辅助模块来学习视觉场景的构型统计,利用其来减少复杂空间结构所带来的视觉歧义/模糊。此外,本工作还设计了一个基础且良好的视觉分离测试,以清晰的验证所提出方法的图底分配能力。进一步,为了明确验证所提出方法抵御基于构造遮挡的自然对抗攻击的有效性,利用多个包涵丰富视觉歧义性的真实数据集构造了上述自然对抗类型的实验并进行了验证。(4)针对高层视觉计算中缺乏对视觉属性关联性的感知能力的问题。本工作通过观察发现自然图像中存在的多视觉属性之间通常存在关联性,并且探索了该特性对于抵御基于构造多重视觉概念的自然对抗攻击的有效性。具体地,提出了一种新型的深度多属性感知网络,通过相互强化的方式逐步学习视觉属性及其之间的关联性。为了明确验证所提出方法抵御基于构造多重视觉概念的自然对抗攻击的有效性,利用多个包涵丰富的不完美标签的纹理数据集构造了上述自然对抗类型的实验并进行了验证。基于上述研究,本文研究了自然对抗条件下的鲁棒视觉表征方法,通过在多个构造的自然对抗测试上与先前工作进行比较,验证了所提出的自然对抗条件下的鲁棒视觉表征方法的有效性和优越性。本文工作为后续关于自然对抗条件下的视觉表征研究提供了新的视角与思路。
其他文献
随着习近平总书记“碳达峰、碳中和”目标的提出,锂离子电池作为一种高效新型能源的储能载体备受青睐。锂离子电池的充放电是一个耦合电化学、力、热等多物理场的复杂过程,传统的实验方法难以获取电池内部从微观到宏观的多场耦合特性和机理阐释。本文以数值模拟手段为主,辅以实验表征和验证,针对锂离子电池内部电化学-力-热耦合关系复杂和机理不清等问题,从模型建立、机理分析和模型应用三个方面展开研究。首先从微观至宏观层
智能监控系统是一种针对视频监控系统提供的信息进行智能理解与分析的智能系统,被广泛应用在智能安防、智慧交通等领域。其中,行人重识别技术是智能视频监控系统中的关键技术与核心内容,该技术旨在判别由不同视域摄像机采集的数据中行人的身份,能够在大规模监控网络中对行人进行快速、高效的排查和追踪。现阶段,行人重识别研究主要集中在场景单一、模态单一、标签充足的封闭场景上。然而实际的应用环境往往是开放场景,场景中复
随着经济社会发展,资金约束成为制约中小企业扩大运营规模的重要因素。银行融资和贸易信贷是两种世界上最主流的融资模式。但对中小企业来说,由于抵押品(有价资产)的缺失,获取银行融资十分困难;同时,由于市场摩擦导致的融资成本,也增加中小企业获取外部融资难度。基于以上挑战,本文结合保险(一种金融工具)在银行融资中的作用、监督成本(一种市场摩擦)对供应链融资的影响和供应商债务分享在银行融资中的运用,分别对上述
随着航空发动机的高速运转,叶片的榫槽连接处、减振台搭接处以及尾喷管的调节片之间不可避免地存在微动磨损现象。相比于普通的滑动磨损,微动磨损最大的特点就是位移小,因此极具隐蔽性。微动磨损主要产生两方面的损伤,一是直接造成材料表面磨损,可能会导致零部件的损坏。二是,可能会诱发裂纹的萌生,裂纹一旦萌生,可能成为零部件整体疲劳的裂纹源,并且在无察觉时发生扩展,带来灾难性的后果。钛合金是航空发动机中的核心关键
电脉冲技术(Electropulsing treatment,EPT)是一种极速、非平衡的金属材料处理工艺,通过高密度脉冲电流与金属材料相互作用产生的焦耳热效应和非热效应,在金属材料中引起微观组织和力学性能演变,快速产生固态相变、诱发再结晶、促进位错回复和缺陷愈合等效果,目标实现组织优化、力学性能的恢复与提升。本论文深入研究了 EPT在高强度金属材料中的作用机制,发展组织调控新工艺,对于提升金属材
沥青路面中由于集料与沥青之间的黏附性差出现的病害一直困扰着公路行业的建设者。为了改善沥青黏附性,提高沥青对集料的胶结能力,通过在沥青中添加无机类材料成为一种途径。但现行对无机类材料在沥青及其混合料中的研究主要集中在类型、掺量、掺加方式等参数变化对沥青及其混合料宏观力学性能的影响方面,未从无机微粉材料的自身形貌、物理结构特征等方面对沥青微观结构特征和微观力学性能进行研究。因此,本文针对无机微粉改性沥
智能设备的普及给人类带来的变化是多方面的,人类生产生活中产生的海量数据为机器学习模型的发展提供了广阔的舞台。机器学习的目标是从数据中提取有用的信息,例如如何分类数据、如何预测数量。一个性能优秀的机器学习模型能够揭示数据中的规律,为人类生活提供便利;同时,它也有可能会泄露其训练数据中所包含的隐私信息。不论是传统意义上的机器学习模型,亦或是深度学习模型,其构建与性能都依赖于数据的数量和质量。但是,模型
对于巴基斯坦而言,中亚是一片广阔的外围地带,其经济、政治重要性与日俱增。几个世纪的历史与宗教联系使得巴基斯坦将中亚置于其外交政策的优先地位,中亚五国(塔吉克斯坦、土库曼斯坦、乌兹别克斯坦、吉尔吉斯斯坦和哈萨克斯坦)在1991年苏联解体后的独立更加强了这一点。在中亚五国独立后不久,巴基斯坦便针对该地区确定了政治、经济以及某种程度上的战略目标,自1991年起一直延续至今。巴基斯坦在该地区的对外政策目标
当今时代,随着我国信息化建设不断推进,信息安全形势愈发严峻。个人隐私作为保障社会安定有序和私人生活安宁的重要前提,对其开展保护势在必行。用户位置隐私是指用户不愿为人知晓的特定位置信息或与位置相关的身份信息。在基于位置的社交网络这一新的应用背景下,用户可以在线享受基于位置的搜索服务(如本地搜索服务)和附带位置标签的内容分享服务(如签到服务)。本文假设服务供应商是不可信的,即攻击者可以以某种模式获得用
对于全球外汇投资者来说,理解宏观结构、微观结构和外汇市场行为的关系至关重要。而且,越来越多的宏观和微观变量被用于外汇市场波动的研究。然而,以往的研究对于市场参与者的交易活动和经济新闻对市场波动的影响和相互作用是模糊和不精确的。本研究分为三部分,其旨在考察美国七大类经济新闻与美元兑七个发达国家货币的汇率之间的联动和相互联系,以及相应的订单流。在第一项研究中,我们采用了一种新的方法来评估汇率变动和市场