面向多模态自监督特征融合的音视频对抗对比学习

来源 :中国图象图形学报 | 被引量 : 0次 | 上传用户:liongliong536
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法:1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination)模型,视频级别的TOP1准确率分别高出了0.35%和0.83%;在环境声音数据集ECS-50上,本文方法相较于Cross-AVID模型,音频级别的TOP1准确率高出了2.88%。结论 音视频对抗对比学习方法创新性地引入了视觉和听觉对抗性负样本集合,该方法可以很好地融合视觉特征和听觉特征,得到包含视听觉信息的音视频特征,得到的特征可以提高动作识别、音频分类任务的准确率。
其他文献
探讨公共图书馆在公共文化服务体系中的作用,提出适应和促进公共文化服务体系的图书馆发展对策及目前存在的问题。
手势对于言语学习的作用一直是教育学、语言学和心理学关注的重要问题。然而过往研究较多关注伴手势学习对于词汇语义学习的影响,却较少关注于语音层面。本研究主要关注上下起伏的手势对于汉语母语者学习英语词汇重音的影响,共包括两个行为实验和一个脑电实验。两个行为实验结果共同表明了与听觉刺激有相似表征和内在联系的手势能够促进被试对于英语重音的学习,并且起伏和重音幅度相匹配的手势即明确表明重音位置的手势(匹配手势
2018年12月7日,中国财政部正式发布了《企业会计准则第21号——租赁》,这标志着我国租赁准则与国际租赁准则IFRS 16正式接轨。新租赁标准不再区分经营租赁和融资租赁,这种变化将对企业的财务报表产生重大影响。本文研究的目的是探讨租赁准则的国际趋同是否对会计信息质量的提高发挥作用。
有机农业栽培技术是新型的栽培方法。采用土壤肥力技术不仅可以提高土壤种植水平,还可以满足人们对健康食品的需求,促进中国实施可持续发展战略。有机农业的土壤肥力技术可以提高作物的种植效率和水平,具有保护健康环境的特点。然而,土壤肥力技术与以往的栽培方法相比有所不同。描述有机农业种植技术的发展情况,预防有机农业病虫害?提出了治疗技术,供大家参考。
目的 探讨δ-catenin通过PI3K/AKT信号通路促进乳腺癌细胞上皮间质转化(epithelial-mesenchymal transition, EMT)的作用机制,为乳腺癌的靶向治疗提供科学依据。方法 选取人乳腺癌细胞系MDA-MB-231,对细胞进行不同处理后分为3组,分别为过表达组(δ-catenin)、LY294002组(δ-catenin+LY)和对照组,δ-catenin组处理
针对基于张量积小波的去雨方法无法捕获所有方向的高频雨纹的问题,提出基于不可分提升小波的双U-Former网络(DUFN)。首先,DUFN利用各向同性的不可分提升小波捕捉各个方向的高频雨纹,相较于哈尔等张量积小波只能捕捉到三个方向的高频雨纹,DUFN能获得更全面的雨纹信息;其次,DUFN将两个由Transformer Block构成的U-Net在各尺度上进行串联,让浅层解码器的语义特征传递到深层阶段
背景头颈部鳞状细胞癌(头颈鳞癌)是全球最常见的癌症类型之一,其发病部位特殊、类型复杂多样。由于认知不足,大多数患者在确诊时已经进入中晚期阶段,其中超半数的患者又会出现复发或远端转移的情况,导致该病五年生存率不足40%。近年来免疫疗法被认为是治疗晚期或侵袭性癌症最有前景的手段,目前已成为头颈鳞癌的一线用药。免疫检查点阻断剂是免疫疗法的重要组成部分,其中最具代表性的是PD-1/PD-L1阻断剂,其作用
嫦娥三、四和五号的原位月壤探测为基于嫦娥一、二号卫星微波辐射计数据的月球科学研究提供了重要参考.本文基于嫦娥二号卫星微波辐射计数据,生成了着陆区亮温图;为了消除亮温随纬度变化的影响,突出亮温与月壤成分之间的关系,定义和制作了规则亮温图和亮温差图;基于Kaguya MI数据,制作了研究区氧化亚铁、氧化钛、单斜辉石和橄榄石含量图;结合原位月壤探测成果,系统分析了嫦娥三、四和五号着陆区月壤的微波热辐射特
目的:运用“动态辨治”理论进行专科疾病的管理优势探讨。方法:选择2020年7—12月医院收治的妇产科患者110例为研究对象,随机均分为对照组与观察组,给予所有患者常规西医学专科管理方法,在要素质量改进环节强化患者入院评估机制和各环节管理质量,通过医护配合、多学科配合完善管理流程,积极提升科室综合管理水平和患者满意度。观察组参考中医辨证理念进行管理,结合女性生理特点分析妇产科患者病因病机,辨证分析脏