基于特征解耦的多模态表征学习研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:hezhimou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息传输技术的飞速发展,大量的多媒体内容充斥着人们的生活。多模态内容的理解和处理是推动人工智能认知和交互发展的重要研究领域。其中,多模态表征学习是解决多模态问题的一个基础而关键的研究方向。特征解耦是实现多模态表示的一种重要方法,它将每个特征解耦为变量,并编码为单独的维度。解耦的特征相互独立,每个特征不受其他特征变化的影响。在多模态场景中,多模态数据解耦为两种特征,一种表示模态之间的共同语义信息,另一种表示每个模态的独特属性。其中共同语义信息可用于其他多模态任务,如领域自适应、跨模态检索等。领域自适应是一种源任务和目标任务一样,但是源域和目标域的数据分布不一样,并且源域样本有标签,目标域样本则没有(或只有非常少)标签的迁移学习课题,目的是通过在源域上的学习把知识迁移到目标域上,在目标域上完成相同任务。各个不同的领域可以看作是不同的模态,对领域自适应问题的处理也离不开多模态表征学习的研究和应用。目前多模态任务的主流方法都依赖上游表示学习来获得准确、低冗余、低噪声的多模态表示,这是模型取得良好效果的前提。在此基础上,本研究将以领域自适应问题为背景探索基于特征解耦的多模态表征学习。本文首先回顾了一下领域自适应的主要算法,然后提出了两种不同的基于特征解耦的领域自适应方法:1)本文提出一种基于生成对抗特征解耦的多源域适应方法,为每个域分别设置一个域共享特征提取器和一个域私有特征提取器,对特征进行解耦。通过一组对抗学习让各个域的域共享特征在特征空间中尽量靠近,以进行目标域上的图像分类。应用另一组对抗学习让尽可能多的类别相关语义信息提取出来包含进域共享特征中,同时剔除域私有特征中的类别语义信息。实验结果表明了本文提出的方法的有效性。2)本文提出了一个更加一般的多源域适应研究课题,名为多源部分域适应,同时提出一个部分特征选择和对齐框架网络能够处理传统多源域适应问题和新提出的多源部分域适应问题。框架利用源域和目标域特征之间的相似性对源域特征进行选择,得到源域特征中与目标域更相关的部分,然后通过多种对齐损失实现了类别级别上的对齐。最后,本文基于当前的研究探讨了特征解耦在多模态表征学习中未来值得探索的方向。
其他文献
为了研究在天然地应力作用下裂隙产状等因素对深部岩体裂隙渗流特性的影响,基于单裂隙面渗透性服从负指数变化规律,建立了三维应力作用下不同产状裂隙的渗透系数计算公式,利用Lagrange乘子法分析裂隙面产状变化对其渗透性的影响,并分析了岩体裂隙有、无充填物对其渗透性的影响及敏感性;然后,以我国大陆地区地应力统计规律为例,分析了地表以下5000 m范围内在天然地应力作用下裂隙渗透性随深度、产状的变化规律。
研究了镍铁冶炼节能技术及工艺,并介绍了国内B镍铁厂针对矿热炉工序、回转窑工序、干燥窑工序分别实施的节能改造措施;通过改造,该镍铁厂实现了良好的节能效果。
<正>2022年7月6~8日,由亿览网、伊春鹿鸣矿业有限公司联合主办,金堆城钼业股份有限公司(以下简称“金钼股份”)、洛阳栾川钼业集团股份有限公司等协办的“2022年第九届中国国际钼产业高峰论坛”在辽宁省锦州市隆重召开,来自国内外钼行业生产商、贸易商、钢铁消费企业、市场分析机构及应用研究领域的专家代表300余人参加了本次盛会。
期刊
药物发现是治疗疾病的关键步骤,而准确识别蛋白质和化合物小分子之间的相互作用是实现药物发现的核心手段。传统的药物筛选技术依赖于生物化学实验,需要耗费大量的时间和成本,有效药物的命中率低。后来,研究人员利用计算机和数学的技术有效缩短了药物发现的时间,提高了药物的命中率。其中,深度学习表现优异,成为目前主流的识别蛋白质-小分子相互作用的关键技术。当前绝大多数深度学习的模型将识别蛋白质-小分子的相互作用视
为分析高应力条件下开挖卸荷对巷道围岩破坏特征的影响,利用真三轴岩爆试验系统,通过三向六面加载、单面快速卸荷的方法对花岗岩的破坏形态、能量演化特征和声发射基本特征参数进行研究。试验结果表明:岩石破坏过程分为小颗粒弹射、岩板劈裂、板折剥落、块状弹射4个阶段。试样在卸荷面形成“V形”岩爆坑,内侧出现剪切裂纹,其整体破坏形态在空间分布上呈二元分布;通过对岩爆能量的研究发现,卸荷过程前岩石所吸收的能量主要以
<正>在全社会进入产业互联网的时代,智能化养猪成为传统养猪业转型升级的最大出路。与此同时,这几年行业内掀起了一股互联网养猪的浪潮。那么,我国猪业数智化现状如何?有哪些新的机遇?党的十九届五中全会通过的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》针对“加快数字化发展”作出全面部署,要求“推进数字产业化和产业数字化,推动数字经济和实体经济深度融合,打造具有国际竞争力
期刊
<正>随着养猪模式从散养向集约化的转变,加之城市化的进程导致土地资源变得紧缺,同时非洲猪瘟的流行使得防疫更加复杂,这些因素对生猪养殖技术提出了更高要求,对养殖模式提出新挑战。多层楼房猪舍具有用地少、效率高、易管理等特点,为养猪生产带来了新模式。文章通过贵州富之源猪场的楼房养猪与平房养猪进行对比分析,研究以养殖模式为因素,采用对比分析法,得出平房养猪与楼房养猪在节约用地、管理效率、生物安全、疫病防控
期刊
<正>1978年夏秋之际,安徽省遭遇严重旱灾,秋种遇到困难。省委决定把部分土地借给农民种粮种菜,所产粮菜不征购,不计口粮。从"借地"中得到启发,安徽一些地方的基层干部和农民冲破旧体制的限制,开始包干到组、包产到户。凤阳县梨园公社小岗村18户农民,冒着风险,在包干合同书上按下了手印。
期刊
深度学习是培养独特学习体验的好方法。高中生物教师应重点引导学生实现深度学习。生物学作为高中的重要学科之一,也是高考时要考的重要学科。这就要求教师不仅要鼓励学生在课堂知识掌握能力,还要鼓励学生运用掌握的知识和技能。而且,随着新课程改革的不断深入,本着好教育、好教学的理念,培养学生的生物知识已经成为日常教学的重要内容。培养批判性阅读能力是教师的首要目标。生物教师只有不断改进教学,改变教学策略,才能实现
针对采场侧方巷道非对称破坏现象严重、巷道周边主应力旋转规律不明确的问题,基于主应力方向旋转下的非等压圆孔塑性区边界方程和蝶形破坏理论,阐述了巷道周围主应力旋转与巷道非对称破坏之间的联系。建立采场等效孔的理论模型,研究了不同初始侧压系数下采场侧方主应力方向旋转的演化规律,以神东布尔台矿22205工作面为工程背景,通过理论分析与数值模拟综合分析,沿推进方向对采场的不同位置进行等效孔拟合,验证了采场等效