基于语义关联学习的跨模态检索方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kongfuhei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网页中通常带有文字描述、图片或视频等各种模态的数据,它们虽然构成不同,但因为共现关系而有相同的语义。跨模态检索是用一种模态的数据作为查询,得到不同模态但同语义的查询结果,它丰富了查询方式和查询内容。跨模态检索的关键是获取不同模态异构数据的统一特征表示,基于典型关联分析的子空间学习方法和基于分类的语义空间学习方法是解决异构问题有效方法,这两种方法分别利用了训练数据的共现信息和类别标记信息。  本文基于语义关联学习所提出的关联回归模型,在实现不同模态数据语义空间学习的同时,在语义空间中,不同模态数据间具有最大化的语义关联性。该模型综合利用共现信息和类别标记信息,具有统一的目标函数,其求解采用优化包minFunc中的LBFGS方法。关联回归模型使得各模态语义学习的逻辑回归分类器不再是相互独立,分类器之间在目标函数中采用线性加权组合方式,权重将使模型对不同模态数据分类有不同的侧重,对于语义关联和分类器在目标函数中也是采用线性加权组合方式,平衡分类和关联性要求。关联回归模型在Wikipedia数据上进行实验,实现文本检索图像和图像检索文本,在图像检索文本实验上取得了明显的改进效果,在模型仿真实验基础上,开发了一个文本图像跨模态检索的原型系统。
其他文献
功能成像是当前核医学和医学影像学研究的一个热点领域,它结合计算机图形图像学、计算机影像处理与分析、虚拟现实和计算机网络等研究领域,主要研究生物体的生理功能,目标是显示
移动定位技术的广泛使用促进了基于位置的服务(LBS)的迅猛发展,人们已经充分地认识到个人位置隐私保护的重要性,基于位置的数据隐私保护逐渐成为研究热点。匿名位置信息可能
近年来,随着互联网技术的飞速发展,各种高速、大容量的实时流数据处理已遍布各种应用领域,如网络监控、金融分析、网络入侵检测、传感网络、Web日志以及点击流等,这些应用领域产
随着计算机技术、网络技术的发展,庞大而复杂的应用程序对网络性能提出了更高的要求,决定网络性能的主要因素是网络设备的功能及性能。高性能网络设备的核心是高速网络芯片,目前
取材于风靡全球的益智玩具魔方,针对当前电脑游戏软件领域以魔方为题材的产品较少的现状,使用3D程序开发技术,设计并实现一款三维界面的虚拟魔方游戏软件。三维魔方游戏软件
作为密码体系安全手段的重要补充,信任管理在解决P2P网络内部攻击,识别恶意节点,提高系统安全性、可靠性和公平性方面有着显著优势。本文在分析已有的信任评估模型基础上,分别针
IP语音通信技术是一种综合使用多种技术的新型通信技术,它能够充分利用互联网络高带宽、低费用的优点,为人们带来便利的通信服务的同时,最大程度的节省通信费用。目前,无线IP语音
SaaS模式是面向多租户提供服务,租户共享相同的代码实例,可以根据自己的实际需要自定义界面、字段、流程等。如何通过一个可配置的引擎,在保持原有的代码实例不变的前提下,能
粗糙集理论是信息不确定性度量研究的重要理论工具,其特点是能直接从给定问题的描述集合出发,不需要先验知识和外界信息,通过知识对象的不可分辨关系给定问题的近似域,找出该问题
快速地从海量数据中智能地挖掘出有价值的知识,一直是人类所迫切追求的,但由于知识发现技术中传统的数据挖掘方法不能很好的处理不完整、不确定信息,从而限制了其在工业上的应用