论文部分内容阅读
网页中通常带有文字描述、图片或视频等各种模态的数据,它们虽然构成不同,但因为共现关系而有相同的语义。跨模态检索是用一种模态的数据作为查询,得到不同模态但同语义的查询结果,它丰富了查询方式和查询内容。跨模态检索的关键是获取不同模态异构数据的统一特征表示,基于典型关联分析的子空间学习方法和基于分类的语义空间学习方法是解决异构问题有效方法,这两种方法分别利用了训练数据的共现信息和类别标记信息。 本文基于语义关联学习所提出的关联回归模型,在实现不同模态数据语义空间学习的同时,在语义空间中,不同模态数据间具有最大化的语义关联性。该模型综合利用共现信息和类别标记信息,具有统一的目标函数,其求解采用优化包minFunc中的LBFGS方法。关联回归模型使得各模态语义学习的逻辑回归分类器不再是相互独立,分类器之间在目标函数中采用线性加权组合方式,权重将使模型对不同模态数据分类有不同的侧重,对于语义关联和分类器在目标函数中也是采用线性加权组合方式,平衡分类和关联性要求。关联回归模型在Wikipedia数据上进行实验,实现文本检索图像和图像检索文本,在图像检索文本实验上取得了明显的改进效果,在模型仿真实验基础上,开发了一个文本图像跨模态检索的原型系统。