跨媒体目标检索(Visual Grounding)的主要任务是根据给定的自然语言描述文本,在图像上框选出相关的区域。为解决该任务需要算法能够同时理解语言和视觉特征,以连通两者间的语义鸿沟,从而在两者间提取出共同的语义信息,并基于得到的特征信息在图像中预测坐标框。目前在跨媒体检索中最常用的算法模型包括4个部分:查询文本特征编码、侯选框生成以及视觉特征提取、多模态特征融合以及目标定位。本文中针对跨媒体目标检索提出了一些高性能的深度神经网络模型:(1)一种针对跨媒体目标检索的区域侯选框的端到端式网络(Region-based End-to-End Network,R-EEN)。不同于其他分阶段式算法,R-EEN是一种端到端式网络模型。R-EEN使用侯选框生成网络(Region Proposal Network,RPN)生成侯选框并同时提取侯选框对应的图像视觉特征。对于多模态特征融合模块,REEN使用多模态因式化双线性池化模型(Multi-modal Factorized Bilinear pooling,MFB)对图像和文本特征进行更高效的特征融合。(2)一种针对跨媒体目标检索的多样性和鉴别性侯选框生成网络(Diversified and Discriminative Proposal Network,DDPN)。该部分内容首先讨论一个高效的侯选框生成模型所应具备的属性,并介绍了使用多样性和鉴别性指标评价候选框质量,在此基础上提出多样性和鉴别性侯选框生成网络,最后基于DDPN提出一种针对跨媒体目标检索的高性能简单基准算法(baseline)。(3)一种基于混合检测模型和双线性池化的增强DDPN模型。该方法利用多个检测模型以提取侯选框图像区域对应的集成式特征,并且采用更复杂的MFB模型对图像和文本特征进行更高效的特征融合。本文就提出的算法分别在跨媒体目标检索领域中的几个主流数据集上进行了大量的实验(这些数据集包括Flickr30k,Refer It Game,Ref COCO,Ref COCO+)。实验结果表明本文提出的方法模型在上述所有数据集中均表现出远远超过目前最好算法的效果。