网络世界的数据信息一般涉及文字、图像、视频、音频等多种模态，这些多模态数据在表达相同语义信息的同时也包含了丰富的互补信息，使人们可以从不同角度对相关事件或目标对象的内容有更全面的了解。为了充分利用这些来自不同模态的信息，本文对跨模态数据的关联建模问题进行了深入研究。由于跨模态数据的异质性问题，本文利用隐变量模型学习多模态数据的共享隐含空间，利用多模态数据的隐含表示实现跨模态数据间的关联和相似度度量。　　考虑到跨模态数据的内容多样性和语义复杂性，本文利用非参数非线性的高斯过程隐变量模型(GPLVM)挖掘异质对象间的潜在关联信息。高斯过程隐变量模型作为一种非线性降维算法，可以利用灵活的非参数高斯过程映射将高维多模态数据嵌入低维隐空间。但是高斯过程在降维嵌入过程中无法保持数据的拓扑结构，即无法使得在观测空间中相似的点在隐空间也相似，且无法保证在观测空间中不相似的点在隐空间也不相似。为了解决这个问题，我们对高斯过程隐变量模型引入适当的结构信息或先验约束，使模型可以实现拓扑保持的跨模态表示学习机制。为此，本文提出从模态内结构一致性、语义一致性和模态间结构一致性三个方面，对跨模态数据的关联学习进行建模。本文取得了如下的研究成果:　　一、提出了基于高斯过程隐变量模型的结构保持学习方法。为了解决高斯过程隐变量模型在降维学习过程中对数据结构的破坏问题，本文提出了相似度高斯过程隐变量模型m-SimGP，使得高斯过程映射函数从模态内的相似度信息中学习跨模态隐含空间。通过这种相似度层面的高斯过程建模，可以更好地保持数据间的结构关系。为了进一步保持隐空间和观测空间的相似度结构的全局一致性，本文对隐空间构造了一种新的保距约束，将其作为隐空间的先验信息引入到相似度隐变量模型，并提出了保距相似度高斯过程隐变量模型m-DSimGP，实现了对跨模态数据的模态内结构保持学习。　　二、提出了基于相似度隐变量模型的语义保持学习方法。为了解决跨模态数据间的语义鸿沟问题，本文利用数据的类别标签，提出了有监督的相似度高斯过程隐变量模型。我们利用模态间的语义关系对隐变量定义了一种保义约束，使得语义相似的数据对在隐空间上距离相近，语义不相似的数据对在隐空间上距离较远。通过将保义约束作为先验对隐空间建模，本文提出了保义相似度高斯过程隐变量模型m-RSimGP，实现了对跨模态数据的语义保持学习。进一步地，我们将保义约束和保距约束作为隐空间的联合先验，提出了保距保义相似度模型m-DRSimGP，使得隐空间的建模可以同时保持语义一致性和模态内的结构一致性。　　三、提出了基于多模态调和约束的信息共享学习方法。为了实现跨模态数据间的信息共享，本文对多模态高斯过程模型的参数提出了一种调和机制。通过对高斯过程的核参数和隐变量的联合建模，提出了一种新的调和约束，使不同模态的核矩阵和隐空间相似度矩阵趋于一致，从而实现了跨模态数据的模态间结构保持学习。本文将提出的调和约束作为模型参数的先验信息引入到不同类型的多模态高斯过程隐变量模型中，利用隐空间构造了不同模态间的信息传播渠道，使模型在参数层面实现了跨模态结构信息共享。