随着互联网的飞速发展与数码电子设备的普及，人们对信息的检索方式从最单一的关键字搜索发展到图像检索、音频视频等多媒体信息的检索。现在人们对互联网信息检索的需求不断增大，单一模态媒体信息的检索结果已经不能满足人们的检索需求，因此，跨模态多媒体检索方法的研究对于多媒体时代的互联网媒体信息的检索有着重大的意义。　　跨模态多媒体检索的难点在于，对于表述同一语义的不同模态的媒体信息其在结构上千差万别，如何将这些异构的数据结构进行有效而准确的语义匹配成为解决这一难点的关键所在。针对这一问题，本文主要围绕跨模态多媒体检索中语义匹配的问题进行研究，主要的研究工作如下：　　1.针对不同模态媒体信息所具有的语义关联，应用集成学习的方法建立基于异构数据的共同语义空间，提出了Bagging-SM的方法对不同模态的多媒体对象进行高层语义匹配，该方法相比于传统的跨媒体检索技术在检索结果的准确性上有很大的提升。　　2.针对在训练模型的过程中大量的未标记数据没有很好的被利用，本文在Bagging-SM方法研究的基础上，提出了半监督学习和集成学习相结合的方法Semi-RFSM。首先对未标记的数据进行预测并为其添加伪标记，然后使用带有伪标记的数据对模型进行训练，不但解决了训练样本数量少的问题，还利用了未标记数据的信息，实验结果表明该方法比原有的方法在检索结果的准确度上有较高的提升。