人类对外部世界的感知往往是基于多种信息的获取,其中视觉信息和听觉信息是主要的信息来源。人的大脑在处理这些视听觉信息时具有独特的理解能力和综合分析能力,因此对这些视听觉信息的机器理解与处理是人工智能发展过程中的关键一步。伴随着信息技术日新月异的发展,互联网上的视听觉数据已不胜枚举,这些视听觉数据中所蕴藏的海量信息为计算机模拟人类感知提供了可能。在此背景下,多模态机器学习取得了众多突破性的成就。视听觉数据一般都是同步出现,二者缺其一都会导致数据的不完整和不生动。但是单一模态数据缺失的情况却大有存在,视听觉跨模态生成系统能够由已知模态的数据生成得到另一模态的数据,因此其可以很好的解决单一模态数据缺失的问题。现有模型大都以声谱图为听觉数据的中间媒介来实现跨模态生成,但是它们却没有特别关注声谱图固有的类别属性。因此本文构建了基于自注意力机制的视听觉跨模态生成系统,其着眼于声谱图特殊的结构特点,通过引入自注意力机制在整体结构层面去学习声谱图的数据特征,然后结合生成对抗网络的结构进行数据特征映射以实现视听觉跨模态生成。实验结果表明,自注意力机制的引入使得该系统的性能要优于同类的视听觉生成模型。视听觉跨模态生成系统在训练时需要大量同步的视听觉数据,但是这种同步数据的大量获取相对困难,如果能够直接判断未知的视听觉数据是否同步,则可以更方便的得到同步的视听觉数据。因此本文还构建了基于自监督对比编码的视听觉同步判别系统,它通过对比编码损失来挖掘同步的视听觉数据特征之间的共性关联,然后以二者的融合特征为最终的决策信息来实现视听觉同步判别,这种自监督学习的方式不依赖需要耗费大量人力物力的带标签数据,在保证系统性能优良的前提下具有更广泛的适用范围。具体而言,本文的研究成果总结如下:1.从声谱图特殊的结构特点出发,利用自注意力机制能够模拟图像区域中远距离、多级别的依赖关系的优势,创造性的引入自注意力机制去学习声谱图的特征信息,更好的听觉特征表达为视听觉跨模态生成提供了更为充足的信息。2.构建了视听觉跨模态生成系统,其以生成对抗网络为基本架构,并在网络结构中加入自注意力层,然后结合Hinge形式的损失函数和谱归一化操作对系统进行训练,一定程度上提升了视听觉跨模态生成系统的性能。3.构建了视听觉同步判别系统,其通过自监督对比编码的思想构建损失函数,以此来建立起同步的视听觉数据之间的联系,通过一种自监督学习的方式实现视听觉同步判别。