情感识别研究对于人机交互有着非常重要的意义,情感的表达通常涉及语音、文本和面部微表情等多个模态，其中情感语音数据库的构建难度较大，因此针对语音情感语料的数据增强方法具有重大意义。近年来，研究人员开始尝试将其它模态信息引入到语音情感识别研究中，更好地挖掘出各模态之间的关联信息变得尤为重要。
　　本文围绕数据增强和多模态特征融合两个方面展开研究，基于神经网络和注意力机制等搭建模型框架。论文主要工作如下：
　　(1)基于语谱图数据，利用卷积神经网络来学习空间信息，同时使用长短期记忆网络来学习语音信号固有的时间序列信息，为了平衡两者之间的关系，提出了时序分割卷积神经网络模型。同时基于语音情感分布局部性的特点，提出了基于局部翻转的语谱图数据增强方法。
　　(2)针对多模态融合问题，使用注意力机制学习各模态之间的内部关联信息，然后提出了基于注意力机制的单向交叉融合模型、双向交叉融合模型、交叉融合模型以及全融合模型。
　　通过实验分析，本文提出的改进数据增强方法和混合神经网络可以提升语音情感识别性能，提出的多模态融合方法相对于传统融合方法更加有效，相对于已有基于注意力机制的融合方法可以挖掘出更深层次的情感信息。