情感识别的主要任务和目标是让机器感知人类的情绪,不仅可以听懂看懂人类表达的意思,还可以通过表情、文字、声音来读懂人类的情绪。通过机器感知人类的情绪,可以更好地定制化为人们服务,情感识别的相关研究不仅对于未来的人工智能相关研究发展有巨大的意义而且还有巨大的商业价值。情感分析是自然语言处理的一项基本任务,现在基于单一模态的信息处理(文本)的处理已经非常成熟,但是对于文本、图片、声音的多模态的情绪识别则增加了更多的挑战。人与人之间的交流是一种多模态信号,人们的情绪通常通过文字(文本模态),面部表情(视觉模态),和语气语调的变化(声学模态)作为载体得以表达,人和人之间可以轻松地感受到彼此情绪的变化,对于机器准确的识别情绪还十分困难,通过研究多模态情绪识别可以让机器更好地识别情绪。在处理多模态情绪识别的过程中,目前较为常用的方式是对单一模态进行特征提取,采用联级的方式进行特征融合,这种方法会使信息量过大且默认向量影响效果相同导致情绪识别效果不理想,为了解决该问题,本文主要采用了两种方法进行多模态情绪识别。(1)分别对输入的特征(文本、声音、图片)进行特征向量提取,将提取的特征向量输入到Self-attention网络中进行特征融合,融合后的特征向量连接到全连接的网络结构中,通过Softmax进行情绪的分类,得到分类结果。(2)基于Video-BERT模型对输入的视频进行处理,将提取到的visual token和text token输入到BERT网络中进行特征提取,将提取的特征输入到Selfattention层中后续接入全连接层进行分类。在MELD数据集中进行对单一模态的情绪识别、多模态情绪识别进行实验,并且对比其他情绪识别方法和本文提出的两种方法的识别准确率。为了验证本文提出方法的可扩展性,在CUM-MOSEI数据集中进行验证。实验结果表明,本文提出的两种情绪识别的模型可以有效的识别情绪,在相同数据集中实验结果表明多模态情绪识别的效果均高于单一模态的情绪识别。且基于自注意力机制的特征融合方法的准确率高于其他方法,基于Video BERT的情绪识别方法与目前最优的方法相近,本文还将情绪识别的方法应用到实际的基于对话的人工智能客服系统中,均有良好的表现且提高了客户的满意度。