人脸面部表情是身体语言的一部分,它在人际交往和社会生活中起着不可替代的作用。随着计算机硬件的快速发展以及人工智能时代的到来,如何使得计算机能够识别人脸表情再进一步理解人们内心的想法、对人的行为意图进行充分的把握已经成为研究的热点领域。近年来,人脸表情的相关研究成果已经被广泛应用于安全驾驶、网络教育、辅助医疗、商业营销等领域。传统的人脸表情识别方法是人为地设计特征提取算子来提取表情特征后再用合适的分类算法进行表情分类,具有识别速度快的特点,但其识别的准确率往往较低。与传统方法相比,卷积神经网络可以通过构建多个卷积层自动提取人脸表情深层次的特征,一方面避免了人为提取特征带来的误差,另一方面具有很强的鲁棒性和泛化能力。但卷积神经网络需要大量的带标签训练数据进行网络训练而在实际中往往很难付出高昂的代价利用人工标记大量表情数据集。因此,本文设计了一种轻量化的域适应卷积神经网络,该网络以轻量化的结构为基础,不仅在结构中设计了双模式注意力模块使得模型更关注于表情的细微变化,而且通过域适应学习策略利用标记的大型数据集进行辅助训练使得模型更利于在现实场景中广泛应用。本文主要研究内容包括以下几个方面:(1)以经典的AlexNet网络结构为参照,设计了一个轻量化卷积神经网络模型,并通过在公开数据集上的表现对比验证了所提网络的可行性。所提网络首先采用级联的小卷积核代替了大卷积核,增加的非线性变换操作使得模型参数量减少的情况下泛化能力进一步的提高,接着使用批量归一化替代了随机失活,使得网络收敛速度加快的同时在一定程度上抑制了过拟合,最后结合了 SE(Squeeze-and-Excitation)模块,使得不同特征通道具有不同的贡献程度,在网络结构精简情况下特征提取更加高效。(2)以轻量化卷积神经网络为基础,设计了一个双模式注意力网络。双模式注意力网络以双模式注意力模块为核心,通过有差别地选择合适的注意力模式应用到所设计的轻量化卷积神经网络中,使网络对表情细微变化区域有很好的特征表达。双模式注意力模块通过创建一个与特征图谱相同大小的自学习加权矩阵,在网络训练过程中加权矩阵可以自动改变自身的权重值,使得与特征图谱相乘后重要的特征区域得到增强,非重要特征区域得到抑制。最后通过在RAF-DB和CK+数据集上的对比实验验证了所设计双模式注意力模块的有效性。(3)以双模式注意力网络为基础,设计了一个基于域适应的卷积神经网络。该网络通过域适应学习方法实现了跨领域的知识共享,解决了实际应用场景下标注语料较少的问题。域适应网络首先通过全连接层分别提取源域表情数据和目标域表情数据的高维表情特征,然后计算所提取特征的最大均值距离,最后将减小最大均值距离作为网络的优化目标,以此将源域的知识迁移到目标域上,使得目标域中无标注的表情数据得到正确的分类。