论文部分内容阅读
近年来,随着计算机硬件性能的提高,深度学习技术得以发展,逐渐被应用于各行各业,基于深度学习的面部识别研究已成为研究的热点。目前,面部宏观表情的研究已经取得了优异的成绩,但是微表情识别的研究还处于初级阶段。面部微表情具有持续时间短、强度低等特点,相比于面部宏观表情识别,微表情识别的难度有明显提升,若使用人工对微表情识别,需要对人员进行专业的训练,不仅耗时耗力,而且准确率也难以保证。因此,如何让计算机自动识别微表情是一个值得研究的问题。首先,本文对基于三维人体动作识别的时间卷积网络进行研究,由于在该时间卷积网络中输入的是一维骨架特征序列,而本文在进行微表情识别任务时,需要输入微表情视频帧序列,网络不仅仅需要具有处理时间信息的能力,还需要能够学习空间信息。因此,本文提出具有可解释性的时空卷积网络模型用于微表情识别,其在时间卷积网络的基础上,在其中添加空间信息,并对模型结构进行调整,使改进后的模型更好地应用于微表情识别任务中。除此之外,使用激活最大化方法了解模型隐藏层神经元捕获到的特征,使模型具有可解释性。其次,本文对面部动作编码系统进行研究与分析,发现微表情发生时,面部往往只有部分区域发生变化,且变化幅度明显。在此基础上,本文对Attention机制在计算机视觉中的应用进行了研究,发现Attention机制可以从大量的输入信息中选择部分有用的信息重点处理。因此,本文将Attention机制与原有的Res-STCN模型相结合,提出一种可解释Attention模型的微表情识别方法。该方法通过在Res-STCN模型的残差单元卷积层后添加像素注意力模块,使模型更加关注部分重点区域,提升了模型在微表情识别任务上的性能,并通过对像素注意力模块权重可视化来对其进行解释,保证模型的可解释性。最后,本文将所提出的方法在CASME2、SMIC和SAMM数据集上进行实验,并与已有的研究成果进行比较。实验结果表明,本文方法优于目前大部分的微表情识别方法。