面部表情是人体语言的重要组成部分,是人类生理和心理活动的窗口,可以传递人类的内心情感状态。当前,面部表情分析已经成为了计算机视觉、模式识别、人工智能等领域的一个热点研究课题。另一方面,近年来深度学习技术发展迅猛,已经广泛地应用于计算机视觉的研究中,取得了非常好的效果。本文旨在利用深度学习的技术,研究面部表情分析所涉及的两项关键技术:人脸面部跟踪和人脸表情识别。人脸面部跟踪作为面部表情分析研究中一项非常重要的前端技术,是开发真正实用的实时面部表情分析系统的先决条件。而人脸表情识别又是面部表情分析中的一个重要目标,成熟的人脸表情识别技术具有非常大的应用价值。本文的贡献总结如下:(1)深入研究了真实场景下的人脸面部跟踪问题。为了提高面部跟踪的准确性,本文利用图的旋转不变性和平移不变性性质,提出了一种基于谱滤波的面部跟踪算法。该算法简单有效,易于实现,能够很好地解决面部跟踪过程中目标经常发生的形变和旋转问题。本文的算法在自建的儿童面部跟踪数据库和标准目标跟踪数据集上进行了评测,取得了非常好的结果。(2)研究了基于视频的真实场景下的动态表情识别。本文提出了一种基于卷积神经网络与循环神经网络相融合的动态表情识别算法。该方法充分利用深度卷积神经网络能有效提取空间特征、循环神经网络能够充分发掘时间上下文信息的能力对动态表情序列进行建模,能够提取到视频中人脸表情的鲁棒时空特征,从而能够进行有效地表情分类。(3)研究了儿童微笑检测的问题并提出了一种基于卷积神经网络的微笑检测模型—Smile-Net。Smile-Net是一个简单的网络,与传统的网络相比,其层数和参数量少,但却能够取得比传统的方法和经典的深层神经网络方法更好的结果。本文还开发了一个儿童面部跟踪与微笑检测系统,该系统可以对参加亲子互动实验中儿童的视频数据进行准确的微笑检测,生成的微笑分析结果可以作为儿童社会情绪调节能力评测的辅助分析手段。