抑郁症是一种常见且高发的精神障碍疾病，现有的评定过程复杂且相对主观，其有效诊断问题亟待解决。面部活动是人情绪变化的主要外在表现，通过面部特征可以研究抑郁症患者的心理活动和精神状态。抑郁症患者长期受疾病的影响，肢体动作方面临床表现为动作迟缓、身体协调能力下降、反应滞后等特点。本文主要基于面部特征、肢体动作和多模态抑郁症识别展开研究，主要工作为：
　　(1)基于面部特征抑郁症识别。面部特征数据采集自受试者汉密尔顿抑郁量表的评分过程，本文使用视频抽帧的方法对视频进行预处理以实现数据维度对齐；使用Openface工具对抽帧处理后的视频进行面部特征数据提取并执行归一化操作；通过面部特征数据分析，发现抑郁者与对照组之间面部特征存在差异性；构建了适用于面部特征数据集的卷积-长短期记忆神经网络（CNN-LSTM）抑郁症识别模型，准确率为75.56%。
　　(2)基于肢体动作抑郁症识别。肢体动作数据使用Kinect设备采集自受试者完成肢体动作刺激任务过程，经过人体骨架数据提取，并进行噪声剔除和数据平滑处理；通过对肢体动作数据进行分析，本文提出了一种基于简单动作任务适用于抑郁症检测的方法。通过调整空洞卷积尺度大小和残差块设计，本文构建了擅长肢体动作数据时序特征和空域特征学习的时间卷积网络（TCN）抑郁症识别模型，准确率为71.11%。
　　(3)基于特征融合的多模态抑郁症识别。通过CNN-LSTM提取的面部信息特征向量和TCN提取的肢体动作特征向量，本文使用特征拼接的方法进行多模态特征融合，在决策层实现结果预测并达到抑郁症识别的效果；多模态抑郁症识别模型准确率达到82.22%，通过对比单模态和多模态抑郁症识别效果，发现多模态在抑郁症识别工作方面更具有优势。
　　本文通过建立一个基于面部特征和肢体动作的多模态抑郁症识别的模型，以期望适用于精神医生的抑郁症辅助诊断过程。