人脸面部表情是表达人类情感信息的重要途径,在人与人的沟通交流中占有重要的地位。一般来说,面部表情是人类交流中表达情感和意图的重要手段。人脸面部表情是非语言沟通中的关键特征。在计算机和人工智能领域快速发展的今天,通过视频画面和照片等图像内容去检测人类活动的状态和人类表情类型等内容具有广泛的应用意义。在在线教育领域,人脸表情能够弥补传统在线学习存在的“情感缺失”现象。本文旨在研究在线学习所涉及到的人脸跟踪、表情识别、基于情感能量的学习效果评估等关键技术,开发出一个支持在线学习效果评估的人脸表情识别系统。本文的工作包括如下:1.针对在线学习过程中,学习效果评估对象保持不变的原则,本文提出了SMCF(ScaleAdaptive and Multiple Features Correlation Filter)人脸跟踪算法,该算法简单有效,容易操作,能够解决在线学习跟踪过程中出现的尺度变化、遮挡等的问题,从而保证学习效果评估的顺利实现。本文的算法在OTB数据库上进行了验证,表明本文提出的改进算法是有效的。2.针对在线学习中人脸表情识别的高准确率需求特点,提出了对已有深度卷积神经网络结构的改进策略,通过去掉传统VGG19上的多个全连接层,仅保留一个输出分类的全连接层,并在最后一层全连接层之前加入随机失活策略,增加模型的鲁棒性。3.针对传统池化算法的缺陷,提出了一种自适应动态改进池化算法,该算法依据池化区域内的元素值、区域大小及迭代次数进行调整,并在CK+上验证了改进池化模型的优越性。利用fer2013数据集做大量横向纵向实验比较,证明本文提出的VGG19改进模型是目前单一模型在fer2013上识别率相对较高的,即本文改进模型是有效的。4.针对在线学习中学习效果评估的需求,本文提出用基本表情来计算学习情感,并利用情感能量将情感的表示进行量化,以方便进行统计分析评估。针对情感具有不稳定性,提出了学习动力指数概念,并以此来判断所学内容难度以及学生学习动力。5.在以上研究的基础上,利用已有的软件框架设计实现了一套支持在线学习效果评估的人脸表情识别系统的原型设计。该系统能够快速识别正常、高兴、害怕、惊讶、生气、厌恶及悲伤等七种人脸表情状态,能够统计分析出学生的情感能量和学习动力指数。系统测试表明,本文解决方案是有效的。