虚拟社交空间中的Avatar面部表情是传递人类情感和方便有效社交体验的关键技术,是计算机视觉和图形学领域的热点研究课题,是未来社交方式的重要演变,同时基于普通摄像头的人脸表情跟踪和动画技术在影视表演、游戏动画以及网络通信行业具有重要的意义。本文主要针对商业虚拟社交系统中缺乏可行的同步面部表情解决方案,实现了完整的基于面部表情跟踪和动画技术的虚拟社交系统,围绕人脸表情建模、表情编码技术、表情跟踪和动画技术、声画同步等关键技术进行深入研究,并取得如下研究成果:(1)利用FACS(Facial Action Coding System)将复杂的人脸表情分解成相互正交的属性,利用多变量线性回归算法将所有人脸属性映射到人脸双线行模型中,分别为identity和expression属性,并借助Kinect捕获的深度数据图来调整中性面部表情网格模型,生成51个标准化的人脸表情模型。(2)采用级联姿态回归算法训练动态表情模型,从实时输入的2D视频中推断面部表情系数,利用监督下降法代替二维级联姿态回归方法,实时提取动态表情模型回归器中的面部特征点,从而在面部表情捕捉和表情动画效果中实现更好的鲁棒性和容错性。(3)提出多尺度自适应表情编码技术,利用时间戳和自适应调整的动态循环队列技术,实现表情动画和语音数据的实时声画同步,并利用Qo S反馈机制来监测复杂网络条件下的变化,来保障在各种复杂网络情况下实现面部表情的实时性和面部表情动画丰富性之间的平衡。我们提出的动态表情技术,无需任何匹配校准特定用户的预处理操作,实时捕捉用户面部表情并在虚拟角色Avatar上重演,相比于传统的基于级联姿态回归的动态表情技术,算法具有更好的鲁棒性和容错性,能被广泛部署于消费级应用。实验结果表明,我们所提出的面部表情跟踪和动画系统实用可行,能够精确地捕捉用户的面部表情信息,并抽象描述为能在不同虚拟角色上重演动画效果的表情系数,而多尺度自适应表情编码技术可以很好地应对复杂网络环境下的变化,在虚拟社交系统中产生高度真实的情感线索。