本文构建了一个能在移动手机上交互运行的,基于RGB-D相机的实时人脸建模系统,用于采集人脸的几何、三维特征点和纹理数据。普通用户手持手机,按照简单的提示,左右转动头部到一定角度,即可完成人脸信息的建模,系统响应迅速,提供了友好的交互式体验。系统的输入是连续同步的深度帧和RGB帧,本文先用二维人脸对齐算法进行初始的人脸对齐和人脸包围盒立方体的定位,再利用KinectFusion算法进行三维几何重建,在移动设备上实时重建人脸几何网格数据,可以达到30以上的帧率。然后,利用获取到的人脸几何模型进行人脸的三维特征点的定位。本文在适用于三维点云输入的卷积神经网络算法PointCNN的基础上,提出FacePointNet网络,利用分块级联的思路,由粗到精的检测人脸三维特征点。实验表明,FacePointNet比目前主流的检测算法更准确,实时性也较高。对于人脸外观纹理,先对三张不同视角的图片进行纹理采样,再利用圆柱投影方法,投影到统一的二维图像空间,再利用图像融合算法,获得无缝的自然过渡的人脸纹理。基于圆柱投影的纹理映射和合成过程并行性很高,利用GPGPU实现,可以实时得到结果。