论文部分内容阅读
三维人脸重建是计算机视觉领域极富挑战性的课题之一,可广泛应用于人脸识别、游戏、虚拟现实和人机交互等领域。三维人脸重建的目的为通过对三维扫描设备获取的人脸点云数据或摄像机获取的二维人脸图像进行处理,重建三维人脸形状。鉴于二维人脸图像应用的普遍性及数据采集的方便性,本文主要研究基于图像的三维人脸重建问题。 基于图像三维人脸重建的一个重要分支是基于回归的方法,它利用统计学习工具从训练样本学习二维和三维人脸分布情况及它们之间的映射关系,从单幅正面图像重建人脸形状。该类方法亟需解决的问题及难点是:1)训练样本的归一化;2)二维和三维人脸分布情况描述及计算;3)二维和三维人脸之间映射关系的计算。对此,本文从高维空间角度出发,对人脸重建问题进行了阐述与分析,并提出了三维人脸的联合空间学习方法。本文研究内容如下: (1)针对三维人脸训练样本归一化问题,提出了一种基于图像拓扑变形的三维人脸重采样方法。该方法基于图像拓扑变形的思想,对球面坐标系表示的三维人脸图像进行变形,将具有一定差异的人脸变形到相同的形状下;并基于距离最小法建立点之间的对应关系,实现三维人脸重采样。 (2)从高维空间角度阐述了信号稀疏表示和联合空间学习理论,提出了一种基于稀疏约束的联合空间学习方法。该方法旨在利用空间变换计算信号的稀疏表示空间,并建立稀疏表示空间之间的变换关系,实现不同空间信号之间映射关系的计算。从而实现:1)信号原始空间向信号稀疏表示空间的变换;2)不同信号稀疏表示空间之间的变换。 (3)结合二维和三维人脸非线性、非凸的分布特点,以及它们之间映射关系的高度非线性特点,提出了一种渐进式级联回归的人脸重建方法。该方法以基于稀疏约束的联合空间学习方法为基础,通过逐级回归,实现了人脸从粗到细、从低维到高维的映射。具体的,首先通过一种基于联合空间学习的算法建立人脸特征点从二维到三维空间的映射关系,获得初始估计三维特征点;然后利用初始估计特征点与真实值之间的差异度构造形变空间,并通过构造最小化目标函数估计三维特征点的补偿量,使得三维特征点的精度得到有效提升;最后结合一种简单的基于稀疏约束变形的方法最终实现三维人脸重建。实验结果表明,本文方法无论是客观性能指标还是主观视觉效果均能获得更好的重建结果,尤其是细节信息方面更具有一定的优势。