论文部分内容阅读
基于单张图像的三维人脸重建经常在大姿态和不平衡光照中表现较差,为了解决这些问题,本文提出了一种新的解决方式来重建出具有完整真实纹理的三维人脸模型,这个方法不仅在重建人脸几何方面取得了非常好的效果,而且完成了恢复出完整真实纹理的任务。本文所提出的方法分为人脸几何重建和纹理补全两部分。在前一部分中,我们提出了一种端到端的方法,能够直接从二维图像中重建出三维人脸几何结构。算法的核心部分为设计的UV位置图,它在UV空间中记录了完整的人脸形状,然后训练一个简单的卷积神经网络从单张人脸图像中回归得到UV位置图。这个重建方法不依赖于任何人脸模型就可以得到完整的人脸几何以及对应的语义信息。同时,该方法的网络非常轻量级,只需9.8毫秒即可处理一张图像。在多个具有挑战性的测试数据集上进行的实验表明,本文方法在人脸几何重建方面的性能相比于其他方法提升了超过25%的性能。在后一部分中,首先用平均外观替换光照外观以减轻训练数据集的多样性,然后用生成性对抗网络完成缺失部分的纹理生成。使用可见纹理的信息和对抗生成网络的高生成能力有助于增强纹理补全的稳健性。实验表明,我们的方法在不同光照下的人脸图像上都表现良好。最后,这两个部分得到的结果不仅对人脸姿态和环境光照具有鲁棒性,而且还保留了输入人脸的身份信息,可用于人脸交换,动画制作和人脸识别等应用中。