论文部分内容阅读
近四十年来,基于生物特征的身份识别技术得到了研究者们的广泛关注和深入研究。综合考虑可识别性和易采集性,目前在实际中被广泛应用的生物特征识别技术主要包括虹膜识别技术、指纹识别技术和人脸识别技术。其中人脸识别技术因其能接受在较远距离内非接触式采集的优势,在视频监控和公共安全等诸多领域有着更广泛的应用前景。随着数码照片采集设备的普及,数以万亿计的照片被上传至英特网,其中相当一部分照片是以人或者人脸为主体拍摄的。这就为大数据时代人脸识别技术的进一步发展提供了其他生物特征识别技术无法比拟的巨大优势。然而机遇也伴随着挑战,在真实环境下采集的人脸数据包含大量非限定条件造成的复杂变化。虽然在限定条件下的人脸识别技术已经日趋成熟,但是在非限定条件下,如何克服姿态、表情、光照、年龄、遮挡甚至采集设备硬件配置等影响因素引起的人脸表观复杂变化,进行准确的人脸识别依然是一个很有挑战性的问题。在非限定条件下引起巨大人脸表观变化的因素中,由拍摄角度不同引起的人脸姿态变化对识别算法的精度影响最为巨大,是人脸识别领域亟需解决的重要问题之一。本文即是针对在非限定条件下的姿态变化问题进行深入的研究与分析。从人脸语义对应学习和姿态不变特征学习两方面提出多项创新性工作,在处理单纯姿态变化的基础上进一步考虑其他因素导致的复杂变化以全面提高算法在非限定条件下跨姿态人脸识别精度。本文主要研究工作包括: (1)针对姿态导致的人脸区域对应丢失问题,提出了可变形位移场的对应学习方法。通过建立不同姿态下人脸区域的对应关系并用于合成典型姿态下的虚拟人脸视图来提高跨姿态人脸识别准确率。该方法利用一个3D人脸参照集对不同姿态下人脸区域的精确对应关系进行建模,并量化至2D图像坐标系。该方法基于任意一个人脸由姿态变化导致的像素位移场可由一组已知人脸模型在相同姿态变化下产生的像素位移场的凸组合表示。通过合理简化,可变形位移场求解过程可以形式化为二次优化问题并进行解析求解。 (2)针对可变形位移场对应学习方法速度较慢且对除姿态外的其他复杂变化不鲁棒的问题,提出了基于最大似然估计的对应学习方法。该方法从概率意义上重新定义了不同姿态人脸之间的最优对应,在学习对应关系的同时考虑了其他非限定条件下的复杂变化例如光照、表情等,从而增强了对应学习方法的鲁棒性。另一方面避免了通过遍历目标人脸寻找最优匹配,大大加快了识别速度。 (3)针对全局线性模型无法有效建模姿态变化下非线性分布的人脸数据的问题,提出多视统一的子空间学习方法。该方法将传统的全局子空间建模方法扩展为分段线性的局部子空间建模方法。该方法首先使用多核学习融合相同人脸在不同姿态下的多幅图像得到该人脸在统一子空间中的特征表示。然后采用分段线性的反向回归学习从每个姿态局部人脸子空间映射到多视统一子空间的变换矩阵。 (4)针对大型深度网络受到数据多样性限制无法直接学习到好的姿态不变身份特征的问题,提出基于多样性控制的深度学习方法。在采用深度网络来学习姿态不变特征的过程中,该方法一方面通过在更精细的分类任务或更大规模的输入数据上的预训练得到尽可能多样化的有用中层特征,另一方面通过设计辅助损失函数对整个特征学习流程进行更全面有效的深度监督。使用该方法学习的深度网络提取的姿态不变身份特征能够取得与当前最好算法相当的跨姿态人脸识别性能。在引入额外的光照变化时,本文方法更是取得了远超当前最好算法的跨姿态人脸识别性能。 (5)结合对应学习方法和姿态不变特征学习方法在解决跨姿态人脸识别问题中的优势,提出形状驱动的自适应卷积神经网络方法。该方法利用人脸特征点定位结果自适应的调整卷积神经网络中的卷积核。一方面局部人脸区域的对应可以由形状驱动的自适应卷积核更直接高效的自动建模,大大提高深度网络解决姿态变化的效率。另一方面后续的深度网络可以进一步学习姿态不变但对不同人具有区分力的特征。 综上所述,本文从人脸区域对应学习和姿态不变特征学习两个方面对非限定条件下的跨姿态人脸识别问题开展了广泛和深入的研究。大量实验结果表明,无论是学习人脸区域的对应还是学习姿态不变的特征对提高跨姿态人脸识别的精度都非常重要。通过合理的将语义对应学习和鲁棒特征学习相结合就能够进一步提高非限定条件下跨姿态人脸识别的精度。