论文部分内容阅读
微透镜阵列光场成像是一种近年来备受关注的新型单镜头三维成像技术,具有结构简单、一次成像记录光线位置和方向信息、后期数据处理方式多样的特点,可广泛应用于三维重构与测量、三维检测与识别、虚拟与增强现实等领域,具有重要的科学意义和应用价值。微透镜阵列光场成像的应用性能很大程度上取决于其深度信息的精确反演,因此如何从原始图像反演深度信息是该领域的研究重点。尽管近年来基于微透镜阵列光场成像的深度反演技术发展迅速,但亚像素匹配、遮挡等诸多问题亟待解决。本文重点围绕微透镜阵列光场相机的深度反演中的遮挡处理问题,从成像模型、深度反演算法等方面开展了理论与实验研究。论文首先开展了光场深度反演理论研究,从成像光束波前的角度探究了微透镜阵列光场成像过程,揭示了微透镜阵列光场相机深度估计能力源于对扩展目标球面波的光学调制与数字解调的内在规律,明晰了该规律与视差理论和极图原理的数理联系。基于上述研究,建立了微透镜阵列光场成像过程中深度信息与波前曲率的映射模型,提出了基于角度域图像匹配的波前曲率测量方法,最终实现了基于微透镜阵列光场图像的高精度亚像素深度估计。针对遮挡存在时被遮挡物的角度域像素一致性假设被打破的问题,通过对遮挡情况进行波前成像分析,明确了遮挡物在真值深度处将在角度域图像中形成与其边缘形状相似的图像边界的规律。论文提出了基于多方向部分角度域图像相关的深度反演方法,并进行了相关实验研究。在开放数据集开展了量化评价实验,其视差图均方误差较国际前沿算法降低了约3个像素平方,偏差超过0.07像素的像素数比例降低了10%,并通过自主实验平台进一步验证了整体准确度、细节精细度和泛化能力,结果表明该方法在保持非遮挡区域深度反演精度的同时提高了遮挡区域深度反演的精度。为提升上述算法对复杂形状遮挡的处理能力,论文提出了一种基于角度域图像子区域自适应融合的深度反演算法,该方法基于高斯权重自适应组合多个子区域的角度域相关系数,隐性利用遮挡物的区域性先验,具备拟合复杂形状角度域边缘的能力,并将光场像素利用率从4 M(M为光场角度采样数)提升至100%。在公开数据集开展了量化评价实验,其视差图均方误差较国际前沿算法降低了约4个像素平方,偏差超过0.07像素的像素数比例降低了11%。理论分析与实验结果表明该方法具有比前一算法更优的遮挡处理和细节保留能力。最后,开展了基于微透镜阵列光场成像的深度反演实验研究,结合基于光线场传输模型的相机几何参数标定方法,最终实现了物方绝对尺寸深度反演,并定量验证了上述算法相比于同类前沿算法更高的反演精度以及对不同遮挡更强的处理能力。通过本文的研究,建立了以微透镜阵列光场相机波前成像原理为核心的深度估计理论和框架,实现了从微透镜阵列光场相机原始图像到视差图和三维物理深度的反演过程,重点研究了遮挡区域的高精度深度反演问题,提高了深度反演的整体准确度和细节特性,对提升微透镜阵列光场成像在高层视觉任务的应用性能具有积极作用。