论文部分内容阅读
随着计算机和视频通信技术的发展,自由视点方法已成为了一个新的研究热点,广泛应用于教育领域、场景展示、商业领域等。与传统的展示方法相比自由视点方法具有如下优点:建模容易、绘制快、真实感强、交互性好。然而目前主流的自由视点方法需要特定的软硬件设备,且存在使用不方便、需要复杂的安装调试等一系列问题。针对上述问题,本文提出了基于视频的自由视点展示方法。本文的主要创新成果如下: (1)提出面向自由视点展示的非结构化视频数据采集与处理方法 现有的自由视点方法一般利用结构化视点采集设备,如机械臂等特殊硬件设备,存在使用不方便以及需要复杂的安装和调试等问题。而基于非结构化视点采集的方法一般基于光场和三维重建,存在数据冗余、建模复杂、渲染时间长等问题。针对上述问题,本文提出了基于视频的自由视点展示方法,只需要拍摄一段场景非结构化视点视频,通过相机位姿获取方法获取视频帧对应的相机位姿信息,拟合结构化采样面(针对不同场景拟合结构化采样球面或者结构化采样平面),将相机位姿与图像矫正到结构化采样面,然后在结构化采样面上选取采样点,从而生成新的视点。 实验结果表明,本文面向自由视点展示的非结构化视频数据采集与处理方法对近景、中景、远景鲁棒,可达到较好的展示效果。 (2)提出视差鲁棒的三维视点合成方法 视点合成的过程中,如果所拍摄的场景位于不同平面,会存在景深差异,从而产生较大的视差。针对上述问题,本文在视频除抖和图像拼接领域中处理视差采用的网格形变方法的基础上提出视差鲁棒的三维视点合成方法,将图像划分为多个网格,并将原有的点特征数据项和点特征正则项扩展到线约束正则项、线匹配数据项以及全局约束项,提高了方法的鲁棒性和准确性。 实验结果表明,本文提出的视差鲁棒的三维视点合成方法生成了更具真实感的视点。相较于网格形变方法,本文方法在主观评价上对图像结构保持有一定的提高;在客观评价上,PSNR平均提高了0.132dB,SSIM平均提高了0.0057。