论文部分内容阅读
作为计算摄影领域的一个重要发展方向,光场成像技术取得了快速发展,其多视角、重聚焦、深度计算等光场特性极大地推动了计算机视觉和数字成像领域内的研究进展。与传统成像技术只能记录场景中二维投影的光线积分强度不同,光场成像技术通过特殊的捕捉设备,可以有效采集空间中的四维光场数据,通过记录空间中不同光线的位置和方向,重建得到不同的光场图像。然而,由于光场采集设备的限制,只有部分场景的光场数据才能被记录下来。其场景视场角的大小相对于360°全景视场角来说,只占据了很少的一部分。因此,如何在全景视野上实现全景光场数据的采集和渲染正逐渐成为计算摄影领域研究的新热点。 近年来,全景光场成像技术在光场成像的基础上,既能保留独特的光场属性,又能增加额外的360°视野信息,受到了科研人员的广泛关注和重点研究,使得全景光场成像技术变得越来越流行,可以进行更为广阔的应用。其中,全景光场成像技术尤其在VR领域受到了重点关注,被誉为是解决VR问题的终极技术手段。然而,目前的全景光场成像技术在采集和渲染过程中,仍然面临着诸多难题需要解决,如:(1)全景光场渲染算法问题;(2)静态全景光场采集问题;(3)动态全景光场采集问题。因此,本文以全景光场成像技术为基础,通过分析现有代表性工作的优势和不足,对当前存在的问题进行深入研究,并提出相应的解决方案,本文的主要贡献总结如下: 1.基于全景光圈的全景光场渲染方法 后期景深调节是全景光场的一个重要属性,但是在当前的全景光场中,并没有一个概念可以像传统成像中的光圈一样,可以进行全景光圈统一描述和景深控制。本文提出了一种基于全景光圈的全景光场渲染方法,实现了全景光圈的统一描述和景深控制功能。该方法首先定义了双球面全景光场模型,在此基础上提出了全景光圈的概念,将其定义为可采集平行光的最大宽度。全景光圈是全景光场渲染算法的核心内容,首次给出了明确的计算公式,通过调节全景光圈的大小,可以控制全景图的景深。同时,不同全景光场采集相机在相同全景光圈限定下,可以渲染得到拥有近似景深效果的全景图。在模拟数据和真实数据当中,验证了全景光圈的有效性,证明了通过全景光圈可以控制景深。 2.基于最小覆盖采样的全景光场采集方法 为了实现对静态场景的全景光场采集,研究者们提出了多种采集方法,使用特殊结构的光场相机,精确旋转进行采集,或者使用普通全景相机,调节多个高度进行采集,或者使用传统智能手机,遵循软件指导进行采集。但是这些现有的采集方法,由于采集设备特殊和采集精度限制等问题,使得采集方法过于复杂,采集过程会耗费大量的时间。本文提出了一种基于最小覆盖采样的全景光场采集方法,实现了静态场景快速采集和全景光场高速渲染。区别于传统复杂方法,本文方法核心优势是采集过程快速简便,只需要使用普通电子设备,通过围绕固定点旋转拍摄视频,可以充分记录全景光场数据。同时,根据最小覆盖准则,设计了视频帧采样算法,有效降低了渲染算法复杂度,实现了高质量全景光场的高速渲染。在模拟数据和真实数据当中,本文采样算法同贪心算法进行了比较,证明了我们的方法可以使用更少的数据来渲染高质量全景光场,并且渲染速度也远远高于贪心算法。 3.基于多光场相机的全景光场视频采集方法 当前针对动态场景的全景光场采集方法,均是利用球面相机阵列方案,使用多个普通数码相机,采集全景光场视频数据。由于相机球面分布密度有限,空间中的任意点只能被少量相机采集,这样会造成采集角分辨率过低,导致全景图质量下降。本文提出了一种基于多光场相机的全景光场视频采集方法,实现了动态场景高角分辨率采集和全景光场视频渲染。对比普通相机阵列的低角分辨率性质,制造的光场相机具有高角分辨率特性。因此,本文方法可以利用光场相机阵列,实现不同方向光场视频高角分辨率采集。然后通过拼接多个光场相机的视频图像,重建得到全景光场视频数据。实验表明了本文方法可以有效采集和重建全景光场视频,渲染结果可以很好的实现全景光场视频的两个重要应用:视频重聚焦和视频焦点追踪。