论文部分内容阅读
近些年来,3D电影逐渐普及,相对于传统电影,3D技术可以提供更加身临其境的逼真效果,已经成为了当前发展的一种趋势。然而3D电影从题材的选择、拍摄、剪辑、洗印到发行放映,都有一些特殊的技术要求,制作成本较高、周期也相对较长。虽然现在已经有近百部的3D电影问世,但是在2D和3D技术共存的局面下,面对内容丰富的传统电影的挑战,3D片源依然是杯水车薪。在这种情况下,将2D视频转为3D视频是解决此问题的有效途径,也是近年来产业界和学术界的新的研究热点。
本文关注的焦点主要集中在两个方面:1)合理有效的视频转换系统的设计;2)视频2D/3D转换流程中一些关键性技术的研究和探索。主要的工作和贡献有:
(1)对视频2D/3D转换这一新兴领域的研究情况进行了深入全面的调研,按摄像机和场景相对运动关系对各种方法进行了合理的分类和比较,总结了该领域当前的研究特点和难点,并对未来发展方向和系统实施路线进行了探讨。在此基础上,我们设计了一套基于结构重建技术的视频转换系统。实验结果不仅验证了系统设计中提出的一些关键性技术的有效性,同时也表明了该系统能够很好的解决特定场景视频的转换问题。
(2)提出了一种适用于2D/3D转换的分段化结构重建框架。结构重建技术(structure from motion,SFM)是计算机视觉中一个重要的研究方向,但是该技术在2D/3D视频转换领域中的应用并不成熟。本文针对2D/3D转换领域的特点,量体裁衣的设计了一种分段化结构重建框架,能够高效稳定的从视频流中恢复出连续场景的空间结构信息,为视频转换提供可靠的深度线索。
(3)针对现有的2D/3D视频转换中使用的深度归一化方法无法有效保证视频流深度提取稳定性的问题,提出了一种基于视差区域原理的深度归一化方法。该方法不仅能够保证深度归一化过程的稳定性,还能够根据3D显示的成像特点增强立体层次效果。
(4)深入研究了基于深度图的3D渲染技术(depth image-based rendering,DIBR),针对现有的非对称滤波器的不足,设计实现了一种增强的基于深度图定向滤波的双边滤波器,能够根据合成视图所处视点的方向在特定的深度过渡区域强化滤波效果,从而实现了对深度图进行自适应滤波的目的,有效的弱化了视图合成时由于像素映射造成遮挡空洞而对图像质量产生的影响。
(5)提出了基于图层优化与融合的2D/3D深度图生成方法。该方法先提取出场景中主要物体所在的图层,再对每个图层分别进行深度的估计和处理,不仅有利于保证每个图层深度的一致性,还可以利用更多的线索和约束来加强局部区域的优化。最后结合视觉感知心理学原理对图层进行融合,可以进一步增强3D渲染效果。
总的说来,本文针对视频2D/3D转换问题,从系统实现、深度线索的提取、深度图生成和3D渲染增强等方面做了有益的探索并取得了比较满意的转换效果。