论文部分内容阅读
基于深度的三维电视系统是近年来视频处理与压缩领域的一大研究热点。基于深度的三维视频格式新加入了包含三维空间信息的深度视频。这样的视频格式能够通过虚拟视点合成技术由参考视点的纹理和深度图像生成虚拟视点的图像,一方面使观众能够在多个编码视点和多个虚拟视点位置的图像中选择合适的立体视频对进行观看,获得更优的三维视觉体验,另一方面也能够仅利用少数几个传输视点的纹理加深度视频合成多个虚拟视点图像从而满足多视点显示设备的显示需求,达到高效表达的目的,因此已被国际标准组织ITU与MPEG等确立为新一代的三维电视系统的视频格式并完成了标准制定工作。虚拟视点合成预测编码技术是三维电视系统中的一项预测编码技术,由已经编码完成视点的纹理与深度图像为一个被编码视点的纹理图像合成参考图像,这样的参考图像与被编码的纹理图像具有高度相似性,因此能够有效地提升纹理图像的预测效率。将虚拟视点合成技术应用至三维视频的编解码环节涉及多方面的设计要素,包括如何高效地利用虚拟视点合成技术为图像预测编码生成高质量的预测图像,如何将虚拟视点合成预测模式融入到三维视频编码的语法结构中,以及合成预测过程中各项参数对预测编码效率的影响等。在预测图像合成方面,提出了纹理图像的块级前向投影合成和视差图像的前向投影合成技术,以高质量的预测图像有效弥补了纹理优先编码顺序下编码平台性能严重不足的问题。同时还针对纹理图像和深度图像的预测编码中的不同应用特点分别提出了复杂度优化方案,有效降低了运算复杂度。此外,提出的两项技术支持两种纹理深度编码顺序,具有更好的普适性。在模式设计方面,提出了虚拟视点合成预测模式的优化设计方案,自适应地在候选模式队列中插入单个合成预测候选模式,解决了原有设计中的冗余度问题,实现了精简且高效的合成预测模式设计。在合成参数对预测编码的影响方面,提出了综合各项参数的合成图像质量理论分析模型,为合成参数的决策提供了理论依据,有助于从理论角度对合成图像的质量和运算复杂度进行控制。总的来说,本文的研究工作围绕基于虚拟视点合成预测技术的预测编码技术,在合成图像质量、预测编码性能、复杂度优化、模式设计以及理论性能分析方面开展了全面深入的研究。研究工作形成了与合成预测技术相关的完整理论框架,解决了该技术在三维视频编解码系统中应用的多方面问题,提高了三维视频编码的整体压缩效率。