论文部分内容阅读
近年来,多视点+深度的三维视频表示格式正在逐渐取代传统的双目立体视频表示格式,并被广泛应用于新一代的三维视频系统。基于多视点+深度的三维视频系统通过视点绘制技术由给定视点的纹理图像和深度图像生成新的视点信息,从而构成多视点立体显示。本文针对多视点+深度的三维视频系统,以如何有效提升绘制视点视频质量为研究主线,重点研究了视点绘制和多视点+深度的视频编码问题。本文的主要创新性研究成果包括:·提出了面向最小化空洞效应的深度图像增强算法。本文首先分析了基于深度图像的多视点重建过程,归纳了视点重建过程空洞产生的原因,并以此为依据对空洞类型进行了分类。针对离散分布的空洞像素,采用自适应滤波器对深度图像进行处理,以增强深度图像的质量;针对连续的遮蔽区域,应用方向性的图像填补算法对遮蔽区域进行填补。实验表明此方案在提升重建视点视频主观视觉质量方面具有明显的效果。·提出了结合时间相关性信息的多视点绘制视频增强方案。本文利用时域相关信息填补重建视点中的遮蔽区域,其中时域相关信息的选取充分考虑了场景内前景目标的运动模式。同时,针对场景内可能存在的复杂运动模式,本文利用前景深度相关原则恢复被运动目标遮挡的背景信息。实验表明本方案有效提升了重建视点的主、客观质量。·提出了深度视频优化采样算法和率失真优化编码方案。针对尺度非对称三维视频编码框架下的深度视频采样问题,本文以最小化合成视点失真为目标,设计了深度视频优化采样方案;针对三维视频编码率失真问题,优化了尺度非对称视频编码的率失真方案。率失真优化过程既考虑了纹理、深度视频数据的编码失真,也考虑了深度视频的采样失真。实验验证本方案能够有效地提升三维视频的编码性能和视点绘制的质量。