论文部分内容阅读
全景视频亦称为沉浸式视频,观察者视点不变,通过改变观察方向,能够观察到周围的全部场景。利用全景视频可以建立起供用户观察的虚拟环境,用户通过在其中的漫游,能够交互地从不同观察点和方向了解环境。由于全景视频能为用户带来前所未有的沉浸感,在景观展示、数字娱乐、视频会议,远程医疗和会诊、远程监控、机器人自动导航、军事对抗仿真与虚拟战场等领域将得到广泛应用。
全景视频包含了空间中360度的内容,数据量是普通视频的数倍,这使得全景视频在网络上的传输面临着极大的困难。本文研究面向网络传输的全景视频编码技术,旨在通过提高全景视频的编码效率,减小其传输数据量,解决全景视频在网络传输中数据量大的问题,实现全景视频在网络中的高效编码与传输,为全景视频的网络应用提供技术支持。本文主要研究内容为基于分块的全景视频编码技术,全景视频局部数据快速提取技术和全景视频运动估计技术,研究成果如下:
1.面向传输的柱面全景视频最优编码块尺寸选择。
基于分块的视频编码可以在满足用户需求的情况下,大大减少全景视频传输量,其中,编码块尺寸对于传输数据量有重要影响。本文首次全面分析了柱面全景视频编码块尺寸对传输量的影响,提出了最优编码块尺寸的概念。采用最优编码块尺寸进行分块编码,可以实现最小的传输量。本文在视频质量一定的条件下和码率约束条件下分别提出了柱面全景视频最优编码块尺寸选择方法。视频质量一定下的选择方法,通过实验数据建立编码块尺寸与编码后视频数据量增量比值之间的反比模型,能够快速准确的选择最优块尺寸,准确率达到94%。带宽约束下的选择方法,首先建立最优编码块候选集,然后根据规则减少候选集中的候选块尺寸,最后根据提出的计算模型计算出最优编码块尺寸,该方法找到最优编码块尺寸的准确率达到了100%。本文的研究工作,对于柱面全景视频分块编码中的编码块尺寸的选择,提供了重要的理论与实验依据。
2.基于转码的全景视频局部数据提取方法。
球面全景视频常采用传统的视频编码方法进行编码,如何快速从编码视频中提取用户所需的局部数据,减小全景视频传输数据量,是一个很重要的问题。本文提出了一种基于转码的全景视频局部数据提取方法,该方法建立了一种新型的转码结构,避免了重新编码带来的计算复杂度,实现全景视频局部数据的高效提取。在局部数据提取方法中,运动矢量合成方法直接影响数据提取的质量。本文详细比较了常用的运动矢量合成方法,为其选择提供了可靠的实验依据,实验结果表明,使用加权向量中值法的提取方法可以实现最好的效果。
3.基于柱面摄像机模型的运动估计算法。
视频的编码效率直接影响其在网络中的传输量,运动估计算法是影响视频编码效率的重要因素。本文针对柱面全景视频,提出了一种基于柱面摄像机模型的全景视频运动估计算法。我们首先根据全景摄像机实际成像原理,提出了一种柱面摄像机模型,然后建立物体的三维运动模型与表面约束条件,得到物体在柱面全景视频中的二维运动模型,最后在此基础上提出一种新的运动估计算法。该算法与传统运动估计算法相比,能有效提高柱面全景视频编码质量。在相同质量下,比传统算法节省8%左右的数据量。本文的运动估计算法,是专门针对柱面全景视频的一种运动估计算法,对于提高柱面全景视频的压缩效率,减小网络传输量,具有重要的意义。