论文部分内容阅读
全景视频,也称为360°视频,是视频中较为特殊且新颖的一种类型。随着虚拟现实技术的快速发展,全景视频逐渐走入人们的视野。全景视频凭借沉浸式的特点给人们带来一种焕然一新的体验,现已成为未来视频服务的新型载体。全景视频具有高分辨率、高码率的特性,这给全景视频的传输带来了巨大的挑战。目前,基于Tile的全景视频自适应传输已经成为全景视频传输的一种主要趋势。它通过将全景视频划分为多个Tile,根据用户视域的变化每次仅传输视域内的Tile,有效地解决了上述问题。然而,这种传输方案在实际应用中带来一些实现上的困难,受硬件设备资源限制,客户端无法同时对多个Tile码流进行实时解码,这给全景视频的低时延传输带来了极大的挑战。因此,本文针对基于Tile的全景视频自适应传输技术展开研究,提出了一种基于码流融合的全景视频自适应传输解决方案。为了降低系统对客户端的硬件要求,本文设计并实现了基于Tile的全景视频自适应传输系统,结合改进的H.265/HEVC运动约束分块集技术提出了码流融合方案。该方案通过修改码流的部分语法元素将视域内的多个Tile流融合为一个码流,以便使用单个解码器对多个Tile实时解码,使用户在不同的客户端和不同网络条件下都能获得良好的观看体验。实验结果表明,本文提出的改进H.265/HEVC运动约束分块集技术对编码性能的影响在可接受范围之内,同时码流融合技术消耗的时间也是可忽略的。整体上讲,基于Tile的全景视频自适应传输系统运用改进的H.265/HEVC运动约束分块集技术和码流融合技术解决了客户端硬件资源受限带来的解码问题。在用户ROI预测不准确的情况下,由于视频压缩码流受限的编码结构,用户进行视角切换时总是存在FOV区域高清Tile切换不及时的问题,这在一定程度上影响了全景视频传输系统的体验。为了解决上述问题,本文结合MPEG-DASH协议的特征针对不同场景分别提出了基于码流组合的快速视角切换方案和基于参考帧替换的快速视角切换方案。实验结果表明,在保证产生非常小的额外带宽消耗和可以忽略的质量下降的同时,两种快速视角切换方案都能够有效地缩短用户视角切换时延,实现即时视角切换,提高了用户体验。