论文部分内容阅读
随着多媒体技术与互联网技术的高速发展,海量增长的图像、视频等可视媒体数据正极大地充实着现代人的生活。各种图像、视频的显示播放设备层出不穷,从传统的个人电脑、数字电视到更加便携的手机、个人数字助理(PDA)和数码相册等。与数字显示平台多样化伴随而来的一个重要问题就是如何使数据(图像、视频)自适应地匹配不同规格的数码平台,其具体内容包括:改变原始图像、视频的画面长宽比以匹配不同设备的屏幕,以及改变原始视频的时间长度以匹配不同设备的存储能力。当前主流的图像、视频画面显示系统中所采用的方案往往不考虑数据中的内容,将整个画面均匀地缩放到设备长宽比上,这会导致数据中的重要内容在处理后出现明显扭曲变形,严重影响用户的浏览体验。在这样的背景下,图像和视频的画面显示自适应技术应运而生。作为一种基于内容的技术,自适应的核心目标在于在改变图像和视频的尺寸过程中,尽量减少重要信息损失并保持原有的视觉效果。近年来,自适应技术作为计算机视觉领域的一个热点课题得到许多学者的重视与研究,相关的成果也层出不穷,但是面对不同的应用环境,当前方法表现得仍不够成熟,存在一定的局限性,仍存在着相当大的改进空间。 通过系统回顾国内外画面显示自适应技术的相关工作,在分析不同方法特点和缺陷的基础上,本文针对图像和视频的画面显示自适应问题提出了一系列解决方案,主要工作和创新点包括: 1)裁切和变形是图像自适应领域的经典方法,两种方法各具特点。本文提出了一种把裁切策略融合进变形框架的图像自适应方法,目标是利用裁切方法降低图像的非重要区域的影响,以改进变形方法的性能,进而改善图像自适应结果。本文所采用的融合策略具有两个优点,一方面,通过显著性分析可以有选择地裁切掉重要性较低的区域,从而使输出图像中有更多的空间去保存重要的图像内容;另一方面,最终保留在输出中的图像内容,其成像质量不会受到裁切策略的影响而完全由变形算法所决定,使重要内容的几何结构和形状得以在输出中得到最大程度地保留。在公共数据集上的实验结果证明,本方法同时具有裁切和变形算法的优点,有效地提高了图像自适应结果的质量。 2)当待生成的目标图像尺寸被设定得过小时,单一的自适应策略所得到的结果往往会出现严重的视觉缺陷,这是阻碍单一自适应方法用于生成图像缩略图的关键因素。实际上,不同的自适应方法之间存在着互补性,本文依此提出了一个基于网格的联合裁切、变形与缩放策略的缩略图生成方法。其中,裁切策略用于有选择地舍弃图像中不重要的区域,使有限的空间更集中地用于显示图像中的重要内容;变形策略用于在缩略图中保持重要目标和场景的形状,而压缩和扭曲非重要区域使重要目标在空间上分布得更加紧密,使缩略图更加完整地包含原图中的重要信息;缩放策略用于以一个合适的尺度来显示图像的重要内容,避免目标过大或过小。本文通过基于网格的优化框架,将三种策略融合成一个统一的凸规划问题,可以被高效地求解。与当前多个主流方法的对比证明本方法可以有效改善缩略图的视觉效果,在由源图像生成缩略图的过程中,更好地维护了信息的质量,并且兼顾了算法的执行效率,能够应用于实际系统之中。 3)对视频数据而言,空间域上的画面内容与时间域上的运动信息是相关的,当前的视频自适应方法往往忽略了这种关系,在保存局部区域的画面内容与运动信息时采用一种相互独立、分而治之的策略,割裂了局部区域间的上下文关系,导致视频自适应结果常常出现各种时空视觉缺陷,比如物体形状的扭曲、随时间不一致的形变以及背景抖动等等。本文通过构建网格图模型来分析视频的时空信息,该模型可以在视频的空间内容与运动信息之间建立时空关联。在估计局部区域运动的同时,该模型还可以量化相邻区域间的时空相关性,从而使划分在同一个运动层的区域能够近似表达一个单独的物体。在重建自适应视频时,除了保存重要区域的空间形状和时域运动,还同时约束属于同一物体的区域经历一致的时空变换,从而最终实现接近于“物体”级的时空一致的视频自适应。本框架在优先保存视频重要内容的空间结构和运动趋势的前提下,尽可能地维持了视频信息的时空相关性,避免了各种视觉缺陷的产生。在公共视频数据集上的实验和用户调研均证明,该算法相比之前的方法具有明显的优越性。