论文部分内容阅读
随着互联网的普及,人们之间的交流可以通过语音视频等更为直观和更具表现力的方式实现。未来随着5G技术的推进,网络、车载视频、安防和体育录像都将出现井喷式增长,这使得视频内容理解和处理工作面临着巨大挑战。
本文便是在这一研究背景下,期望对复杂视频的内容进行缩减,实现紧凑表达,以促进相关工作的进展。视频内部存在没有效力的视频帧或者片段,而传统方法对视频进行全局描述并未考虑到这种差异。视频紧凑表达的目标就是保留视频内容中的重要部分,实现保持视频类别的视频内容压缩。为了达成这一目的,需要提出挖掘视频内容中那些重要的、对于保持视频类别起到关键作用的视频主题。视频紧凑表达面临诸多挑战:如何对语义单位进行定义?如何验证所给出的语义单位的研究意义?视频内部时序段上语义单位之间是否显著性差异?如何挖掘语义单位中重要的视频主题?如何验证视频的紧凑表达的效能?针对视频紧凑表达所面临的上述问题进行研究,本文以视频语义单位作为研究的基础,确定语义单位的定义并验证其意义;验证语义单位的显著性,提出显著性语义单位的挖掘算法;结合视频主题需要具备类别保持能力这一条件,设计基于基于频繁词的视频隐模式挖掘算法来从同类视频中挖掘有判别力的主题;提出语义边缘自适应算法进一步精确视频主题以提升视频紧凑表达的性能。具体的,本文的研究内容和主要贡献分为以下四个方面:
首先,本文定义视频语义单位为局部时间区间内所对应的形成完整概念的动作、场景等,以视频语义单位为基础来对视频进行分析。所提出融合视频语义单位和表观特征的角色识别方法,提升了角色识别的准确率,证明了以语义单位为基础的视频内容理解工作的研究意义。
其次,本文设计了多组实验来验证语义单位的显著性,提出了基于稀疏表示的显著性语义单位挖掘算法来获取视频内部的显著的语义单位,基于语义单位显著性的加权事件表示方法增强了事件检测的分类能力;
再次,本文从同类型视频出发挖掘具备类别保持能力的显著性的语义单位,即视频主题。利用基于深度特征单词的视频编码策略来描述视频,将视频主题挖掘工作与中文频繁词挖掘任务相融合,设计用于视频紧凑表达的隐模式挖掘算法,将所挖掘的视频主题作为视频内容的直观反应,实现对于视频的紧凑表达。在相关数据集上的实验说明了视频紧凑表达方法的有效性,所提出方法为事件检测和视频内容分析工作带来了意义重大的性能提升。
最后,为获取更为准确有效的视频主题以提升视频紧凑表达的性能,本文提出时序分布网络来自适应的生成语义单位的边缘。实验表明,所提出时序动作区间生成方法具备优异的区间生成和动作检测能力,显著提升了视频语义分割的性能。基于语义边缘自适应分割的视频紧凑表达性能得以进一步提升。所提出方法在数字多媒体领域的应用,进一步佐证了视频紧凑表达的有效性和广阔的应用前景。
通过上述研究,本文对视频紧凑表达的各个层面进行了深入的探索,为视频紧凑表达所面临的关键问题提供了切实有效的解决方案。结果表明:语义单位是视频在局部的时间区域内所形成的动作、场景等概念;视频内部语义单位存在显著性,语义单位显著性的加权事件表示方法可以增强视频表示的性能;基于深度视觉单词编码的隐模式挖掘算法能够获取与与人为认知一致的视频主题;基于主题保持的视频紧凑表达,可以为事件分析和视频理解带来更为优异的性能;基于语义边缘自适应的分割方法进一步提升了视频紧凑表达的性能。
本文便是在这一研究背景下,期望对复杂视频的内容进行缩减,实现紧凑表达,以促进相关工作的进展。视频内部存在没有效力的视频帧或者片段,而传统方法对视频进行全局描述并未考虑到这种差异。视频紧凑表达的目标就是保留视频内容中的重要部分,实现保持视频类别的视频内容压缩。为了达成这一目的,需要提出挖掘视频内容中那些重要的、对于保持视频类别起到关键作用的视频主题。视频紧凑表达面临诸多挑战:如何对语义单位进行定义?如何验证所给出的语义单位的研究意义?视频内部时序段上语义单位之间是否显著性差异?如何挖掘语义单位中重要的视频主题?如何验证视频的紧凑表达的效能?针对视频紧凑表达所面临的上述问题进行研究,本文以视频语义单位作为研究的基础,确定语义单位的定义并验证其意义;验证语义单位的显著性,提出显著性语义单位的挖掘算法;结合视频主题需要具备类别保持能力这一条件,设计基于基于频繁词的视频隐模式挖掘算法来从同类视频中挖掘有判别力的主题;提出语义边缘自适应算法进一步精确视频主题以提升视频紧凑表达的性能。具体的,本文的研究内容和主要贡献分为以下四个方面:
首先,本文定义视频语义单位为局部时间区间内所对应的形成完整概念的动作、场景等,以视频语义单位为基础来对视频进行分析。所提出融合视频语义单位和表观特征的角色识别方法,提升了角色识别的准确率,证明了以语义单位为基础的视频内容理解工作的研究意义。
其次,本文设计了多组实验来验证语义单位的显著性,提出了基于稀疏表示的显著性语义单位挖掘算法来获取视频内部的显著的语义单位,基于语义单位显著性的加权事件表示方法增强了事件检测的分类能力;
再次,本文从同类型视频出发挖掘具备类别保持能力的显著性的语义单位,即视频主题。利用基于深度特征单词的视频编码策略来描述视频,将视频主题挖掘工作与中文频繁词挖掘任务相融合,设计用于视频紧凑表达的隐模式挖掘算法,将所挖掘的视频主题作为视频内容的直观反应,实现对于视频的紧凑表达。在相关数据集上的实验说明了视频紧凑表达方法的有效性,所提出方法为事件检测和视频内容分析工作带来了意义重大的性能提升。
最后,为获取更为准确有效的视频主题以提升视频紧凑表达的性能,本文提出时序分布网络来自适应的生成语义单位的边缘。实验表明,所提出时序动作区间生成方法具备优异的区间生成和动作检测能力,显著提升了视频语义分割的性能。基于语义边缘自适应分割的视频紧凑表达性能得以进一步提升。所提出方法在数字多媒体领域的应用,进一步佐证了视频紧凑表达的有效性和广阔的应用前景。
通过上述研究,本文对视频紧凑表达的各个层面进行了深入的探索,为视频紧凑表达所面临的关键问题提供了切实有效的解决方案。结果表明:语义单位是视频在局部的时间区域内所形成的动作、场景等概念;视频内部语义单位存在显著性,语义单位显著性的加权事件表示方法可以增强视频表示的性能;基于深度视觉单词编码的隐模式挖掘算法能够获取与与人为认知一致的视频主题;基于主题保持的视频紧凑表达,可以为事件分析和视频理解带来更为优异的性能;基于语义边缘自适应的分割方法进一步提升了视频紧凑表达的性能。