基于二维人体关节点特征的体育视频标注的研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:msbt098
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术和网络技术的迅速发展,各种视频数据信息大量产生。如何有效地利用这些视频资源是一个亟待解决的问题。针对这个问题,视频标注工作通过赋予视频镜头或片段相关语义概念,来方便视频的索引和检索。过去由于视频数据量相对较小,视频的索引和检索通过基于人工标注关键词的方法来实现。目前视频数据量越来越大,对于视频的索引和检索需要借助对视频的自动分析来尽可能的减少人工参与的程度。因此,对视频的自动或者半自动标注可以有效利用视频资源提取有价值的信息。   体育视频是一种重要的视频资源类型。与一般视频相比体育视频中的语义事件定义较明确,并且体育比赛有特定的规则和转播方式。目前体育视频高层语义分析工作主要集中在比赛状态监测、精彩事件检测等,较少关注体育视频中的专业动作标注,一般仅使用底层视觉等特征对体育视频中人体专业动作进行标注,较难获得准确的标注结果。本文研究的内容是基于二维人体关节点特征对体育视频中的专业动作进行语义标注。以网球体育比赛视频为例探讨此方法。   本文主要贡献包括:   第一,提出一种基于音视频多特征融合的方法,检测网球比赛视频中运动员单个挥拍动作片段,以方便对视频内容的分析。其中分别使用连续隐马尔科夫模型检测击球声特征,自适应提升算法检测网球球场线,以及自适应模板匹配算法检测运动员位置,并融合这三种特征来实现检测目标。实验结果表明,采用多特征融合的方法可有效检测单个网球动作视频片段,检测正确率达到了97.6%。   第二,在前人工作的基础上研究视频图像序列中二维人体关节点特征的提取。采用图像割(graph cut)算法提取视频第一帧中人体轮廓,根据局部分类器模型跟踪视频后续帧中的人体轮廓,并使用形状上下文(shape context)方法从人体轮廓中提取二维关节点特征。实验结果表明所提取的二维人体关节点特征的误差较小。针对网球领域知识,建立基于二维人体关节点特征的动作知识库。用户给定待标注视频后,采用动态规划算法比较与动作知识库中视频之间的人体动作差异,并依据相似度将排序结果返回给用户。根据用户的反馈,采用协同训练算法实现对待标注视频的动作类型标注。实验结果表明,网球视频中专业动作标注正确率达到了81.4%。与现有网球视频动作标注算法相比正确率有较大提高。   本文方法适合像网球、羽毛球这类体育视频,其视频特点是较少发生运动员间互遮挡。在扩展到其它体育领域动作标注时,只需要建立相应的动作知识库,其中概念层根据体育动作类型建立分类划分,实例层则包含各个动作类型对应的动作视频。体育视频与一般视频相比具有语义事件定义较明确等特点,但是也与一般视频存在共同点,即视频的内容不受限制,并且视频底层特征与标注结果之间存在语义鸿沟。这导致了视频标注是一项非常困难的工作。本文的体育视频动作标注方法是半自动的,还存在着很大的改进空间,包括研究如何自动并且鲁棒地跟踪一段较长视频片段中的人体运动轮廓序列等。
其他文献
无线传感器网络的发展直接带来了针对无线传感器网络的数据、服务等资源的整合、管理需求。SWE是基于OGC组织的web服务框架及信息模型提出的针对无线传感器网络资源的框架,通
探空火箭是进行近地空间环境探测、资源开发和科学试验的有效工具,可以为发展新仪器、新试验、新观测技术以及探索新的领域提供经济且有效的手段。经过近70年的发展,火箭探空技
随着企业管理信息化程度的进一步加深,企业对于信息化的要求也越来越高,资源是企业重要的资产,企业对于资源的管理要求也非常高,在管理范围、管理质量和管理系统建设规范性上
为了增强卫星在轨试验运行的可靠性,需要建立联合仿真模型对卫星状态进行综合仿真,研究控制异常时的有效对策。有效载荷数据多路复接器是卫星在轨试验数据传输系统的重要组成部
在过去近20年的时间里,集群和网格系统被广泛应用于高能物理数据处理。传统的以数据与计算分离的集群结构需要将大量的数据通过网络传输到计算节点进行处理分析,导致I/O成为系
在现代网络中存在着大量不同的应用程序,这些应用程序产生不同类型的流量,它们对于QoS的要求是不一样的。和传统的流量分类方法相比,使用机器学习技术来进行流量分类由于不依赖
短短几年间,包括微博在内的社会化媒体得到了长足的发展,所拥有的用户数量和参与率不断刷新记录,在社会生活中的地位和作用也越来越重要。其不但创造了一种新的沟通形式,更逐渐打
电力系统是一种典型的信息物理系统,其动力学具有混成性、非线性、高维度、包含控制变量等特点。安全性是电力系统运行中的一项重要指标。为了保证电力系统安全稳定运行,动态安
互联网应用的内容存取模式已从单数据中心的分布式存储形式向跨数据中心的全局、大规模海量的分布式存取形式发展。传统的分布式存储文件和数据库系统的学术思想和设计原理在
深度包检测技术在网络安全应用中发挥着重要作用。随着入侵特征的不断复杂化,正则表达式由于其强大的表达能力逐渐成为深度包检测系统描述入侵特征的主要语言,正则表达式匹配也