广播视频的节目层结构分析及视觉内容检索研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:wenhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着广播电视事业的不断发展,广播电视行业积累了大量的多媒体数据。一方面,由于缺乏有效的电视节目结构信息和内容标注,人们很难从海量的广播电视多媒体数据中快速准确的查找到需要的信息。另一方面,因行业和受众的不同,广播电视多媒体数据历经多年的发展形成了一些不同于其他多媒体数据的特点。因此,亟需研究针对广播电视多媒体数据的分析技术,以辅助人们方便地对广播电视数据进行管理。本文以广播电视多媒体数据为研究对象,以节目层结构分析和视觉内容检索为立足点,深入研究了音视频模板匹配技术、重复序列检测技术、相似图像检索技术和台标识别技术等。本文的主要工作和贡献如下:   1.提出了一种新的视频指纹特征—全局二值模式(Global Binary Patterns)特征。该特征采用了结构和统计相结合的分析方法,在图像的局部计算统计信息保留了统计特征的鲁棒性,在全局上计算结构信息增强了特征的区分性。实验结果表明,相比传统特征,该特征取得了更高的平均检索精度,且对广播视频中的多种图像噪音都具有较强的鲁棒性。在此基础上,通过对广播电视音视频内容特点的分析,提出了一种融合音频和视觉信息的模板匹配框架,并应用于节目检索中。和单模态的方法相比,提出的框架同时利用了两种模态特征的信息,从而提高了节目检索的准确率。   2.提出了一种鲁棒的在广播电视流中检测重复序列的方法。该方法将重复序列检测问题形式化为隐马尔科夫模型的解码问题。通过定义状态转移之间的约束来松弛传统检测算法中的严格时间一致性条件,以期抵抗片段之间的漏匹配问题。在此基础上定义了待检测的目标为“最长松弛连接序列”,并采用一种近似维特比算法进行检测,使得可以从多条冗余状态序列中选择最优序列,从而降低误报。实验表明,提出的方法有效的提高了重复序列检测的准确率和召回率。除此之外,为了解决实际应用中复杂的节目重复模式问题,提出了重复序列检测算法应用于广播电视流中重复节目检测的三个基本原则:独立出现原则、最长重复原则和等价原则。实验表明应用提出的检测原则的方法能很好的检测重复出现的节目。   3.提出了一种基于视觉词组的相似图像检索方法。该方法首先将近邻空间上独立的视觉词组合构成视觉词组的候选,然后根据提出的“与图像相关的视觉词组选择策略”为每幅图片选择并保留合适视觉词组,以期降低视觉词组的冗余。另外,在度量视觉词组之间的相似性时,提出了视觉词组的“空间相似性度量”。通过定量地刻画视觉词之间的空间相对位置信息,并融入到视觉词组的相似性度量中,提高了视觉词组度量的区分性。和传统的基于视觉词组的图像检索方法相比,提出的两种改进方法在公共数据集Ukbench和广播电视数据集TRECVID上都很大地提高了检索的性能。   4.研究了两种不同的台标识别方法:基于图像匹配的方法和基于分类器的方法。对于前一种方法中,将Chamfer匹配算法引入到台标识别中。与传统的只描述形状的基于图像矩的方法相比,由于Chamfer匹配方法对台标的形状和位置都敏感,因而可以获得更加准确的匹配效果。对于第二种方法,实现了一种基于人工神经网络的台标识别方法,并与基于Chamfer匹配的方法在不同的训练和测试条件下进行了对比实验,分析了两种方法的性能特点和优缺点。   本文的主要成果已经成功地应用于广播电视内容综合监测系统中,取得了较好的经济效益和社会效益。
其他文献
自动轨道系统(EMS,Electric monorail system)是一种轨道式物流输送系统,广泛应用于生产制造,尤其是自动化装配线中,有效的提高了装配效率与装配质量。本文以变速器装配线为应用
在不确定环境下进行知识学习与推理是智能行为的基础。互联网的快速发展使得信息的采集、传播速度和规模达到空前的水平,数据量呈现爆炸式增长,人类已经进入大数据时代。有效地
由于具有独特的结构布局和飞行方式,四旋翼飞行机器人能够垂直起降、悬停以及快速转变航向,并且具有良好的敏捷性和操控性,所有这些优秀特性的存在,使得四旋翼飞行机器人系统迅速
随着Internet的迅猛发展,网络得到广泛的应用,越来越严重的拥塞问题随之暴露出来。网络拥塞控制能有效的提高网络性能,是保证Internet稳定运行的关键因素之一。作为端到端拥
微生物发酵是典型的以间歇生产方式为主的技术性密集型产业,涉及到医药、食品、饲料、轻化工、环境治理等众多的工业领域,在国民经济中的地位日趋重要。随着上述行业的迅速发展以及市场竞争对多品种、小批量和高质量的需求,对于发酵过程进行控制和优化的要求也越来也迫切。然而,与一般的物理和化学过程相比,发酵过程有着迥然不同的动力学特征,如动力学模型呈高度的非线性和强烈的时变性、大多数生物状态变量难以在线测量、过程
PCS颗粒测量技术中颗粒粒度反演一直是一个重要而有魅力的研究课题,而正则化方法作为广泛采用的方法,其性能取决于正则化参数和正则化算子。如何决定合适的正则化参数及如何
在现代信息社会中,各行各业存在着大量含有重要信息的纸质表单,手动录入计算机系统花费巨大人力和物力,如何自动、快速准确地将纸质表单数字化并输入计算机是目前研究的热点。课
滚动轴承是旋转机械中非常容易损坏的零部件之一,它被广泛地应用于造纸、冶金和石化等国家支柱产业的重要设备上。根据统计数据表明,大概有30%的旋转机械故障是由于它们的滚动轴
肌萎缩性脊髓侧索硬化症、帕金森氏症等多种神经系统疾病患者,体内运动神经元逐渐凋亡,可致使全身瘫痪,丧失全部的行动能力,无法与外界进行沟通,生活更不能自理,承受着常人难以想象
选煤是洁净煤技术的重要环节,传统的煤和矸石的分选多采用基于物理原理的湿选法和干选法,这些方法,尤其是湿选法(重介法和跳汰法)对水资源浪费严重,对环境的污染也比较明显。