论文部分内容阅读
随着互联网和多媒体技术的发展,Web上可以共享的多媒体资源数量和种类急剧增加,基于跨媒体检索技术对用户提供多媒体信息的查询服务是近年来信息检索方面的研究热点。
跨媒体信息检索技术是指在现有的基于内容的单种类型媒体信息检索技术的基础上,建立不同类型媒体之间的相关性,在检索中返回和检索请求媒体类型不同的检索结果,从而提高用户获取信息的效率。由于跨媒体检索需要面对不同模态的媒体对象,不同模态媒体在低层特征上存在异构性,所以不同模态媒体之间关系的建立以及相似度的计算等问题是跨媒体检索的关键技术问题。在充分分析现有研究思路的基础上,本文提出了一种新的研究思路:利用Ontology来组织各种媒体的关联关系,实现跨媒体检索。本文围绕这一思路做了如下工作:
(1)分析了多媒体Ontology的技术现状,提出了一种基于多媒体Ontology的跨媒体检索方案。把不同类型的多媒体资源映射到ontology中的概念上,就形成了多媒体Ontology。多媒体Ontology不仅保留了ontology中概念之间的关联关系,而且应用多种媒体对概念进行多方位的描述。本文提出的基于多媒体Ontology的跨媒体检索技术,就是结合了Ontology中的概念之间的语义关联关系和概念内多模态特征来确定不同媒体文件之间的相似度,从而实现跨媒体信息检索。
(2)在多媒体Ontology的构建过程中,引入特征中心集机制提高概念的多模态特征描述精度。特征中心集依附在概念上,用于表达概念的一种表征,其特征值可通过机器学习的方式会聚样本的特征而获得。本文采用了多特征中心集的机制刻画概念的多表征特性。对于跨媒体检索来说,特征中心集机制不仅可以部分解决通过单个媒体的语义不确定性,又可以加快检索的速度。
(3)提出基于多媒体Ontology的跨媒体相似性计算方法,为跨媒体检索奠定基础。本文的相似度计算方法中,不同媒体的相似度可通过依附的概念语义来计算,从而跳过了不同媒体特征之间的异构性;对于同类型媒体,在前述机制的基础上,还需要结合低层感官特征提高检索的召回率。
基于关键技术研究成果,本文设计实现了一个基于体育领域多媒体ontology的跨媒体检索原型系统。原型系统中实现了多媒体Ontology定制、媒体特征提取、跨媒体检索等功能模块,实验结果表明本文的技术方案能实现跨媒体的信息检索功能。