融合视觉与语义的联合图像表示

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:tyllr82
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像作为多媒体数据的重要组成部分,简单直观、可以快速准确地表达信息,是人类活动中最常用到的信息载体。同时,很多计算机视觉任务的研究,都是以图像的高效表示为基础的。因此,研究有效的图像表示方法具有迫切的实际需求和广泛的应用价值。  本文主要研究高效的图像表示,提出了一系列融合视觉与语义的联合图像表示方法,并以图像分类为具体应用对所提方法进行了实验验证。具体工作主要体现在以下几个方面:  1.提出了一种融合多通道视觉上下文的联合图像表示方法,该方法主要在物体本真、强相关视觉上下文和弱相关视觉上下文三个不同的通道上进行图像的联合表示学习。物体本真排除了外界的干扰,更多地关注于物体的内容信息;强相关视觉上下文利用一个较松散的边框来包含物体周围的上下文内容;弱相关视觉上下文是由图像的背景恢复得到的不包含物体区域的图像内容。物体的这两种视觉上下文可以对图像的表示提供良好的辅助判别力,融合这三个通道的图像特征可以学习到同时具备视觉信息和上下文的图像表示方法,并且在公共数据集Caltech-UCSD Birds200和Oxford Flowers17上进行了实验分析和验证,分类结果证明了所提方法的有效性。  2.提出了一种基于层次化深度语义学习的图像表示方法,从而更有效地表达图像的语义内容。在图像视觉特征的基础上,借助于空间位置关联的图像块之间的类别语义关联,学习到能够代表图像类别信息的语义表示,进一步融合视觉特征得到单层的图像深度语义表示。同时,基于上述语义表示,通过多层的迭代重构,学习到层次化的图像深度语义表示,最终得到具有较强辨别力和紧致表达力的联合图像表示。在公共图像数据集Caltech-256、Caltech-ucsd Birds200、MIT Indoor Scene、Oxford Flowers17和UIUC Sports上分别验证了所学习到的单层和多层图像深度语义表示的判别力。
其他文献
决策支持系统是信息系统研究的最新发展阶段,既具有数据处理功能又具有数值计算功能,达到了更高层次的对管理者的辅助决策能力。随着数据库技术的不断成熟,数据仓库技术的出现,网
现代信息技术的发展,极大地改善了人的生活质量,尤其是计算机多媒体技术的发展,给人们的生活带来无穷乐趣。图像压缩技术在多媒体技术领域中占有重要的位置。 本文首先介绍了
C3I (Command,Control,Communication and Intelligence)意指“指挥、控制、通信与情报”。由于C3I系统在现代高技术战争中能帮助人们驾驭信息和武器两要素,使军队的战斗力获得
随着Internet的飞速发展,由于竞争网络资源而导致的网络拥塞问题越来越严重。在路由器等交换设备上应用有效的队列管理算法对于提高网络性能来说显得愈发重要。近年来,各类多媒
软件系统已经越来越深地嵌入到人类社会和物理社会中,软件系统在运行时会与其他软硬件系统、设备和用户发生密切的交互。当前软件系统运行和交互环境呈现出动态多变及不确定的
随着小型嵌入式系统广泛进入到日常生活的每一个角落,导致了对高可靠性和安全性计算机的强烈需求。现在这些机器影响着个人数据安全、金钱交易乃至人身安全。为了保证这些系统
当前,信息技术正在向生产、生活等各个领域大规模的发展和渗透,网络经济已经与我们密不可分。但许多企业遗留的IT支持系统大多是孤立不可共享的,新的生产和经营模式对企业信息化
随着天津计算机信息系统的建设,天津政务资源平台的建设取得了很大的进步。在已建设的应用系统中,存在各应用系统信息共享程度较低,应用系统之间结构不统一,资源使用不合理以及应
Internet特有的时效性,使得网络新闻出版和服务正在步入一个快车道.与传统新闻相比,网络新闻具有多种优势,读者可以在网络上第一时间看到世界各地的新闻,容量大信息丰富,表现
概率分析进化算法是将构造性模型引入进化算法进行研究而形成的一类新型进化算法。贝叶斯优化算法是求解高阶难题中具有代表性的概率分析进化算法。本文主要研究贝叶斯优化算