基于深度学习的细粒度图像分类技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jingliang2xx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分类任务可以分为三种:超类图像的分类(Superordinate-level),基本类别的分类(Basic-level)和细粒度图像的分类(Subordinate-level或者Fine-grained level)。细粒度图像分类(Fine-Grained Visual Categorization)作为细粒度图像识别的关键技术,近年来获得了越来越多的关注。细粒度图像分类属于目标识别的一个子领域,其主要目的是在相同基本类别下对其繁多的子类别进行区分。由于物体细粒度级别的信息可以帮助计算机更详细的理解物体,因此,细粒度图像分析技术具有更大的应用价值。但是由于细粒度图像都属于同一个基本类别,它们具有较高的视觉相似性。因此,细粒度图像的研究具有更大的挑战。  在细粒度图像分类中,为了使生成的特征表达具有较高的鲁棒性,现有的大部分算法选择人工标记的局部区域位置信息(Part annotations)作为辅助信息。但是人工标记的局部区域位置信息的获取需要大量的人力和财力。为了减少算法对于人工标记局部位置信息的依赖,提出了一种基于多层次描述融合的细粒度图像表达模型,该模型只依赖训练图像的目标标记框(Bounding box annotations),从而自动生成细粒度图像鲁棒的特征表达。其中,多层次描述模型包含五个不同层次的特征描述(Description):1)原始图像的特征描述;2)利用目标定位网络(Localization CNN)生成的目标区域的特征描述;3)基于K近邻联合分割算法得到的目标前景特征描述;4)基于图模型分割算法得到的两种不同配置的局部区域特征描述。通过拼接操作融合这五种不同层次的特征描述生成细粒度图像的特征表达。两个公开数据集上的实验验证了方法的有效性。例如,在CUB-200-2011和FGVC-Aircraft上分别取得了82.5%和86.9%的分类准确率。  上述算法虽然减少了细粒度图像描述对于人工标记局部区域位置的依赖,但是它仍依赖人工标记的目标框(bounding box)。而目标框的依赖限制了算法的扩展性和实用性。为了进一步减少了算法对于人工标记的目标框的依赖,提出了一个基于图像类别标签的自动双层描述模型(Automated Bi-level Description,简称AuBD)。“双层”表示该模型包含两个层次的特征描述:目标层次特征描述和局部区域层次特征描述。“自动”表示该模型在训练时通过图像的类别标签自动生成这两个层次的特征描述。相比于费时费力的人工标记信息,图像的类别标签是相对比较容易获取的。因此,自动双层描述模型可以很容易应用于大规模的细粒度图像数据集。其中,局部区域层次的特征描述是通过卷积神经网络生成的目标显著图来生成,而利用无监督的图模型匹配算法提取图像的目标区域。在仅使用图像类别标签的配置下,自动双层描述模型在三个公开数据集上都取得了最优的结果。例如,在CUB-200-2011和Car-196数据集上分别取得了81.6%和88.9%的分类准确率,在另外一个更大规模的BirdSnap数据集上取得了68%的分类准确率。  近几年,细粒度图像分类的相关研究取得了显著的进步,但是已有的算法都是关注如何提升细粒度图像分类的准确率,而忽视了这些算法本身的复杂性带来的问题。针对于现有算法复杂度高、难训练、耗时高的问题,提出了一种高效的互补卷积神经网络(Convolutional and Normalization Networks,简称CN-Nets)来生成输入图像紧凑的视觉特征。互补卷积神经网络包含具有两个互补性的子网络:Conv-Net和Norm-Net。其中,Conv-Net关注于局部区域的特征表达学习,而Norm-Net关注于图像的全局特征的表达学习。互补卷积神经网络提升了细粒度图像分类的准确率,而且也降低了图像特征提取的时耗。两个数据集上的实验验证了卷积互补神经网络的高效性。进一步,由于实际生活中细粒度图像类别的数目可能是动态增长的,而现有的分类算法不能处理未在训练集中出现的类别。为了解决这个问题,基于互补卷积神经网络,提出了单样本细粒度图像检索的任务。“单样本”强调是通过图像检索的方式来识别训练集中没“看到”过的类别。针对单样本细粒度图像检索,给出单样本细粒度图像检索的形式化定义和一个用于该任务的数据集OSFGIR-378K,并设计了一个由粗粒度到细粒度(Coarse-to-Fine)的多层次检索框架。一系列实验分析验证了互补卷积神经网络在细粒度图像的表达学习方面的优势以及多层次检索框架的有效性。
其他文献
高职院校出现人才流失问题的原因除了人才管理系统化规范化不足,也是激励引导机制不尽完善所致.因此,新时期高职院校解决人才流失问题不仅需要依法办事、照章办事、提高人才
随着社会经济的迅速发展,如今越来越多的高校毕业生加入了人才市场的激烈竞争中,就业形势可以说是不容乐观.高效毕业生是具备充分知识和专业技能的高素质人才,是社会发展的重
禽流感的每次爆发都会对全球的经济产生巨大的冲击。禽流感已出现跨宿主感染人的现象,且在人类中间引起大流行的可能性依然存在,然而目前禽流感跨宿主感染人的机制尚不清楚。 
近年来脑血栓、脑梗塞、脑血管畸形、脑血管痉挛等各种脑血管疾病频发于临床中,然而对于血管疾病的诊断,通常情况下医生是通过对仪器屏幕图像或胶片进行肉眼观察,整个诊断与分析
近几年,互联网极大普及,在教育方面也带来了变革。以电子版教材,网络教学的普及,使得以教学知识本体为基础的智能教学系统的越来越受到人们关注,构建知识本体的工具和机构也越来越
对6S管理理念的基本内涵进行介绍,仔细分析了其中各个要素的基本内容,分析了要提高高职院校图书馆的管理水平,采用6S管理理念进行管理具有非常重要的意义.本文以“云南省经济
研究分析了药品生产工艺验证对药品企业生产的重要价值,为保证药品的安全有效,需要重视药品工艺验证的重要性,以下对药品生产工艺验证的特点进行探讨和分析.
为了进一步提高我国森林资源的质量,就要开展有效的经营管理.要制定合理的经营管理措施,在保护森林资源的同时,进一步提高我国生态环境的质量,维持生态平衡.目前,我国森林经
企业管理,是对企业在生产经营过程中所进行的计划、组织、协调以及控制等一系列职能活动的总称.而政工工作则是一项思想性工作,它的性质相对“温和”,能够通过“润物细无声”
在开放、动态和多变的Internet计算环境下,传统的基于静态的过程模型和预定义执行路径的过程技术面临着诸多挑战。针对这一问题,本文从如何构建更为灵活的过程模型,如何表述自适