论文部分内容阅读
图像的特征表示是计算机视觉和图像处理的一个基本问题,例如,在图像识别与分类问题中,同一个物体,由于受到拍摄环境、角度、距离、时期等的影响,在图像中会呈现出不同的变化;同理,同一类的物体,也会由于受到各种变量的影响,而呈现复杂的变化。有效的图像特征一般满足两个要求:对类内变化具有鲁棒性;同时,也要对图像内容有较强的描述能力,并具备一定的区分性。早期的图像特征如SIFT,HoG,LBP等,主要通过人工设计获得。近年来,研究者们根据不同的应用和特定的任务,设计出不同的提取特征的策略,并提出许多基于学习的图像特征提取方法,在图像匹配、物体识别、图像检索等任务中取得了良好的效果。基于学习的特征的研究,具有非常重要的意义。 本文首先以局部特征的研究为出发点,采用学习的策略,对目前较流行的二值特征进行深入研究。物体识别和物体匹配任务,往往采取提取兴趣点的方式,围绕兴趣点周围构建图像块,从该图像块提取具有高鉴别力的特征描述子。传统的特征描述子通常经过手工设计,并采用浮点型数据进行存储。这种描述子一方面由于手工设计,不具有很强的泛化性,另一方面采用浮点型的特征描述子在特征提取和匹配上具有较高的计算复杂度。二值特征优势在于快速生成、快速匹配和合理利用内存,同时具有较高的鉴别性。本文在局部二值特征领域的研究成果主要有三点:第一,提出一种LTD(Local TernaryDescriptor)描述子,该描述子是对BRIEF(Binary Robust Independent Elementary Features)描述子的改进,采用三元替换二元进行编码;第二,开发出一种新型的二值特征,即RMGD(Ring-based Multi-Grouped Descriptors)描述子,该描述子采用环扇区域进行采样,并通过AdaBoost的位选择得到紧凑的二值特征,最后采用凸优化的方法将不同特征图得到的紧凑二值特征进行拼接,RMGD描述子在Brown图像块数据集获得目前的最佳性能(二值特征领域);第三,将目前的几种二值特征用凸优化的方法进行融合,其性能与最佳浮点型描述子具有一定的竞争性,且兼并有二值特征的优势(计算快、存储低和匹配快)。 其次,本文考虑将局部特征拓展到全局特征,由于二值特征对整幅图的覆盖性差,以及对方向比较敏感,我们采用传统的SIFT特征,同时和HoG特征进行稠密采样,并联合作为对整幅图像的全局特征表示。依据BoVW模型,本文对提取的特征采用Fishervector编码,应用到人脸属性分类任务中。对于人脸属性的分类任务,同一个人,由于采集环境、采集角度、表情变化和图像质量等的不同,在不同的数据域可能呈现较大变化,如果采用固定的模型参数,可能会影响最后的分类效果。本文根据人脸的特殊性,提出有意义的人脸部件,采用稠密采样对每个部件图进行图像表征,通过迁移学习和自适应学习分别对人脸属性分类任务进行研究,具体研究成果包括:第一:根据Fisher vector脸,提出增强的Fisher vector脸,分别对原图进行稠密的SIFT采样和稠密的HoG采样;第二,提出一种基于部件的迁移模型,在不同数据域—正面人脸图与非限定约束的人脸图,以及红外人脸图与可见光人脸图—分别进行迁移学习,在性别分类任务中取得良好的效果;第三,提出一种基于小样本学习的自适应模型,该模型只采用目标数据域,根据部件之间的互补性和模型参数的融合,得到很好的性能,在人脸属性分类中取得很好的效果。 目前,基于深度学习得到的特征具有很强的泛化性和鲁棒性,深度学习在图像分类领域取得非常好的性能,本文最后尝试采用卷积神经网络对人脸属性分类任务进行特征学习和分类学习,这种特征描述子将特征的提取过程和分类过程联合优化,相比传统浅层特征提取方法具有相对较好的泛化性和精准性。首先讨论几种经典的卷积神经网络的模型,分析和比较这几种深度网络模型;其次讨论和分析在人脸识别任务中经典的DeepID系列模型,改进DeepID网络模型,提出DeepFA网络结构,并在人脸属性任务中取得良好的效果。