论文部分内容阅读
无参考图像质量评价是图像处理领域中的基础研究内容之一。图像质量评价方法的核心问题在于图像质量相关特征表达。传统方法通常基于少量人工合成失真图像的标准数据集设计质量变化特征,对真实世界或其他场景失真图像质量变化的描述与表征能力并不显著,导致其预测性能降低,图像质量评价方法的研究仍具有一定挑战性。随着图像数据的海量累积和计算能力的快速进步,近年来兴起的深度神经网络模型凭借其强大的特征学习与表征能力,在诸多应用领域中取得了显著效果。本文借助大型数据集的先验知识和深度神经网络的自主学习能力,探究与图像质量变化相关的特征表达,并对自然图像和遥感图像这两种不同场景图像,设计针对性的质量评价方法。本文的主要研究内容可分为四个方面:(1)针对图像质量评价领域中的“质量特征表达”这一核心问题,研究基于深度神经网络的图像质量特征表达,先利用自编码器研究图像稀疏特征表示,再基于大型数据库的预训练模型,使用深度CNN网络迁移学习探索图像失真特征的自主表征。实验结果表明,深度特征能够有效描述不同失真类型、不同失真程度的图像视觉质量变化。(2)针对全局单一失真自然图像质量评价问题,提出基于多路CNNs的自然图像质量评价方法。传统方法在图像颜色信息特征方面的研究有限,本文方法结合深度CNN与迁移学习方法来挖掘与颜色信息相关的图像质量特征表示。首先通过多尺度变换和多颜色空间变换形成一组图像。然后设计并改进了单路通用CNN网络结构,以得到更接近图像质量的特征表示。各个图像分别作为单路CNN网络的输入以形成一个多路CNNs网络模型,对各个单路网络实施迁移训练,并将多个输出特征向量进行协同融合以及特征降维。最后使用支持向量回归模型建立融合特征与主观意见分数的映射关系,以得到图像质量预测模型。在多个人工失真图像库和真实失真图像库上的系统实验证明该方法有效提升了图像质量预测精度和泛化性能。(3)针对局部失真和混合失真自然图像这一研究对象,提出基于CNN的自然图像局部和混合质量失真评价方法。以“图像失真识别-特定失真评价-综合评价”为基本思路,先设计并构建了局部失真、混合失真以及单一失真图像样本库,再使用基于CNN和迁移学习方法分别研究自然图像局部失真分类模型,混合失真分类模型以及单一失真图像质量预测模型,并将特定失真预测质量与分类网络输出概率进行加权平均,从而实现自然图像的综合质量评价。实验结果验证了该方法在局部失真和混合失真图像质量评价上的优势。(4)针对遥感图像外观视觉质量评价问题,提出基于多任务CNN的遥感图像视觉质量评价方法。该方法从遥感图像质量等级分类与质量等级回归两个目标任务分别研究质量评价。先采集多源卫星图像数据用于构建全色图像样本库,并进行主观评价实验获取少量测试样本图像的主观判读质量。再研究一种基于遥感图像的解译度等级自动计算算法,得到大量训练样本图像的主观质量等级,用以标注图像类别。然后设计一个多任务CNN网络模型用于遥感图像质量等级分类与回归,并使用平均法对预测类别与回归实值进行汇集,从而实现无参考的遥感图像视觉质量评价。实验结果表明该方法对测试样本图像的预测质量与主观判读结果具有较好的一致性。