基于特征学习的图像超分辨重构与融合方法

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:beanmilk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分辨率是图像细节分辨能力的衡量指标,表示图像中目标景物的细微程度与图像信息的详细程度。高分辨率图像的边缘、纹理等细节特征不仅给人以赏心悦目的感受,而且有利于机器自动识别目标以及对图像对象分类。然而,由于受成像设备的物理限制,以及在成像过程中受场景变化与光照条件等不利因素影响,所获取的图像分辨率低,目标结构难以辨识,不能满足实际的应用要求。因此,提高图像分辨率已经成为图像处理中亟需解决的问题。  论文围绕单幅图像超分辨重构、高光谱图像超分辨重构和多光谱图像Pansharpening问题,研究了基于特征学习的提高图像分辨率的方法,取得的主要研究成果和创新点包括:  首先,针对自然图像超分辨重构问题,提出了一种基于聚类稀疏表示和自适应聚合的单幅图像超分辨方法。首先,为了降低求解稀疏系数的运算复杂度以及提高重构质量,采用聚类方法离线地学习紧凑的类别子字典,并利用低分辨率图像块在其最相似类别子字典下的稀疏表示系数在线地重构高分辨率图像块;然后,将图像自身局部平滑性和全局的自相似性先验引入到图像块的聚合模型中,进而精确重构出高分辨率图像的边缘和纹理等细节结构信息。实验结果表明,所提方法的重构结果无论在视觉效果还是客观评价指标上都有明显的提高。  其次,针对高光谱图像超分辨重构问题,为了提高高光谱图像空间分辨率,同时对地物光谱信息进行保真,提出了一种基于字典学习与空谱联合正则化的高光谱图像超分辨方法。在字典学习阶段,将稀疏性和不相关性约束条件引入到字典学习模型中,使学习得到的字典不仅具有良好的稀疏表示能力,还能达到加速稀疏分解的目的;在重构阶段,将图像空间结构的稀疏性先验和光谱自相似性先验引入到高光谱图像超分辨模型中,得到最终的空谱联合正则化的高光谱图像超分辨重构模型,并给出了模型的求解算法。实验结果表明,本章方法不仅能很好地增强高光谱图像的空间分辨率,还能很好地对地物光谱信息进行保真。  然后,针对多光谱遥感图像和全色图像的融合问题,提出了一种新的基于深度神经网络的Pan-sharpening方法。首先,利用深度神经网络对训练样本集中的高分辨率和低分辨率全色图像块对之间的关系进行建模,并利用稀疏去噪自编码的学习算法,以逐层无监督训练的方式对深度神经网络进行预训练;然后,利用后向传播算法对预训练的深度神经网络的权重参数进行微调;最后,假设重构阶段的高分辨率和低分辨率多光谱图像块对之间的关系与训练阶段的高分辨率和低分辨全色图像块对之间的关系相同,将低分辨率多光谱图像块作为经过训练的神经网络的输入数据,进行前向传播得到相应的高分辨率多光谱图像块,从而重构出高空间分辨率的多光谱图像。模拟实验和真实实验结果表明,本章基于深度神经网络Pan-sharpening方法在空间细节和光谱保真方面都优于其它主流方法。  最后,为了深入挖掘图像几何结构的方向性信息和多光谱图像波段之间的相关性信息,提出了一种基于多方向子带深度神经网络的Pan-sharpening方法。首先,为了克服直接对图像块进行深度学习会导致融合图像的边缘和纹理细节部分模糊或丢失的缺点,采用非抽取的Contourlet(Nonsubsampled Contourlet Transform,NSCT)变换将全色图像分解成包含多个具有不同分辨率和不同方向的高频子带图像,并利用多个深度神经网络来提取高频子带图像的特征信息。然后,考虑多光谱图像波段之间的相关性,利用自适应PCA提取多光谱图像的主成分信息,并利用经过训练的深度神经网络对主成分图像的NSCT变换的高频子带进行处理,再经过NSCT逆变换和PCA逆变换得到高分辨率的多光谱图像。实验结果表明,相对于其他融合方法,本章方法可以更好地保持图像边缘等结构信息,在图像融合的客观评价指标和运算速度上都有明显的提高。
其他文献
柔性关节机器人采用轻型柔性关节,具有重量小、功耗低、负载/自重比高、安全性高等优点,比传统刚性工业机器人更适合与人和环境进行交互,因而在太空探索、医疗、家庭自动化、合
该文以炼油生产过程为应用背景,在对MSPC若干重要问题进行研究的基础上,将MSPC方法应用于炼油生产过程的实时监控和油品质量软测量中.
该文将基于BP算法的模糊控制应用于集装箱起重机的小车运行控制中,是改善机电控 制对象控制模式的一次有益尝试.仿真研究表明:系统响应快、超调量小、对参数和负载变化具有较
在实际的控制系统中,由于组成元器件的物理性能的限制及实际意义,执行器通常会出现死区现象,甚至执行器的参数随着生产过程中工作条件和环境的变化而发生变化,使得存在的死区
该文对作者亲自参与设计、调试的VTD(Video Traffic Detect)2000系统做了全面描述.该系统主要应用于城市交通监控中心,对引入监控中心的交通监控有线电视信号进行实时处理,得
该文不采用立体视觉,而是通过对单台摄像机散焦图像的分析和计算来进行目标物体的深度估计,并进一步对运动目标的深度估计和跟踪进行研究.首先该文介绍了一些计算机视觉中常
图像分类的核心是如何学习高效、鲁棒、判别力强的表示特征。性能优良的表示特征可使得后续分类任务变得极为简单。但因图像内容极为复杂,易受遮挡、光照、尺度、形变等因素影
本文旨在设计一种基于木材干燥等复杂控制对象的控制器,以此为核心对JBGZ—1.8小型木材干燥窑建立神经网络模型,单神经元自适应PID控制算法设计与模型测试,硬、软件设计及系统实
胶囊内窥镜作为一种新型的消化道疾病检测手段,具有无痛、无创、无交叉感染、使用方便等优点,已广泛应用于临床。然而,现有的胶囊内窥镜产品仍存在一些缺陷,阻碍了该技术的临床价
该论文分两部分研究了奇异H控制问题.首行,探讨了正常系统奇异H控制问题的处理方法,总结了仍存在设计问题.其次,对描述系统、描述系统扩展H控制方法进行了深入研究,得到 证明