论文部分内容阅读
高分辨率图像包含了丰富的图像细节信息,因而在图像压缩、公共安防以及遥感成像等多个领域发挥重要的作用。但是由于环境以及硬件等原因,实际获得的图像分辨率一般都较低。为了解决这个问题,超分辨率重建技术被提了出来,其旨在利用算法去提升观察到的低分辨图像的分辨率,以补充缺失的细节信息。
近年来,超分辨率重建技术取得了重大的突破,尤其是基于深度学习的超分辨率重建技术。与传统的方法相比,深度学习的方法摒弃手工提取特征的弊端,利用网络逐层提取图像细节信息,因而在恢复图像高频细节的能力上更为突出。通过对基于深度学习的重建方法进行深入的分析,本文提出基于修改卷积神经网络模型的超分辨率重建方法,并通过实验验证其有效性。全文的主要研究内容如下:
1.分析讨论了超分辨率重建技术的研究背景及意义,并对现有重建算法的类别进行了详细的分析。本文重点关注了基于深度学习的超分辨率重建方法,首先系统地描述了卷积神经网络的基本知识,然后介绍了常见的深度学习的重建方法,并分析其优缺点。
2.针对现有的基于卷积神经网络的重建模型大都采用单路前馈结构,不利于使用网络的分层特征,容易丢失已经获得的特征信息的问题,提出了多路前馈的网络结构。从局部上看,多路连接的方式构建了网络的基本单元—阶段特征融合单元,从全局上看,网络的主体是由融合单元通过多路径的连接方式构建而成。在重建过程中使用双网络模型:多路前馈网络用来提取图像的高频特征,并且提升提取特征的丰富程度;像素编码网络提取浅层特征中包含的高频信息。两个子网络共同重建出高、低分辨率图像之间的残差图像,最后结合残差学习完成重建。最后,在基准数据集上的测试结果表明该模型的有效性。
3.为了提高网络性能、降低训练难度,提升参与重建的特征的丰富程度,本文提出了融合分层特征的多路径递归网络。该方法首先解决了随深度增加使得多路径结构参数变多而导致网络难以训练的问题,其次使用合理的方法去融合分层特征并用于最终的重建。首先提取图像的浅层特征,一方面作为多路径递归网络的输入用于提取图像的高频特征,另一方面用于构建全局特征残差降低训练难度;接着对多路径递归网络每次提取的特征的内容进行两次筛选,最终利用筛选后的特征完成重建。本文通过使用亚像素卷积实现上采样以达到完全的端到端的重建,并且引入局部残差和全局残差去优化训练过程。针对不同的测试集的实验结果表明,多路径递归网络模型相对于其他方法具有明显的优势。
近年来,超分辨率重建技术取得了重大的突破,尤其是基于深度学习的超分辨率重建技术。与传统的方法相比,深度学习的方法摒弃手工提取特征的弊端,利用网络逐层提取图像细节信息,因而在恢复图像高频细节的能力上更为突出。通过对基于深度学习的重建方法进行深入的分析,本文提出基于修改卷积神经网络模型的超分辨率重建方法,并通过实验验证其有效性。全文的主要研究内容如下:
1.分析讨论了超分辨率重建技术的研究背景及意义,并对现有重建算法的类别进行了详细的分析。本文重点关注了基于深度学习的超分辨率重建方法,首先系统地描述了卷积神经网络的基本知识,然后介绍了常见的深度学习的重建方法,并分析其优缺点。
2.针对现有的基于卷积神经网络的重建模型大都采用单路前馈结构,不利于使用网络的分层特征,容易丢失已经获得的特征信息的问题,提出了多路前馈的网络结构。从局部上看,多路连接的方式构建了网络的基本单元—阶段特征融合单元,从全局上看,网络的主体是由融合单元通过多路径的连接方式构建而成。在重建过程中使用双网络模型:多路前馈网络用来提取图像的高频特征,并且提升提取特征的丰富程度;像素编码网络提取浅层特征中包含的高频信息。两个子网络共同重建出高、低分辨率图像之间的残差图像,最后结合残差学习完成重建。最后,在基准数据集上的测试结果表明该模型的有效性。
3.为了提高网络性能、降低训练难度,提升参与重建的特征的丰富程度,本文提出了融合分层特征的多路径递归网络。该方法首先解决了随深度增加使得多路径结构参数变多而导致网络难以训练的问题,其次使用合理的方法去融合分层特征并用于最终的重建。首先提取图像的浅层特征,一方面作为多路径递归网络的输入用于提取图像的高频特征,另一方面用于构建全局特征残差降低训练难度;接着对多路径递归网络每次提取的特征的内容进行两次筛选,最终利用筛选后的特征完成重建。本文通过使用亚像素卷积实现上采样以达到完全的端到端的重建,并且引入局部残差和全局残差去优化训练过程。针对不同的测试集的实验结果表明,多路径递归网络模型相对于其他方法具有明显的优势。