论文部分内容阅读
基于深度学习的超分辨率重建方法,具有自主学习数据特征、实现端到端优化等特点,因此与传统的超分辨率重建方法相比时,能获得更逼真的重建图像,使其在医学影像应用、安全监控、卫星图像等领域有重要的应用价值和理论价值。但现有的深度网络主要注重的是在网络的深度和宽度上进行拓展,虽然能提取到更多的图像信息,但获得的特征尺度单一,层与层之间特征利用率低,训练参数过多,计算量大等问题。针对这些问题,本文研究了基于多尺度融合网络的超分辨率重建方法和基于特征重用模型的超分辨率重建方法。 本文的主要研究工作包括: 1.针对现有基于卷积神经网络方法采用单支路的结构,仅能提取图像单尺度特征的问题,本文提出了基于多尺度融合网络的超分辨率重建方法,提取图像的多尺度信息。该方法采用三条支路,在不同尺度大小的感受野下提取多尺度的纹理细节,获得更具多样性的特征,提高图像的重建精度。实验结果表明,采用该方法获得重建图像的客观评价参数和主观视觉效果都有一定提升。 2. 针对深度网络层与层之间的特征利用率低,每层获得特征信息相关性较少的问题,提出了基于特征重用模型的超分辨率重建方法,来增强网络中层与层之间的关联。该方法搭建了特征提取模块,并将其级联来组建网络,使图像的低维特征得到充分利用,丰富了每一个进入模块的信息流,增加了特征的多样性。模型中运用了多个卷积核大小为1×1卷积层,使提高重建精度的同时也减少了参数计算。实验结果表明,本章提出的方法不仅能够提高重建速度,而且还进一步提高了图像重建质量。 3. 在上面两点提出的超分辨重建方法基础上,为了进一步优化多尺度融合方法中多支路的结构,以及特征重用模型方法中的模型结构,本文引入了残差连接方式。分别在多尺度融合方法中加入局部和全局残差连接,在特征重用方法中加入全局连接。这种连接方式减少了训练参数,增强了网络的特征拟合能力,最终达到优化网络的目的。同时,可以使低分辨率图像与高分辨率图像共享相同的图像结构信息,能防止随着网络层数的增加,低分辨率信息丢失的问题。实验结果表明,该方法能使网络重建效果进一步提升。 综上所述,本文从获得多尺度特征、提高低维特征的利用率和减少计算参数这三个方面来提高网络的重建精度。实验结果证明,本文提出的方法在网络重建图像的客观评价参数和主观视觉效果都得到提升。