联合图像超分辨率是指在高分辨率图像的指导下提高图像分辨率的方法,现已随着人们对图像精度需求的提高,成为深度学习、计算机视觉等相关领域研究的热点课题之一。通常来说深度图超分辨率(SR)算法大致可以分为三类:基于局部的SR算法、基于全局的SR算法和基于卷积神经网络(或深度学习)的SR算法。基于全局的SR算法的滤波权重仅依赖于引导图像的局部结构。因此,由于缺乏一致性检测,可能会将错误的结构转移到目标图像中。而基于全局的SR算法依赖于手工设计的目标函数,这些函数不能反映繁杂的自然图像。使用算法学习的特征表示代替设计的特征,成为一种新的趋势。深度神经网络就是一个典型的例子,近年来在单幅图像SR中取得了很大的成功。本文即在深度学习的基础上研究联合图像SR算法的效果。基于更大的局部感受野有助于图像修复等应用,图像SR类似于图像修复,更大的局部感受野能够改善图像SR效果。然而,更大的局部感受野会增加网络的深度和参数,这可能会导致性能下降和内存消耗。本文提出卷积神经金字塔结构(CNRP),该结构充分扩大局部感受野的同时而不显著增加网络模型参数和内存空间。深度学习网络模型结构容易产生梯度消失。为此,本文提出联合残差金字塔(JRP)模型,该模型引入残差模块和线性插值层于卷积神经金字塔(CNP)中,有效解决梯度消失的问题且提高了网络模型性能。实验结果表明,本文的JRP模型不仅在强度/深度图数据对上,同时在强度/显著图和彩色涂鸦/色度图等数据对上,都优于现有的最先进的算法,而且没有显著牺牲计算效率和内存空间。同时,本文的JRP模型也能应用到图像修补应用中,且取得不错的实验效果。