论文部分内容阅读
随着计算机硬件以及相关数据集的高速发展,深度学习在计算机视觉,自然语言处理和语音识别等领域取得了重大的突破。特别是在计算机视觉领域,卷积神经网络(Convolutional Neural Networks,CNN)在图像识别,目标检测以及图像分割等任务中有着很好的性能,甚至超过了人眼。生成对抗网络(Generative Adversarial Networks,GAN)作为近年的研究热门之一,可以用于图像生成,图像风格化以及超分辨率等多项计算机视觉领域的任务,也可以提高图像识别,目标检测,图像分割的准确率。本文基于生成对抗网络,对图像生成,图像去模糊和图像超分辨率进行详细的分析及改进,主要的工作内容以及成果如下:1.通过分析生成对抗网络和变分自编码器的原理,提出联合边界均衡生成对抗网络(Joint Boundary Equilibrium Generative Adversarial Networks,JBEGAN)。该网络基于边界均衡生成对抗网络和变分自编码器,提出一种基于隐变量空间和图像空间的正则化项,使得生成网络能够获取到变分自编码器提取到的真实图像数据分布编码;并提出一种新的训练策略,将变分自编码器生成的图像也视为虚假图像,增加判别网络辨别真假图像的难度,从而更好地在训练前期进行图像生成,实现了在少量数据集上获得较好的图像生成效果。2.通过分析图像去模糊方法以及pix2pix模型的不足,在此模型基础上进行改进,替换原有的对抗损失以及标准化方法,提出一种基于PSNR的正则化项以及一种新的评价图像质量方法。在多个数据集上的实验表明,本文提出的模型在图像细节部分的重建明显优于原模型,PSNR指标平均提高0.7左右,SSIM指标平均提高0.2左右。3.通过分析图像超分辨率方法,提出一种基于金字塔结构和通道注意力机制的自适应剩余残差密集网络。该网络在ESRGAN模型提出的RRDB模块基础上进行改进,将密集模块中的残差连接改为带有通道注意力的残差连接,高效地通过有用的特征信息,抑制无用信息。金字塔结构用来提取不同层级的特征信息,丰富特征的多样性,并提出一种自适应的特征融合方法融合这些不同层级的特征,以更好地进行超分辨率图像重建。