论文部分内容阅读
图像修复工作是一项比较繁琐和精细的工作,其技术在文物保护、影视制作以及刑侦等方面都有着广泛的用途。使用深度学习的相关知识进行图像修复不仅可以保证其修复效果,而且具有比较重要的实际应用价值。本文主要是对基于生成对抗网络的人脸修复方法进行深度研究,并在其基础上提出一种改进的修复方法。由于大部分修复算法使用整张图像进行修复或者在修复之前人为的确定了图像的待修复区域,使得修复工作繁琐,修复效果一般,因此本文引入图像分割算法。此外,基于现有的生成对抗网络的人脸修复算法的缺陷,本文提出将普通卷积变为变形卷积以及加入空间金字塔技术,解决了原有模型的缺陷。实验结果表明,改进的模型和原有模型相比,不仅在修复效果上有着明显提升,而且其修复效率也有所提高。本文主要工作分为三个部分:1.重点研究了图像分割方法的使用。其中图像分割主要是使用Robert和Canny两种基本算子的组合来对图像进行分割,得到图像的待修复区域。使用两种算子的主要原因是单独使用一种基础算子,其分割不仅不稳定,而且分割效果不理想,而使用两种算子的组合可以提高分割稳定性和分割效果。此外,不使用复杂的分割算法,主要是保证其时间消耗。实验结果表明,其分割效果较好,所耗时间较短。2.在原有生成对抗网络基础上改进其生成器部分和判别器部分。首先基于原有网络的只能处理特定的图像和模型获取图像中像素间的空间特征的不稳定性缺陷,在生成器部分提出将变形卷积代替普通卷积并在池化层加入了空间金字塔技术。而在判别器部分,由于分割算法得到的分割效果不一致,使用了两个不同的判别方法。其中一种是局部图像生成,是在图像分割效果较好的基础上进行的生成判别,改进方法是在原有的局部和整体判别器之前,加入了一种轮廓判别,一定程度上加快了其修复效率。另外一种是整体图像生成,是基于分割结果不理想所提出的,方法是只使用一个整体判别器,主要原因是由于分割不理想,在生成部分直接进行整体图像生成,因此局部判别没有意义。此方法主要是对局部生成的补充,使模型更为完整。实验结果表明,该方法不仅有效的提高了修复质量,而且修复效率也有着一定的提升。3.利用MATLAB GUI设计并实现了一款人脸修复系统。本文主要是以改进的修复算法为基础,然后结合现有的系统设计知识,设计了一款满足普通用户需求的人脸修复系统。