论文部分内容阅读
由于设备的限制,采集到的图像或者视频资源的分辨率可能不能达到人们的要求,而直接使用更高分辨率的设备会大大地增加成本。如果利用软件方法低分辨率视频增强成高分辨率视频,则可以节省这部分成本。超分辨率技术属于图像增强技术,这一技术突破了硬件的限制,可以低配置的硬件上实现分辨率的提高。超分辨率方法一般可以分为基于插值、重建和学习。基于插值和重建的方法虽然效率高,但是细节恢复不是很理想。基于学习的方法因为统计了大量的先验知识,建立从低分辨率到高分辨率的映射关系。特别地,深度学习的迅猛发展,许多研究者把深度学习的技术应用到超分辨率的算法中,得到的视频质量得到很大的提升。本文基于深度学习的超分辨率技术进行研究,并提出新的模型。主要工作如下:超分辨率需要充分利用图像包含的信息来提升图像的分辨率,但是现在许多基于深度学习的超分辨率算法都没有将这些非局部相似性考虑进去。为了解决这一问题,本文提出了基于全局感知网络的超分辨率重建方法。利用非局部相似性计算两个像素点的相似权重,作为图像超分辨率重建的约束条件,充分挖掘丰富的冗余信息,将这些信息进行重建高分辨率图像。实验表明,提出的方法不仅PSNR和SSIM上有提升,而且在计算效率上也有很大的提升。针对视频序列的超分辨率研究,传统算法都会把问题分成两个步骤:运动补偿、超分辨率重建。运动补偿精度不高会影响到超分辨率重建的结果。为了解决这一问题,本文采用全局感知网络。与图像超分辨率算法不同的是,视频超分辨率算法采用视频帧序列作为模型的输入。结合多帧图像的融合,充分利用冗余信息,保证重构视频帧良好的边缘效果。在本文中,提出了一种有效的基于卷积神经网络的超分辨率算法的FPGA部署方案,用于在低端FPGA上实现超分辨率处理。从计算优化和内存优化两个方面对FPGA进行分析,最大程度上提升FPGA的性能。对于计算优化,采用并行化和循环展开等多种手段进行优化,最大程度上提高FPGA内部逻辑门电路的利用率。对于内存优化,采用低精度的参数进行训练,从而降低对内存的需求,同时一定程度上保证PSNR质量。