基于深度学习的视频超分辨率方法应用研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:whlibb2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于设备的限制,采集到的图像或者视频资源的分辨率可能不能达到人们的要求,而直接使用更高分辨率的设备会大大地增加成本。如果利用软件方法低分辨率视频增强成高分辨率视频,则可以节省这部分成本。超分辨率技术属于图像增强技术,这一技术突破了硬件的限制,可以低配置的硬件上实现分辨率的提高。超分辨率方法一般可以分为基于插值、重建和学习。基于插值和重建的方法虽然效率高,但是细节恢复不是很理想。基于学习的方法因为统计了大量的先验知识,建立从低分辨率到高分辨率的映射关系。特别地,深度学习的迅猛发展,许多研究者把深度学习的技术应用到超分辨率的算法中,得到的视频质量得到很大的提升。本文基于深度学习的超分辨率技术进行研究,并提出新的模型。主要工作如下:超分辨率需要充分利用图像包含的信息来提升图像的分辨率,但是现在许多基于深度学习的超分辨率算法都没有将这些非局部相似性考虑进去。为了解决这一问题,本文提出了基于全局感知网络的超分辨率重建方法。利用非局部相似性计算两个像素点的相似权重,作为图像超分辨率重建的约束条件,充分挖掘丰富的冗余信息,将这些信息进行重建高分辨率图像。实验表明,提出的方法不仅PSNR和SSIM上有提升,而且在计算效率上也有很大的提升。针对视频序列的超分辨率研究,传统算法都会把问题分成两个步骤:运动补偿、超分辨率重建。运动补偿精度不高会影响到超分辨率重建的结果。为了解决这一问题,本文采用全局感知网络。与图像超分辨率算法不同的是,视频超分辨率算法采用视频帧序列作为模型的输入。结合多帧图像的融合,充分利用冗余信息,保证重构视频帧良好的边缘效果。在本文中,提出了一种有效的基于卷积神经网络的超分辨率算法的FPGA部署方案,用于在低端FPGA上实现超分辨率处理。从计算优化和内存优化两个方面对FPGA进行分析,最大程度上提升FPGA的性能。对于计算优化,采用并行化和循环展开等多种手段进行优化,最大程度上提高FPGA内部逻辑门电路的利用率。对于内存优化,采用低精度的参数进行训练,从而降低对内存的需求,同时一定程度上保证PSNR质量。
其他文献
随着新媒体时代的到来,公共卫生部门和机构普遍利用大众媒体,使公众及时了解与疾病相关的信息,促进了人们行为方式的改变,从而避免感染,并对疾病的传播进行了有效控制,这表明
利用表面共价偶合反应“自下而上”制备的共价有机纳米结构具有较高的热稳定性及较好的电子传输能力,在分子电子学、分子纳米传感器件等领域具有极大的应用前景。这些有机纳
丝状真菌Podospora anserina(P.anserina)中含有非常多与木质纤维素降解相关的蛋白酶类,在生物能源转化方面具有重要意义,木质纤维素是地球上最为丰富的可再生资源,在生物燃料
金属团簇配合物在发现之初由于具有独特的金属键而受到关注。目前金属团簇配合物研究趋向高核化与功能化。高核金属团簇配合物分子尺寸可以达到纳米级,成为具有确定组成及结
本文在查阅已有织构刀具文献基础上,提出了原位成型方法制备不同尺寸微织构陶瓷刀具,通过干车削45号钢和40Cr研究刀具的车削性能和寿命,与仿真结果进行对比,研究原位成型不同
纳米阵列材料具有整齐的结构和较高的比表面积,在光学吸收和载流子定向迁移方面具有独特的优势。为进一步提高TiO2纳米棒阵列的光电催化性能,氧空位和二维纳米片协同提高光生
化纤行业是我国“十一五”规划期间重点支持的行业,而粘胶短纤维又是化纤行业重点发展的种类之一。粘胶短纤维是化纤行业内在国际上有较优势的品种,同时也是比较稀缺的纺织材
药物递送系统(如胶束、纳米颗粒、聚合物和脂质体)可以解决药物使用过程中存在的水溶性差、半衰期短、生物相容性低、排泄迅速及靶向性差等副作用,因此被广泛研究并应用于临床
随着人类社会的发展,人口数量快速增长,工业发展和技术的进步的同时给淡水资源的需求量带来了巨大的压力。与此同时,人类生产活动所产生的各类污染物对自然水体干扰超过了环
随着社会的不断进步与发展,各个国家的人员流动性也逐渐加快,在此前提下,新型冠状病毒便开始以飞快的速度给人类带来不幸。从2020年1月27日开始,直至现今,防控新型冠状病毒的