基于卷积神经网络的多光谱图像融合与单图像超分辨的研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:aszxc1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于人们对多媒体的需求不断增长,人们对图像的视觉质量也提出了越来越高的要求。迄今为止,图像处理技术作为视觉监控应用的预处理已经受到了研究者的广泛关注。作为传播信息的媒体之一,图像包含丰富的信息,因此在人类生活的许多方面都发挥着非常重要的作用。随着成像系统的发展,人们获得的图像质量远远超过了过去。但是,图像的视觉质量仍需要改善以满足人们的期望。由于不同图像是在各种不同的条件下拍摄的,例如拍摄时的天气,环境和设备都有所不同,因此它们具有各种缺陷和问题。例如,在弱光条件下拍摄的可见彩色(RGB)图像包含大量噪点,丢失了大量纹理。为了克服这个问题,可以将近红外(NIR)图像与低亮度RGB图像融合以消除噪声并恢复纹理,从而获得高质量的融合结果。图像分辨率的提高也是近年来研究者关注的一个问题。单图像超分辨率(SISR)是从低分辨率(LR)图像中恢复具有更好视觉效果的高分辨率(HR)图像。然而,SISR是一个病态逆问题,即可以从许多不同的高分辨率图像中获得低分辨率图像。幸运的是,深度学习在许多计算机视觉和图像处理任务中均取得了显着的性能提升。在本文中,我们研究了基于深度学习的多光谱图像融合和SISR,并提出了基于卷积神经网络(CNNs)的网络架构。本论文的主要研究范围如下:1.我们提出了基于合作CNN的RGB和NIR图像的多光谱融合。在弱光条件下拍摄的RGB图像具有很多噪声并损失了很多细节信息。而近红外下在同一场景中拍摄的图像则包含清晰的纹理,没有噪声但是也没有颜色。它们是互补的,我们建议通过协作的CNN融合RGB和NIR图像。为了生成弱光条件下的训练数据,我们将在白天捕获的干净的RGB图像用作目标图像,并通过添加噪声合成弱光RGB图像。我们建立了一个协作网络来融合RGB和NIR图像,可生成无噪声的清晰RGB图像。为了融合两者而不造成颜色失真,我们选择在YCbCr颜色空间进行工作。通过该网络,我们获得了高质量的融合图像,该图像消除了噪声并保持了良好的纹理和原始颜色。2.我们提出使用边缘引导的基于小波的单图像超分辨卷积神经网络。SISR是一项具有挑战性的任务,深度学习能够借助大数据来提高其性能。与以前的SISR网络不同,我们采用边缘图作为低分辨率图像的先验信息来指导超分辨率过程,并向网络中添加了小波变换。我们同时还原SR图像及其边缘图,并使用边缘图指导SR重建过程。实际上,LR和HR图像的低频分量非常相似。它们之间的主要区别是高频分量,而SISR的关键是高频分量的恢复。因此,我们将小波变换引入CNN以成功恢复高频分量。拟议的SISR网络由三部分组成:Wavelet-SRNet,Wavelet-EdgeNet和Fusion-SRNet。实验结果表明,该方法对混叠伪像具有鲁棒性,可以成功地恢复SR结果中的高频分量。
其他文献
近年来,计算机视觉领域不断发展,人体行为识别技术也随之渐渐变为该领域各专家研究的热门方向,该技术在很多领域都具有广泛的应用价值,这些领域小到人机交互、视频检索,大到智能安防和安全驾驶。近几年,深度学习技术得到了良好的发展,采用深度学习的识别方法逐渐替代传统方法,人体行为识别技术取得了突破性的进展。深度学习主要存在两方面的问题:一是网络参数量大、计算复杂度高;二是网络容易造成过拟合。针对这些问题,本
随着互联网技术的不断发展,不同用途的Web应用不断出现,Web应用呈现出涉及领域广、复杂度高等特点,令Web应用测试相较于传统软件测试工作的难度进一步提升。使用现有的Selenium测试工具进行自动化测试,门槛高、成本大。为了降低测试成本,提升测试效率,研究Web应用测试自动化测试方法?分必要。报告生成服务针对Web应用测试的特点,基于对测试执行的监控,实现Web应用自动化测试流程,包括测试结果的
边裂是镁合金轧制板材较显著的缺陷,因其垂直深度直接决定了后续精整工艺的切边量及最终板材的成品率,成为评价轧制板材成形性的重要指标。本文以铸轧态AZ31镁合金为研究对象,通过将等温恒速热压缩物理模拟、轧制试验、有限元分析以及残余应力测试相结合,从镁合金变形损伤行为角度出发,开展了不同轧制条件下边裂行为的预判研究,并提出了基于张应力轧制的边裂调控方法。基于热压缩物理模拟实验结果,分析了铸轧态AZ31镁
钒氧化物由于其独特的金属-绝缘相变(MIT)特性备受人们关注,目前在光电探测、场效应晶体管、热/光开关等领域得到广泛的应用。然而由于钒氧化物在生长过程中存在多达十三种相互竞争的钒氧化物相以及大多钒氧化物热力学不稳定等问题,使得高质量的、物相单一的钒氧化物,尤其是混合价态的钒氧化物(如V6O13)的合成面临巨大的挑战,成为制约钒氧化物特性及应用研究的一大问题。解决上述问题的关键在于掌握钒氧化物生长过
随着的我国现代化进程的推进,工业化和城市化也必然随之推进,城市周边的许多农业用地将被转化为非农业用地,农民也将失去其赖以生存的土地资源。由于政府在城镇化进程中对自
室内定位技术是指基于室内场景下的位置定位相关技术。在室内场景下,由于无法使用卫星定位等技术,因而借助部分其他传感器信号完成人员以及物体在该场景下的位置检测。随着基于位置的服务日渐火热,室内定位技术逐渐成为定位领域的研究热点。目前,室内定位领域通常使用无线通信技术、射频识别技术以及惯性传感器定位等技术实现定位目标的精准监控,同时,越来越多的研究者开始研究综合使用多种定位方式的融合定位算法。除此之外,
随着医疗行业信息化水平的不断提高,医学影像数据量日益膨胀,行业内普遍现状是对于这些具有多种模态的医学图像数据一直缺乏有效的管理和检索方式,多种模态的数据检索成为了亟需解决的问题。另外,如何快速检索到对医生有用的信息,解决检索过程中存在的效率问题也是需要考虑的,比如病灶的定位,而这在大多数时候还是依靠医生机械地在检索到的序列中进行寻找,计算机辅助分析的程度还不够。针对上述问题,我们构建了跨模态的医学
党的十九届四中全会强调坚持和完善生态文明制度体系,促进人与自然和谐共生,并阐明了生态文明制度体系在中国特色社会主义制度和国家治理体系的重要地位。绿色消费的法律制度和政策导向是生态文明制度体系的主要组成部分,因此,理解消费者绿色消费行为对完善和发展相关生态文明制度体系非常重要。本文以通勤者绿色交通消费行为为研究对象。为了明确在不同时间和伴随出行约束下消费者的绿色交通消费行为决策机制,本文以消费者行为
静态代码检测工具主动执行代码检查以及分析,有助于提前发现并预防错误,能够在很大程度上提高软件可靠性并降低软件开发和测试成本。但是由此带来的问题是静态分析往往产生大量伪缺陷报告,人工审查误报是必要的。人工审查会耗费大量的时间和精力,因此优化静态检测工具产生的报告很有必要。本文在大量分析缺陷检测结果的基础上,提出了一种基于机器学习的代码缺陷自动确认方法。本文首先分析真实缺陷和误报之间的差异,将缺陷代码
人类社会进入20世纪以来,随着计算机、网络和通信技术的联合,标志了人类社会进入了崭新的信息时代。得益于信息时代的发展,网络技术也飞速发展,以太网(Ethernet)是目前最普遍使用的局域网技术,近年来,以太网技术也发展迅速。作为以太网网络上的重要部分,以太网PHY(物理层)芯片始终支持着以太网的高速发展。作为以太网PHY芯片中的关键模块,时钟产生电路很大程度决定了以太网的性能。本文在旨在研究IEE