基于时空域结合的视频去雨方法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:wr123456789dtdx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雨是常见的恶劣天气现象,会严重降低采集到的视频图像质量,影响户外视觉系统对自然场景内容的有效提取。近年来对高质量视频的迫切需求,使视频去雨任务引起广泛的关注,并且成为当下研究的热点之一。目前针对视频去雨任务的方法大致能分为两类:基于传统物理模型驱动的算法和基于神经网络的算法。视频中所包含的信息繁多,传统模型的方法需要建立复杂的先验约束刻画该任务模型,所含参数量过于庞大。深度学习的方法虽然一定程度上解决了传统模型方法的缺陷,但是没有充分利用有效的时空域信息,依旧会造成不必要的信息损失。基于上述所提到的问题,本文引入空间和时间域参数,建立了一个基于时空先验的综合视频去雨模型。通过半二次优化迭代求解此模型,可以实质性地提供一个有序深度展开框架,将传统模型先验和深度学习的优势结合起来,利用可学习网络结构建立三个基础模块具体求解该模型,以达到准确去雨和保留背景细节信息的目的。目前大量的主观和客观评估表明所提出的方法在去雨和背景细节恢复方面明显优于其他最新的视频去雨方法,也充分证明了该框架的可靠性和有效性。为了更精准刻画雨的分布和恢复背景细节,本文又设计了一个基于雨分解和空间域引导的视频去雨方法来解决该任务。首先将雨分离成位置和强度两个层面,从这两个层面去刻画雨线特征,并且定义了一种可学习的网络结构来刻画雨的分布,利用位置引导图辅助描述强度特征的单帧去雨模块,以达到精准去雨的目的。然后搭建了带有边缘(空间)引导图的时空域融合模块,以在时间域上保留空间信息,恢复背景细节信息并提高帧的质量。通过大量相关实验表明,该方法在视频去雨任务方面比其他去雨方法表现更优越,验证了所提出网络的有效性。同时该方法也可以应用到视频去噪任务中,同样得到不错的恢复效果,进一步验证了该方法的泛化能力。
其他文献
当前是一个信息爆炸的时代,人们都在创作或者接受各种各样的文本资讯。让机器学会生成文本在一定程度可以避免人们机械重复的信息生产过程,在提高效率的同时还可以为人类创作提供灵感或者辅助。文本的内容通常会围绕特定的主题进行展开,如果文本内容松散,缺乏明确的主题,文本可读性就会下降。当前的许多文本生成研究也较少对于主题信息进行建模研究,因此,本文主要探究融合主题信息的文本生成技术。首先,本文对主题模型的主题
幽默是人类交流中一种独特的表达方式,它能够创造轻松愉快的氛围,促进人与人之间的沟通。幽默饱含智慧与创造力,研究幽默的产生机理,使用计算机对幽默建模,识别和生成幽默有助于计算机模拟人类的认知,对人工智能的发展至关重要。近年来已有许多基于文本的幽默识别研究,但是随着社交媒体的发展,幽默识别的对象不再局限于文本,音频、视频等多模态信息中也包含着丰富的幽默。多模态幽默识别成为该领域新兴的研究课题,它需要挖
高维、复杂的生物数据中潜藏着大量与生命健康密切相关的信息,生物数据往往具有样本量小、维数高的特点,因此如何对其进行有效降维并提取重要信息,对疾病诊断、药物研发、个性化医疗等具有重要意义。由于生物体自身的复杂性导致分子间存在错综复杂的交互作用,对此,本文分别从特征选择与特征提取两个角度出发,利用分子间的关联关系从复杂的生物数据中提取出具有重要意义的信息,具体研究内容如下:1.提出了基于协同作用网络的
背包问题是组合优化问题中的经典问题之一,该问题经常出现在资源分配中,决策者必须在规定的时间或者预算下,在一组不可分割的物品或者任务中进行选择。背包问题已经被研究了一个多世纪,最早的文献作品可以追溯到1896年。在经典的0-1背包问题中,给定一个容量固定的背包和若干物品,每个物品都有收益属性和重量属性,目标是选出若干物品放入到背包中(每个物品最多只能选择一次),满足背包中所有物品的重量之和不超过背包
随着互联网技术和交通信息化的快速发展,交通数据的规模越来越大,在智能交通系统中,完整有效的交通数据对交通管理来说意义重大。但是实际中采集交通数据时,由于一些不可避免的事件的发生(如设备损坏、恶劣天气等),会导致数据采集中断,造成部分数据的缺失,这降低了数据集的有效性,制约了智能交通建设的发展。对缺失的交通数据进行有效的补全,在理论和实际层面具有重要的研究意义然而交通数据的补全具有非常大的挑战性。一
在科技不断发展的现代化社会,人机交互技术受到人们的广泛关注,而手势识别作为新型人机交互技术更受到研究者们的青睐,本文研究的是手势识别技术中的一种:手写识别。手写识别为人们提供了一种更为方便的交流方式,但是对于视力模糊的老人和手部神经综合性疾病的患者来说,在智能手机或智能手表等小屏幕上无论是打字还是手写都是困难的,所以本文将目光转向非接触式空中手写识别的研究。现有的基于WiFi手写识别系统存在着一些
重复数据删除技术广泛用于云计算等应用程序中,以优化云服务器的存储空间。重复数据删除技术指的是,当云服务提供商收到来自不同用户上传的相同文件的不同副本时,云服务器提供商仅存储相同文件的一个副本。用户为了保护数据的隐私通常选择将数据加密后再上传至云服务提供商。然而,用户使用传统的加密算法加密数据可能导致相同的数据被加密成不同的密文数据,从而阻碍了云服务器执行重复数据删除。安全的密文数据的跨用户重复数据
近年来,随着网络和传感器技术的快速发展,在金融、医疗和气象学等众多领域都产生了大量的数据。由于测量误差、网络传输延迟以及数据隐私性等问题的存在,在测量和收集数据的过程中一些数据无法得到准确的值,只能得到概率性的结果,这就形成了不确定数据。云计算技术为数据的存储和处理提供了便利,但其所导致的数据安全和隐私泄露问题不容忽视。考虑到数据的隐私和安全性问题,用户通常在外包数据前对其进行加密,但这使得云服务
《粤港澳大湾区发展规划纲要》明确指出:以深圳、东莞为核心,在珠江东岸打造具有全球影响力和竞争力的电子信息等世界级先进制造业产业群。研究粤港澳大湾区电子信息产业集群发展状况及未来发展策略有助于上述目标的实现。本文采用理论与实证相结合的方法,通过查阅文献、问卷调查等方式,探究粤港澳大湾区电子信息产业的发展现状以及优劣势。
跨模态图片生成网络可以根据文本描述直接生成相应的图片,极大地扩展了计算机视觉的应用范围,可用于跨模态检索、艺术创作、犯罪图像生成和数据集生成等领域。随着5G技术在人机交互、医疗保健、智慧城市等领域的兴起,各项人工智能技术在移动终端部署的需求也不断增长,但现有的跨模态图片生成模型架构复杂、参数量多,难以被部署在计算资源有限的移动端以发挥其应用价值。因此,本文基于Canonical Polyadic