基于美感的图像空时视觉注意力研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:asdf8865
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的兴起和大量图像的涌现,如何提炼图像中的价值备受关注,而视觉注意机制的研究可以帮助研究人员解决这一问题。图像视觉注意力的研究对应静态和动态注意力两个层面分别建立有空域显著图预测模型和时域扫描路径预测模型,但现有空时注意力算法还未有关注人类对图像发生注意时的人类情感,而美学情感是一种与视觉注意力息息相关的情感。因此,本文提出了基于美感的空时视觉注意力预测算法,分别对显著图预测和扫描路径预测问题提出如下两个方案:1.基于美感的多任务图像显著图预测算法。本文首次为视觉注意力预测引入美感上下文信息,为此,设计了一种基于多任务卷积神经网络的编码器-解码器模型。输入的彩色图像首先经过共享骨干网络编码器,然后按照数据来源输入到对应的美感解码器或显著图解码器中进行损失的计算和反向传播更新模型参数。本文使用了三种不同的流行骨干网络作为美感任务和显著图任务参数共享的编码器,实验结果表明,该基于美感的多任务模型能够生成准确的显著图,优于现有的显著图预测模型,证实了美学情感对视觉注意力预测的积极作用,并且优于绝大多数现有算法模型。2.基于由粗到细网络的扫描路径预测算法。基于美感的多任务图像显著图预测算法提供了有效的静态注意力预测的解决方案,因此在此基础上本文提取了基于美感的视觉注意力特征,进一步研究了动态扫描路径问题,设计了一种由粗到细的时域网络模型来解决动态注意力预测问题。由粗到细网络是由卷积神经网络和长短期记忆(Long Short-Term Memory,LSTM)网络组成。为达到精确预测扫描路径,本文在返回抑制机制的启发下提出一种IRA(Inhibition of Return Attention)机制,将基于IRA机制生成的IRA序列按时间步输入到精细网络的LSTM中,并使用新提出的扫描路径损失训练整个模型。实验结果证明了IRA机制和扫描路径损失的有效性,该算法优于多数现有扫描路径预测算法。
其他文献
面部表情是人类智力的一个非常重要的方面。其中,通过面部表情表达人类情感是最有说服力的证明。近年来,深度学习成为一种趋势,特别是卷积神经网络,由于在人机交互领域的大量应用,在近十年来得到了广泛的研究。在相同条件下或至少相似条件下,研究人员已经能够从在实验室中拍摄的图像中获得良好的结果。然而,在任意的面部图片与各种头部姿势和不同照明条件下,这些模型并不是很好。野生表情是指在真实环境中捕获的,自然的表情
在线教育的蓬勃发展为人们提供了一种新的学习方式,各大在线学习平台的崛起为人们提供了方便的学习途径。在传统模式下,园林植物的教学存在需要改进的地方,同时由于专业和学科的特殊性,园林植物的在线学习本身具有独特性。通过对相关文献的研究,得出目前园林植物学习存在种类繁多、记忆不清、图文描述比较抽象、空间感尺度感不足的问题。本研究探讨通过搭建园林植物学习平台解决这些存在的问题。利用问卷调查的形式,分析了植物
计算机断层成像技术(Computed Tomography,CT)可以在未经手术的情况下获取病人体内密度信息,是临床图像诊断的重要手段之一。病人体内如果有金属植入物,则会在CT图像中产生金属伪影,此金属伪影会严重干扰临床诊断结果,并影响放射治疗计划中剂量计算的准确性。目前来说,去除金属伪影的传统方法主要集中在对投影数据的处理上,而不能应用于重建后的CT图像,不便于医院、普通研究者等无法获取投影数据
金属3D打印技术(也称增材制造),相对于传统的减材制造技术,其制作过程更简单,能够生产出结构更为复杂的工件,越来越受到各个领域的重视。然而,3D打印技术还处于高速发展时期,技术尚未完全成熟,因此打印工件内部存在不同类型的缺陷。孔隙缺陷很大程度上会影响工件性能和工件使用寿命。检测出工件中孔隙缺陷的位置、形态、数目,可以为缺陷形成的技术机理研究提供分析基础。CT技术能够在不破坏工件的情况下,重建出工件
近年来,与日俱增的移动相机如无人机搭载相机、可穿戴相机等,能够以灵活的视角对场景中目标进行观测。无人机搭载相机的垂直俯视视角能够以广阔的观察视野对目标进行观测,可穿戴相机的平视视角能够以沉浸式的视角对目标进行观测,二者互补能够对场景中目标进行灵活有效的全方位观测。跨大视角的多相机协同技术,使得基于俯视和平视视角结合的视频监控技术在目标跟踪、行人再识别、行人动作检测和行为分析等领域有着重要的研究意义
《大秦驭手》是一款马车驾驭虚拟体验系统,旨在为博物馆和个人用户提供秦代马车的趣味驾驭体验,展现了秦代的历史背景和风貌。为了提升用户体验效果和沉浸感,展现更好的游戏场景,对图形效果提出了更高的要求。本文通过为《大秦驭手》虚拟体验系统设计游戏特效开展了系统的实践研究,设计并开发完成多种特效系统:云雾特效系统、材质特效系统、镜头特效系统以及物理特效系统。并使各个系统有机结合。在塑造了鲜明的游戏视效风格的
作为智能交通系统的重要组成部分,车载自组织网(Vehicular Ad hoc Networks,VANETs)的发展一直受到国内外各界的关注。然而由于无线访问介质的开放性和车载自组织网自身的特性,其非常容易受到外界的各种攻击,这严重影响了车载自组织网的广泛部署与应用。为了确保道路交通的安全并保护用户的隐私,在车载自组织网中提供有效的匿名身份认证成为当今研究的热点。当前的认证方案大部分采用传统的假
在互联网技术迅猛发展的背景下,用户画像技术被广泛应用于各个领域,其核心是通过对用户各类行为进行分析,从而将用户特征抽象为标签形式。本文以真实校园网络行为日志为基础,对校园网络用户画像进行了深入研究。针对校园网络行为日志对学生行为类别表述模糊的特点,本文提出了融合压缩DOM树结构向量的行为类别标签预测模型,通过融合网页文本特征向量和DOM树结构向量并使用分类器进行分类,实现了对学生浏览网页的类别预测
近年来,随着计算机技术的发展,隐蔽通信已经成为一个比较活跃的话题。在本研究中,我们通过利用数字音频水印技术来实现隐蔽通信。数字水印是一种有效的军事领域秘密通信的技术,可以解决传统加密中存在的问题。它是将具有特定含义的信息嵌入到原始信号中而不影响其正常使用的过程。在传输时只需要传输嵌入水印的信号即可。由于信号在传输过程中,可能会遭遇不同程度的有意或者无意的攻击,因此在嵌入水印时,水印算法需要满足一定
目标跟踪是计算机视觉的重要研究课题之一,广泛应用于智能视频监控、自动驾驶、智能交通、航空航天、虚拟现实等领域。近些年,目标跟踪领域飞速发展,其中基于相关滤波的目标跟踪方法引人注目。目前,基于相关滤波的目标跟踪方法经过几年的研究与发展,已经进入瓶颈期,仅仅凭借相关滤波似乎已经无法取得更好的效果。本文以相关滤波目标判别模块为基础,结合基于卡尔曼滤波的位置修正模块和基于交并比网络的边界框优化模块,提出了