【摘 要】
:
最近的研究方法将深度神经网络(DNNs)解释为一个动力学系统,将神经网络的正向传播稳定性与泛化联系起来。在本文中,我们进一步在不改变DNNs原有结构的情况下,率先加强了其正向传播的稳定性,并从各个方面验证了增强正向传播稳定性对网络表示的影响。更具体地说,我们通过建立一个DNN的吸引子动力学模型来加强稳定性,并提出了relu-max吸引子网络(RMAN),一个易于接入在类ResNet网络上的轻量级模
论文部分内容阅读
最近的研究方法将深度神经网络(DNNs)解释为一个动力学系统,将神经网络的正向传播稳定性与泛化联系起来。在本文中,我们进一步在不改变DNNs原有结构的情况下,率先加强了其正向传播的稳定性,并从各个方面验证了增强正向传播稳定性对网络表示的影响。更具体地说,我们通过建立一个DNN的吸引子动力学模型来加强稳定性,并提出了relu-max吸引子网络(RMAN),一个易于接入在类ResNet网络上的轻量级模块。RMAN只在训练过程中需要接入网络,通过最小化一个能量函数和原始学习任务的损失函数来改变网络正向传播的吸引子动态。通过深入的实验,我们证明了经过改进的吸引子动态的ResNet及其变体拥有更结构化的特征表示空间,更重要的是由于增强了正向传播的稳定性,类ResNet网络在监督任务中的泛化能力得到提升。在前面探究的网络性质的基础上,本文继续研究了深度学习在视频物体检测中的应用。由于帧质量下降,视频对象检测比图像对象检测更具挑战性。为了增强特征表示,目前主流的方法是通过对齐和聚合来自多个附近帧的整个特征图,将时间信息传播到确定的帧中。但是,由于卷积特征图的低存储效率和时序信息无法长久保存的缺点,这些方法不能保证长时记忆的保存。在本文中,我们提出了第一个用于在线视频物体检测的以物体为导向的外部记忆网络。基于以物体信息为导向的硬注意力机制,时序信息的存储效率得到提高,并且当长时记忆存储在可寻址的外部记忆矩阵中时,长时记忆可以得到有效的保护。一组读/写操作旨在在物体信息的导向下准确地传播/保存和删除多级外部记忆。我们在ImageNet VID数据集上评估了我们在本文中提出的方法,并获得了超过同期方法的性能以及良好的速度精度平衡。此外,通过可视化外部记忆,我们详细的展示了依赖于外部记忆网络进行长时记忆传播的物体检测推理过程。本论文的研究内容如下:·我们深入研究了深度神经网络的稳定性以及深度神经网络中的注意力机制,并在大量数据集进行了实验。·我们在特征点积相似性和动态系统的基础上,探究了深度学习网络的性质,提出了增强网络稳定性的吸引子模块和提高网络稳定性和泛化能力的通用模块。·在点积相似性和对网络性质研究的基础上,我们进一步在视频物体的深度网络应用中,针对视频物体检测的挑战,提出了以物体为导向的视频物体。
其他文献
近年来,由于相关材料和工艺技术的发展,压力传感器得到了广泛地研究。因为其能定量测量空间接触力分布以及易于柔性集成,压力传感器在智能机器人、仿生假肢、人机交互等领域应用中尤为重要。特别是压力传感阵列,凭借其能够提供更丰富的数据特征进而实现更精确的功能,有着非常重要的应用前景。压力传感阵列可以根据其工作原理分为若干类别,而电容型的压力传感阵列则是其中最为常见且简单的一种。它可以以非常简单的结构实现较低
随着现代医疗技术的不断进步,医学图像数据量在持续快速增长,这使得计算机辅助的医学图像分析算法引起了学术界以及工业界的广泛关注。其中医学图像分割在病变组织的定位、解剖结构的学习等多种情况下有着巨大的应用需求。如何利用特定医院标注的有限数据训练高性能的分割模型仍然是医学图像分割中重要的研究任务。在实际使用过程中,医生标定数据的成本十分昂贵且耗时,且大量的无标签数据无法有效加入模型训练。为了应对这种情况
蛋白质结构预测是分子生物学界一个重要的研究课题,其本质工作是通过序列数据库中的氨基酸序列数据来预测其对应的蛋白质结构的三维坐标。蛋白质功能以及蛋白质之间的相互作用都依赖于蛋白质结构的信息,在医学研究,制药领域都有着重大的意义。蛋白质结构优化作为蛋白质结构预测的重要步骤,其目的在于将初始预测的粗糙的蛋白质结构在局部进行优化得到质量更高的预测结构。目前,蛋白质结构优化主要采用单一蛋白质能量函数结合蒙特
云环境下,数据中心规模不断扩中,新技术的引入不断的提升了资源的弹性,满足更多的高性能计算需求,但也使得云数据中心的结构愈加复杂,现有资源的整合和高效使用是最值得关注的。本文资源调度目标就是对用户提交的任务实现能耗的最优调度,在满足用户需求的前提下使得资源利用率尽量高。本文通过研究影响云数据中心系统负载的能耗关键技术以及云数据中心能效评估标准,将云数据中心的能效优化问题构建为一个马尔科夫过程的模型。
全面预算可以改善内部管理,确保公司更好地发挥积极作用。现在,越来越多的企业开始采用综合预算管理,这对于提高企业的管理水平起到了积极的作用。文章介绍了目前我国企业全面预算管理的重要作用,分析了存在的问题,提出了具体的解决办法,为提高我国企业全面预算管理提供了实践依据和参考。
随着科技的发展进步,学术大数据的时代正在到来。当前,关于学术大数据的研究呈现出多样化深层次发展,而作为该领域的重要一环,基于学术大数据的分类预测系统也在日渐成熟。但是目前基于学术大数据的分类预测探索主要还是集中在对于“物”(即学术论文)的研究方面,而关于“人”(即科研工作者)的分析却显得不足。事实上,对于学者的分析也具有十分重要的意义,不仅能探索科研发展的脉络和方向,还能为实现工程化管理提供重要参
近年来移动机器人应用主要集中在工业、医疗、探索等领域,其工作环境也逐渐由初始的室内结构化场景扩展到室外复杂环境中。环境规模的增加、传感器观测数据量的变化与任务的多样化给移动机器人的定位导航带来了更大的挑战与更高的要求,同时,在不同场景下的定位需求和对机器人自主性的要求也需要更符合环境特征与机器人约束的主动定位策略。针对室外复杂环境中移动机器人的定位需求,本文提出了一种基于曲面定位能力的主动定位策略
近年来,日益增长的高带宽开销服务和市场需求驱动着高速光接入网的发展。因成本需求,受限于低成本的光器件性能,传输信道的带宽限制无法避免,导致了严重的符号间干扰。此外,信道噪声混合着来自光电器件线性和非线性的失真更进一步影响着信号质量。因此,需要有先进的数字信号处理技术来有效补偿信号损伤。面对严重的符号间干扰和非线性效应,经典的算法一定程度上不足以满足均衡需求。如今,机器学习,尤其是神经网络已经被认为
痤疮丙酸杆菌(Propionibacterium acnes,现更名为Cutibacterium acnes)是健康人群皮肤表面微生物群的主要成员之一,同时在寻常痤疮的疾病发生、发展过程中起到重要的作用。目前认为,寻常痤疮的发病主要包括皮脂腺异常分泌过盛、毛囊-皮脂腺单位表皮角化/脱落异常、炎症反应激活等主要环节。研究表明,痤疮丙酸杆菌在上述各环节中均发挥着致病性作用,同时皮肤微生物群状态的改变与