基于FPGA的卷积神经网络加速方法研究与实现

来源 :中国科学院大学(中国科学院国家空间科学中心) | 被引量 : 0次 | 上传用户:TT_sky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在空天领域,遥感图像处理一直在推进智能化发展,卷积神经网络(Convolutional Neural Networks,CNN)等人工智能算法正在逐步取代传统算法。为适应未来更加复杂的任务场景,卷积神经网络算法发展迅速,星上系统需要实现卷积神经网络的快速部署,并且已经部署的卷积神经网络需要根据目标需求实现快速的优化迭代。目前星上系统广泛使用的硬件平台是现场可编程门阵列(Field Programmable Gate Array,FPGA),在面向卷积神经网络等复杂算法时,传统的使用硬件描述语言开发FPGA的方式开发难度大,研发周期长,或者使用高抽象层次设计工具开发,虽然研发周期缩短,但性能不佳。因此,本文的研究重点是在保证卷积神经网络的快速部署和迭代的基础上提升网络的性能。本文的主要工作包括以下几个方面:(1)对网络的压缩优化和基于FPGA的卷积神经网络加速的现状进行了分析总结,为后续网络优化和加速器的硬件设计确立了研究方向和内容,对卷积神经网络和FPGA的相关理论进行介绍,并根据项目需求,对Res Net18卷积神经网络做了详细介绍,为后续的设计作铺垫。通过对比不同开发工具的优劣确定了本文的开发工具,以实现卷积神经网络快速部署迭代的目标。(2)以ResNet18为研究对象,研究了卷积神经网络优化策略。首先分析了Res Net18的网络结构,采用两种方式对网络进行优化,通过卷积层与批归一化(Batch Normalization,BN)层的融合减少网络模型复杂度,然后通过模型量化将网络的输入数据和权值由原来的浮点数量化为有符号的8bit定点数。在UCMerced_Land Use数据集上对优化前后的网络进行测试,结果表明网络对图像的分类准确度基本没有下降,而网络规模下降为原来的四分之一。(3)基于卷积计算过程,提出了一种卷积并行加速架构。为了减少FPGA片上缓存的消耗,设计输入数据和权重的数据分片方式;为了增加数据复用,利用循环交换增加输入数据在通道上的复用,并设计线性缓存增加输入数据在二维平面上的复用;在卷积并行上,设计输入输出通道以及卷积核的并行计算,利用乘法阵列和加法树实现硬件设计,同时提出数据并行度探索算法优化硬件资源利用。结果表明,通过使用多种卷积优化策略,本文设计的卷积神经网络加速系统最高工作频率可达225MHz,处理多个卷积层的平均性能为45.13GOPS,而功耗仅为4.268W,能效比为10.57 GOPS/W,对比其他文献的方案,本文的设计在DSP效率和能耗比上有一定的提升。(4)基于高层次综合(High Level Synthesis,HLS)对CNN加速器进行实现和验证。基于前文的硬件设计,使用HLS实现加速单元的代码设计,并综合为寄存器传输级(Register Transfer Level,RTL)实现,然后封装为IP核,通过行为仿真验证IP核的功能正确性。使用Vivado将IP核与ZYNQ集成并布局布线,对生成的硬件加速系统的时序、功耗、资源利用以及性能进行分析对比,便于寻找加速器性能瓶颈。本文加速器从设计到实现花费了两个月左右时间,相比传统的开发方式,本文大大缩短了开发周期,对于卷积神经网络在FPGA上的快速部署和迭代具有较好的借鉴意义。
其他文献
随着移动通信技术的发展,5G的部署和实施正在逐步进行,5G相关的安全性问题成为研究人员和广大用户的关注焦点。但是由于5G仿真网络并未实现,目前通信系统的安全性研究仍旧以LTE网络的仿真测试为主,针对5G网络进行安全性分析的研究较少。而作为系统安全基础的认证和密钥协商协议,其安全性是5G安全的核心问题,并且存在工具可以对其进行安全性分析。本文借助TAMARIN证明程序对EAP-AKA’协议进行建模分
采用理想磁流体力学方程组(MHD)作为太阳大气动力学过程的控制方程组,定性数值模拟日冕物质抛射(CME)现象。首先,根据不同形式MHD方程组的特点,发展与之相适应的数值算法。首次推广了无振荡、无自由参数格式(NND),把它应用于守恒形式的MHD方程组。主要做了两个方面的工作,第一,为了降低由磁场散度数值上不为零造成的Lorentz力误差,把磁场分解成两部分,一部分为势场,不随时间变化,另一部分为非
重力波和臭氧是中高层大气中研究的两大热门课题,本文分别从理论模式和仪器研制两方面对它们进行了研究。在第一部分的工作中,利用全隐欧拉格式和全球热层-电离层-中间层-电动力学环流耦合模式(TIME-GCM),对重力波的非线性传播及其在传播过程中对中高层大气中氧族和氢族成分和与之密切相关的OH气辉辐射的影响进行了数值模拟,结果表明,从对流层向上传播的重力波经历了产生、发展、饱和、对流产生直至破碎的非线性
空间天气研究涵盖太阳日冕、行星际、磁层、电离层、中高层大气等物理性质不同的空间区域,空间灾害性事件的日冕-行星际过程是空间天气研究的主要内容之一,而基于磁流体力学(MHD)方程组的数值模型是研究该内容的有力工具,可以为近地空间天气变化研究提供科学输入。本文首先发展了日冕-行星际CESE模式(SIP-CESE Model),然后应用该模式模拟研究了1997年5月12日CME事件和1998年11月4-
近年来,卫星通信的应用场景不断拓宽,通常会根据通信环境或者通信需求的不同采用不同的信号调制样式,同时卫星信号需要远距离传输,传输过程中会受到各种各样信道效应的随机影响,这些都增加了卫星信号调制样式识别的难度。为了能够有效识别卫星信号的调制样式,并且考虑到星载计算机计算能力与存储空间的限制,本文研究了一种可嵌入的基于深度学习的卫星信号调制样式识别算法,研究过程如下:(1)本文首先通过资料调研对信号调
随着无线通信技术的飞速发展,物联网应用逐渐成为人们生产生活中不可缺失的一部分,保障无线网络的安全也变得愈发重要。无线网络由于具有开放性的特点,网络通信容易受到窃听、欺骗等恶意攻击,导致信息的泄露与破坏。传统基于加密协议的身份认证方法无法有效的应对窃听、身份伪造等恶意攻击。并且在结构简单、算力有限的物联网场景中很难采用复杂的算法验证身份。射频指纹因其稳定性与唯一性,可以有效的对设备身份进行识别,在物
借鉴国外的先进模式,吸取其成功经验,我们建立了一个热层大气动力学模式(Thermospheric Dynamic Model,简称TDM模式),研究太阳活动和地磁扰动对高层大气密度、温度和风场的影响。目前模式能够成功的模拟80-500km高度热层大气对太阳活动和地磁扰动事件响应的基本特征,得出不同太阳活动和地磁扰动条件下的稳定平衡风场;可计算出指定高度上的密度、温度等值线图和风矢量图、指定经纬度上
太阳质子事件是一种由太阳活动引发的有害空间天气现象,会将大量的高能粒子传播到近地空间,造成航天器故障,并且会对宇航员的健康造成严重伤害。因此,太阳质子事件的短期预报,对于航天活动的灾害预防有着非常重要的意义。近几十年来,国内外研究人员针对未来24小时内太阳质子事件发生情况的预报,提出了大量的方法。这些方法中普遍存在着虚报率较高的问题。本文在国内外研究进展的基础上,提出了一种基于集成学习方法的预报模
本文对太阳风中的慢激波观测、磁云边界层的磁层响应以及磁云边界层中朗缪尔波活动现象三个方面作了初步观测研究,主要研究结果如下:1.历史上太阳风中慢激波的观测非常少,利用WIND飞船的高分辨率磁场和粒子观测数据,我们严格证认了一例典型的慢激波事件,该慢激波正好位于某磁云边界层的前边界.该事件也是文献上首次和磁云相关的慢激波事件的报道.在证认慢激波事件过程中,我们提出一种新的基于Rankine–Hugo
随着逐步突破和掌握载人飞船、航天员太空出舱、飞行器空间交会对接等核心技术,我国载人航天工程已经进入到了“三步走”战略的空间站阶段。未来,我国将在空间站开展一系列科学实验,其中,空间材料科学实验是毋庸置疑的重要研究方向。高温材料实验柜作为空间材料科学的综合实验平台,未来将承担至少数百个样品的科学实验。为保证将来空间科学实验的成功,每一个空间实验都需要反复地进行地基匹配实验。那么,面对如此高频次开展的