面向一维时序信号的二值化网络系统设计

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:fujinfa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一维时序信号处理技术凭借其对时间属性的强依赖及有用信息量的庞大承载量在生活及工业界中的应用愈加广泛。例如,音频事件检测及光网络故障预测这两类一维时序信号处理技术分别在多重场景分析、通信信息传播中具有重要的应用价值。深度学习算法在音频事件检测和光网络故障预测中都体现了优于传统算法的性能,因而得到广泛关注。深度学习算法对大量抽象数据的强拟合建模能力得益于深度学习网络模型中庞大的参数量及其复杂的计算迭代过程,然而这一过程通常需要消耗大量的计算资源及存储资源来完成模型的训练过程。目前基于深度学习算法的一维时序信号处理通常是在价格昂贵且功耗较大的GPU上完成的,这对其硬件化的落地实现提出了挑战。二值化网络将原始浮点型网络模型中的权重和激活值量化为两种固定值,可以提升模型的训练效率,并对传统深度学习网络模型进行压缩,从而降低模型对计算资源及存储资源的要求。因此,二值化网络模型具有计算简单且占用内存低的特点,有助于推进基于深度学习算法的一维时序信号处理在嵌入式系统的研发部署。本论文对一维时序信号处理的二值化网络模型展开研究设计,并以音频事件检测和光网络故障预测为例对所提出的方案进行验证分析。主要研究工作和创新点如下:提出并实现了面向一维时序信号处理的浮点型网络的二值化设计方案,采用基于浮点型数据的深度神经网络DNN模型及卷积神经网络CNN模型,分别对该两类模型进行二值化并搭建二值化深度神经网络(BDNN)及二值化卷积神经网络(BCNN)模型,在性能损失不大的前提下对音频事件检测和光网络故障预测两类场景进行二值化设计及分析。以音频事件检测为例,实验结果表明,在基于DCASE2018鸟叫声检测任务上,本论文中设计的BCNN模型可保留82.9%的CNN网络模型性能,BDNN模型体现了优于DNN模型0.6%的检测性能,同时二值化网络模型在新数据集上体现了更强的泛化性能,在训练过程中具有更快的收敛速度。以光网络故障预测为例,实验结果表明,通过运营商的现网数据进行比对,BDNN对光传送网系统故障预测的准确率可达97.79%,与浮点型DNN模型性能相当,且BDNN具有更快的模型收敛速度和更强的泛化性能。最后,以光网络故障预测为例,对所提出的一维时序信号深度学习处理算法的二值化方案进行了硬件计算资源占用量的对比分析。实验首先在FPGA上测试了不同比特数在乘加运算器、比较器的资源占用情况,并以网络模型中的单层神经元为例对比了二值化前后的理论资源占用量。实验结果表明,在单层前向传播计算过程中BDNN仅占用DNN所需资源的1.43%即可实现与DNN性能相当的性能效果,且BDNN中的通过两种值可在硬件中将原始网络的乘加运算简化为异或运算。
其他文献
随着深度传感器的普及推广,围绕三维点云的研究受到了学界和工业界极大的关注。在一些热点研究例如自动驾驶、虚拟现实、同步定位与建图中,点云扮演了不可或缺的角色,很多基
随着列控系统的不断发展,以“车载设备为核心”的新型列控系统,将传统地面进路控制和移动授权计算等功能集成到车载设备上,并采用全IP和车-车通信等技术,成为研究热点。新型列控系统作为典型的安全苛求系统,在运营过程中一旦出现故障,将给人类生命、财产和环境造成重大甚至是灾难性的损失。因此,针对新型列控系统的安全性验证分析具有重要意义。然而,在新型列控系统中,一方面,车载设备承担了更多的地面设备功能,系统内
Bernoulli多项式不仅自身有很多重要性质,而且还是研究其他问题的有力工具Dedekind和也有很多重要性质,而且它在模函数理论的研究中起着十分重要的作用,因此它也成为了数论专
MIL-代数是一种比较基础的代数系统,研究MIL-代数对多值逻辑具有重要意义.本文以MIL-代数为研究对象,以软集和模糊集为主要研究工具,研究了MIL-代数上的几类滤子的问题,分别
设(?)是域K上的代数元,p(x)∈K[x]是(?)在K上的极小多项式,A=K((?))[a1,…,an]是单代数扩域K((?))上具有n个生成元的可解多项式代数.本文证明,若A的子代数K[a1,…,an]是K上可
本文主要研究指数丢番图方程px±qv=2z的非负整数解的问题,共由三部分组成。第一部分简单地介绍了有关指数丢番图方程的背景知识。第二部分主要做了以下工作:1用初等方法给出
特色小镇作为新型城镇化建设的重要形式,在全国范围内如火如荼地发展起来。特色小镇是以村镇为建制基础,以特色产业为核心的小镇。它一方面可以充分发挥自身优势实现农村就地
本文以Bernstein算子在r-重积分Wiener空间下同时逼近平均误差的强渐近阶结论为基础,利用数值分析的方法,系统讨论了在加权Lp范数下Kantorovitch算子序列在r-重积分Wiener空
近年来有关分数阶微积分的研究引起了人们的广泛关注。目前用得最多的分数阶微积分是基于Gamma函数定义的Riemann-Liouville导数和Riemann-Liouville积分,其次有Caputo导数、
二氧化碳(CO2)是导致温室效应的主要气体之一,同时也是储量丰富的C1资源,通过化学固定CO2制备高附加值化工产品是最具吸引力的碳捕集与利用的策略之一。其中,将CO2化学固定为环碳酸酯是一条最具工业应用前景的转化利用途径。目前,以环氧化物和CO2反应合成环碳酸酯是最常用的制备体系。然而,环氧化物作为原料不仅成本高、毒性大、不易储存,且反应体系对设备要求高,严重制约环碳酸酯的产业规模。烯烃毒性小、价