论文部分内容阅读
信号识别是信息科学领域中的一个重要子领域,现代电子信息系统的发展,比如说通信、雷达等,都离不开信号处理技术的发展。各种各样的通信电子设备随着科学的不断进步以及通信技术的飞速发展被大量的使用。深度学习是人工智能领域热潮中最火爆的一个分支,在很多应用场景上都取得了比传统方法更好的效果。因此利用深度学习进行信号识别也有了可行性,近些年来,越来越多的深度卷积神经网络被应用在信号识别领域中。尽管深度学习有很多传统方法无法比拟的优点,但是大而深的深度网络模型内存和运算量都很大,而对于嵌入式设备以及一些小型的移动设备来说无法应用。所以,在信号识别卷积神经网络性能损失合理的前提下,模型轻量化是一个很重要的研究方向。本文针对应用于信号识别的卷积神经网络模型轻量化展开研究,主要工作如下:(1)对应用于信号识别的卷积神经网络结构进行分析,将卷积神经网络中卷积层的标准卷积改为深度可分离卷积。该方法把普通卷积分解成两部分,第一部分为深度卷积,第二部分为点卷积,通过两部分的组合,从而达到对网络的轻量化作用。通过这种方法,可以有效的减小模型的大小,加快模型的前向推理速度。(2)针对信号识别卷积神经网络卷积层中卷积核冗余导致模型太大并且前向推理时间过多的问题,本文提出一种基于区间的卷积核剪枝方法。该方法通过提取训练好的模型的卷积层的权重参数,将卷积核的权重区间分为几个等分区间,设置每个区间的剪枝系数,对每个区间的卷积核进行剪枝,然后对模型重新训练。与传统的剪枝方法相比,该方法在损失同样精度的情况下,能够达到更大的轻量化比例。(3)针对信号识别卷积神经网络中全连接层参数过于冗余的情况,采用奇异值分解的方法对全连接层进行轻量化。奇异值分解轻量化方法主要通过将一个大的矩阵分解成几个小矩阵相乘的形式,从而减少网络的参数量,在模型性能损失比较小的情况下达到对模型的轻量化目的。(4)针对不同类型的信号识别卷积神经网络,合理采用上述的方法进行组合,在不同的数据集上进行详细的实验对比,在模型性能损失可以接受的情况下达到比单独的轻量化算法更好的效果。