面向边缘计算的卷积神经网络压缩方法研究

来源 :广东工业大学 | 被引量 : 3次 | 上传用户:catchersun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网(Internet of Things,IoT)逐步地对传统行业进行智能化升级,深度学习技术不断被应用到可穿戴设备、智能家居、无人数字工厂、无人物流运输和智慧医疗等方面。然而,如今性能强大的大型卷积神经网络(Convolution Neural Network,CNN)模型仍然难以在FPGA(Field Programmable Gate Array)和嵌入式等硬件资源非常有限的边缘设备上部署使用。所以,亟需对CNN模型进行有效地压缩,从而使网络模型满足边缘设备部署应用的要求。目前,在CNN模型压缩算法方面已有许多的工作,学者们使用不同的方式来降低网络的冗余。然而,现有的这类方法在解决边缘计算的需求时仍然面临许多挑战。在当前的CNN模型压缩方法中,都存在着局限于小型的数据集和网络模型、仅考虑某一方面的要求和只针对GPU处理器实现加速推理等问题,难以满足实际任务的大型CNN模型在边缘部署应用的要求。因此,针对现有上述边缘设备的限制和CNN模型压缩的问题,提出面向边缘设备的压缩方法。为了满足既CNN模型在实际任务中精确率的要求,也要满足模型的部署需求,因此针对CNN模型存在的中多方面的冗余,使用本文提出的搜索框架,探索各个维度冗余之间的平衡点,在确保满足任务精确率的同时,更大幅度地压缩CNN模型的大小。本文的主要工作包括:1)根据如今大型CNN模型的结构和以及边缘设备的特性,提出了面向边缘部署的CNN模型压缩方法,同时针对权重连接和数据位宽两个维度进行压缩,以保持网络精确率的前提下,对CNN模型进行有效的压缩。2)针对大型CNN模型部署应用所需的存储以及计算硬件资源偏高的问题,基于网络模型权重连接的冗余度分析,建立权重冗余度的搜索框架,在保证网络精确率的前提下,对网络冗余权重进行最大限度的裁剪。3)针对浮点型运算复杂和FPGA和嵌入式等边缘设备的运算性能有限的矛盾,采用动态定点型对网络模型进行量化,并且对网络模型数据位宽冗余度进行分析,构建数位的位宽冗余度搜索框架,在保证网络精确率的前提下,对网络各部分数据以较少位宽的定点型进行表示。4)针对上述CNN模型压缩方法,对不同结构的大型CNN模型进行实验。实验证明,面向边缘应用的CNN压缩方法能在保持网络精确率同时,有效地将网络模型压缩至边缘设备的要求。
其他文献
随着我国社会日新月异的飞速发展,国民生活水平有了大幅度的提升与改善。同时,伴随而来的是我国人口老龄化的出现。据联合国预测,到2020年我国65岁以上老龄人口将达1.67亿人,约占全世界老龄人口6.98亿人的24%,全世界四个老年人中就有一个是中国老年人。目前,在我国老龄化日趋严重的情况下,老年人健康及养老需求也是日益突出并得到社会各界广泛的关注。因此,为应对人口老龄化发展速度和日趋严峻的挑战,国家
近年来,基于语料库的研究方法在国内开始盛行。这种利用科学的数据来验证实验假设,说明问题的研究方法通常要比直观,推测的方法更可信。在中国,随着语料库语言学的流行,学习者语料
<正>今年是中华人民共和国成立70周年。70年来中国人民在中国共产党的领导下创造了经济发展的奇迹,从一穷二白的半殖民地半封建社会经济走向了欣欣向荣的社会主义现代化经济
驱动管理对象减少二氧化碳排放是碳排放权交易机制的一项重要功能。基于碳排放权交易机制的减排机理和倍差法原理构建碳排放权交易机制减排有效性评价方法,通过碳排放权配额
<正>节假日经常与父母共度、亲自给父母做饭、每周给父母打个电话……由全国妇联老龄工作协调办、全国老龄办、全国心系心系列活动组委会共同发布新版"24孝"行动标准。(8月14
<正>澳门电力股份有限公司(澳电)1972年成立,是拥有在澳门特别行政区的输送、分配及出售高、中和低压电力的公共供电服务专营机构。澳电发电设施澳电发电设施主要由两座发电
住房问题是一个人人关注的社会问题,也是我国党和政府保障和改善民生要做的重要工作。石家庄市保障房工作实现了保障对象应保尽保,但是建设资金压力大、保障资格退出难、小区
建议在北京丰台设立“太空创新研究院”,希望四川什邡机场建设列入全国重大军民融合项目……这段时间,全国各地两会陆续召开,军民融合成为会场内外热议的高频词之一,军民融合好声
报纸
【正】 著名女作家谢冰莹的名字,在今天青年一代的记忆里,已是个陌生的名字。但当我们翻开三十年代到四十年代的文艺创作时,他那一本又一本的著作,不断地映现到我们的眼帘。
小气候是生物生长的环境,能量平衡是物质循环的驱动力。目前该方面的模型很多,考虑的过程也很复杂。但是用实验方法对各种过程的详细的检验则落后于模型的发展。而本文的工作