卷积神经网络的并行化研究

被引量 : 0次 | 上传用户:coosi_cui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural NetWorks, CNN);算法能够有效地从原始输入中学习到高阶不变性的特征,广泛应用于车牌检测、人脸检测、手势识别、语音识别、图像复原和语义分析等领域。目前,CNN算法主要以串行方式实现。串行实现的CNN算法存在两个主要缺陷:(1)不能发挥算法内在的并行性,导致训练过程需要较长时间;(2)伸缩性不强,使得不能高效地处理数据密集型问题。谷歌提出的并行编程框架MapReduce具有良好的扩展性和容错性,成为当前云计算平台并行处理大规模数据的主流技术。本文使用MapReduce并行化CNN,并采用GPU加速计算过程,以增强算法的并行性和伸缩性,取得的成果如下:1.提出利用MapReduce并行化训练卷积神经网络的方法(CNN-MR),并部署到Hadoop云计算平台。CNN-MR采用数据并行的分解方法,将训练样本划分给平台中的每个计算节点。并使用批量更新的方式,在所有计算节点处理本地训练样本结束之后,节点之间做一次通信,得到可训练参数在整个训练集上的全局梯度改变量并更新网络,多次迭代,至网络收敛到设定阈值或最大迭代次数,算法结束。2.提出利用GPU加速CNN-MR算法的方法(CNN-MR-G),并部署到G-Hadoop计算平台。将CNN每层的特征图、神经元或权值分别映射到GPU的线程块、线程,使得同层神经元可并行地计算输出结果、输出误差或权值的局部梯度改变量。在手体字数据集(MNIST)和自建车牌数据集上的实验表明,CNN-MR算法相对于串行算法具有较好的加速比和伸缩性,CNN-MR-G算法对CNN-MR算法有较好的加速效果。
其他文献
首先介绍财务报表分析与纳税评估的关系、财务报表分析的基本方法,然后介绍趋势分析法在纳税评估中运用的具体思路,最后以白云公司为例进行案例分析,实行理论和实践的有机结
比较了NAK-9,X-5,AB-8,DM130,DA201,Sp850,XAD-7型大孔树脂对洛神花花色苷的吸附纯化效果,结果表明Sp850型大孔树脂对洛神花花色苷具有较好的吸附和解吸能力,在25℃条件下的
随着世界经济产业结构的调整,服务贸易逐渐成为世界贸易领域的支柱,而旅游服务贸易则成为了其中发展最快,势头最猛,波及范围最广的服务贸易,越来越受到世界瞩目。同世界上其
<正>党的十八大对坚持走中国特色社会主义政治发展道路和推进政治体制改革作出了新的部署,提出要健全社会主义协商民主制度,强调要充分发挥人民政协作为协商民主重要渠道作用
<正>对类型电影创作主动选择与委托创作的理解陈舒(青年编剧,代表作《绣春刀》):我做的类型比较杂,之前写过的电影基本上以"命题作文"为主,就是通常意义上的委托创作。《绣春
会议
<正> 历史的本来面目,肯定与我们的观念及典籍中的形态不同,而且它也不是博物馆里的青铜器和兵马俑、山川里的古庙宇和断石碑。历史在当代的存活不单纯依靠仪式、遗物和文字
随着市场对石材的需求量越来越大,石材开采及加工市场也快速发展起来,然而在石材生产过程中产生了大量的废料,以至于石材矿山及加工厂附近堆积大量的废弃料、石粉,对周边的生
<正> 九十年代以来,曹文轩相继推出了《草房子》、《红瓦》、《根鸟》三部少年小说,在评论界获得了“成长三部曲”的美誉,并且出现了儿童和家长共同阅读的现象,可谓创造了中
继续教育是我国实施高校教育大众化与实施“科教兴国”战略的有力武器。由于教育人群的特殊性,高校继续教育无论从教学的形式、内容、规格还是过程方面都有着自己显著的特点
伴随经济全球化和金融国际化的不断加深,各国之间的经济贸易联系日益密切,国际资本流动更加频繁,经济发展的不稳定因素也在逐渐增多,因此,外汇储备对于维护和保障各国经济健