【摘 要】
:
随着深度学习理论和实践的不断兴起,多种深度学习框架不断涌现,在深度学习模型训练前,需要在大数据框架下进行数据预处理。如何既充分使用现有的GPU等系统资源,又管理好这些不同
论文部分内容阅读
随着深度学习理论和实践的不断兴起,多种深度学习框架不断涌现,在深度学习模型训练前,需要在大数据框架下进行数据预处理。如何既充分使用现有的GPU等系统资源,又管理好这些不同的深度学习框架,并使其与大数据框架相结合具有强烈的现实需求。基于此,本文设计并实现了基于YARN的深度学习框架调度系统。 本文首先从YARN已有的CPU和内存这两种资源类型出发,结合GPU的使用特性,在YARN的资源类型表示部分增加了GPU,使得系统可以以块级为单位使用GPU。为了使系统可以更好地使用GPU资源,本文对GPU采用深度优先搜索算法进行管理和使用。在YARN可以管理GPU资源的基础上,为了使YARN可以同时对多维系统资源,主要是CPU、内存和GPU同时进行调度,本文扩展了YARN既有的算法DRF,即主资源公平调度。 接着,为了使利用深度学习框架写成的应用程序能够运行在YARN之上,本文充分利用了YARN的通用接口,对于主流的深度学习框架TensorFlow和Caffe均设计了相应的客户端,并修改了相应的ApplicationMaster。这使得采用TensorFlow和Caffe框架写成的应用程序可以运行在YARN框架之上,具有对应用程序的启动、监控、异常处理、自动分发和回收等功能,最终形成了一个可对多维资源进行管理和调度,可供多用户同时对多种深度学习框架进行使用的系统。 最后,本文从多个角度,设计了多组实验对研发的系统进行有效性测试和相关性能测试,并详细分析了产生的实验结果。这些实验结果均表明本文实现的系统是非常有效的,同时实验结果也体现了本系统在不同深度学习框架下的有效程度。
其他文献
解除铜的出口限制,执行暂定税率。随着有色金属工业的发展,我国已结束了过去铜供不应求的局面。禁止铜出口,是在我国铜供应短缺时期制定的政策。最近国家有关部门正在研究解除
在房地产改革背景 下,企业之间的竞争开始从单纯的商品价格竞争或品质竞争演变为品牌形象之间的竞争.当下,不少房地产开发商已经意识到了品牌营销的重要性,但对品牌营销的认
售电公司是此轮电力体制改革的新生事物,用以打通发、用电环节,实现市场化交易.从近两年的电力直接交易数据分析,在全国已开展电力直接交易的省份,有90%以上的电力用户是通过
建立健全保持共产党员先进性的长效机制,必须做到:充分体现全心全意为人民服务的宗旨,坚持从群众中来、到群众中去,始终保持党同人民群众的血肉联系充分体现解放思想、实事
同城配送,是物流配送的重要组成部分,当下同城配送市场日渐扩大,机遇和挑战并存,众包同城配送的完善能在未来有效缓解物流成本问题,减轻物流配送压力.但如何解决存在的安全问
本文从调味品行业入手,阐述了行业独有的经营特点,进而从目前调味品行业所处的政策环境,市场地位,分析了现如今我国调味品行业的发展现状、未来发展前景以及调味品行业所面临
随着企业竞争加剧,企业销售定价策略对于企业市场突破有着至关重要的作用,本文从定价策略的内涵,定价策略的制定、评估方法,企业销售人员激励措施等角度,对以定制化产品为交
伴随着我国城市化进程的不断推进,城市公共艺术成为美化城市及城市形象塑造的一个重要手段。近年来以陶作为重要材料和手段的城市
With the continuous progress of urbaniz
经济发展直接推动了工程行业的进步,在计价模式方面也出现了相应的转变,当前,工程量清单计价模式应用的比较普遍,能够实现良好的管理效果.基于此,本文详细分析了工程量清单计
建筑企业想要提升经济效益,不能缺少对工程造价全过程的管理,这也是企业各工作环节中较为重要的内容.在进行工程造价全过程管理时,需要在决策、设计和施工等多方面与造价控制