Hadoop作业调度本地性的研究与优化

来源 :北京交通大学 | 被引量 : 9次 | 上传用户:q263742139
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类从当前“以设备为中心”的时代,已经进入了“以服务为中心的时代”。现在,“云”正成为IT业界关注的焦点。Hadoop是Apache开源组织的一个分布式计算开源框架,它受到最先由Google Lab开发的Map/Reduce和Google File System(GFS)的启发,是一个能够对大量数据进行分布式处理的软件框架,以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop由分布式文件系统和分布式计算框架MapReduce两部分组成,其中MapReduce则构建在分布式文件系统之上,对存储在分布式文件系统中的数据进行分布式计算。而作业调度算法对整个Hadoop执行作业的性能起着很重要的作用。为了减少任务执行过程中网络传输开销,通常将任务调度到输入数据所在的计算节点,也就是让任务在本地进行计算。Hadoop三种原生调度算法在任务选择策略上相同,这个任务选择策略优先选择本地性的任务。Hadoop有时还对非本地性任务进行调度,比如当其它节点都很忙碌而有空闲节点申请任务调度而的时候。而且对失败任务的调度Hadoop通常不考虑任务的数据本地性,针对Hadoop调度算法在数据本地性方面存在的这些问题,为了改善这些状况,本文基于数据块间资源预取的方法,给出了改进思想,该改进思想在非本地任务执行之前,其它任务执行过程中对非本地性任务数据进行数据块间的预取,这样就严格保证了Hadoop调度任务的本地性。本文通过搭建小型的Hadoop平台,依次对Hadoop原生调度算法和给出的改进思想进行实验比较,结果表明,改进后的算法能够有效地提高数据本地性,也一定程度上减少了作业的响应时间,该思想具有可行性。
其他文献
未知环境下移动机器人缺少先验知识,移动机器人自主学习以提高对环境的适应能力,是实现移动机器人在未知、复杂环境中成功应用的关键。反应式导航是提高移动机器人在未知环境
随着经济的快速发展,车辆在不断增多,人们的工作和出门旅行更加便利,地域也更加广阔。与此同时,交通网络变得越来越复杂,人们的出行更加容易造成迷失、堵塞。基于PC机的导航
现今,互联网已成为社会基础设施的重要组成部分。网络安全不仅威胁到互联网的发展,而且关系到国家安全。DDoS攻击是目前公认的世界难题,是互联网面临的最严重威胁之一。现有
在通信业急速发展的今天,增量市场潜力越来越小,通信运营商发展目标越来越集中于存量市场。伴随着通信行业竞争的日益激烈,提高移动用户稳定性和忠诚度已经成为决定盈利能力的关
随着计算机技术的不断发展,其满足人们需求的能力不断增强,其深入领域也在不断增大。软件复用一直以来被认为是提高软件生产力和解决软件危机的有效途径。通过几十年的发展,
随着社会的进步,嵌入式系统正在悄悄的融入到人们的日常生活中:从多功能手机到MP4娱乐手持设备,从智能家电控制到汽车智能电子控制,生活中的嵌入式系统无处不在。随着嵌入式
视频中运动目标跟踪是计算机视觉领域中最富有挑战性的课题之一,在军事制导、视觉导航、安全监控、智能交通、视频编码、医疗诊断和气象分析等众多领域中有着广阔的研究和应
中文分词是中文信息处理中的一个基础部分,中文信息处理要从三个层面上对中文进行处理:字、词、句。在汉语中,词是最小的语言单位,只有处理好词层面的问题,才能更好地处理句
随着汽车保有量的增长,道路交通事故已成为世界性的问题,汽车被动安全性也成为汽车最首要的性能。汽车被动安全性研究一般有三种方法,即理论计算法、交通事故分析法和试验法,
随着科学技术的不断创新,计算机病毒技术也越来越多样化。为了对抗变幻莫测的计算机病毒,反病毒技术也随之发展起来。目前已经存在多种先进的反病毒技术,如虚拟机技术、启发