基于Hadoop平台的动态自适应作业调度算法研究

来源 :东北大学 | 被引量 : 3次 | 上传用户:sanrenET
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一种基于互联网技术产生、发展的新式计算模式一一云计算正在不断改变人们的传统网络计算的理解。云计算这一技术很好地解决了对海量数据处理的需求,其可以认为是未来新一代信息技术变革的核心,是IT产业的第三次大变革。本文选取具有诸多优势的开源Hadoop云计算平台作为研究对象。目前对于Hadoop平台的一个研究热点就是作业调度和资源分配问题,这两个问题关系到]Hadoop平台的整体性能和资源利用率的提升。本文在研究Hadoop平台原有的作业调度算法和深入理解蚁群算法原理的基础上,为提高平台整体的执行效率和资源利用率,对算法在资源调度、参数配置和任务分配方面进行改进。提出一种基于Hadoop平台的动态自适应作业调度算法。通过算法执行过程中实时监控各个资源节点计算能力的变化,并通过反馈机制将这些信息传递给控制节点,后者通过改进相关参数对算法做出动态调整,实现每个任务分配最优执行资源节点的目的。最后,搭建Hadoop实验平台,对本文提出的基于Hadoop平台的动态自适应作业调度算法的运行效率进行实验分析。验证了本文提出的调度算法在异构环境下可以有效提高作业执行效率,有效缩短了总体运行时间,提高平台的整体性能。
其他文献
本文在分析了现有公共卫生与医疗信息系统实现的问题与缺陷后,以公共卫生与医疗信息化的特点为基础,着重研究了以下两点内容:提出了利用Struts和Hibernate技术构建系统应用的
工作流是一个业务流程,用于表达活动及活动之间变化过程。工作流管理与工作流的控制和协调有关,它的主要特点是使处理过程自动化。它根据一系列定义的规则、把文档、信息或任
近年随着多媒体数据成指数级的增长,对于多媒体的分析和分类就变得越来越迫切。当人们在浏览和理解视/音频内容时,作为多媒体数据中标志性部分的音频,为人们的感知提供了重要
信息技术的发展对全世界来说都产生了极大的影响,是当前高技术发展中的主流技术,因为信息在人类生活中无处不在,无时无刻的不影响着人类的生活,对信息的获得和挖掘成为科学界关注
无线传感器网络作为一种新型的具有广泛应用前景的无线自组网络,其有效路由协议是目前研究的热点。随着研究和应用不断深入,对传感器网络提出更高的要求:为不同的业务提供有
虚拟现实技术是由计算机生成的人机交互的三维空间环境构成,它不仅能构建高度逼真的复杂虚拟环境,而且用户还可以和虚拟环境进行互动,增强系统的交互性和沉浸感。随着虚拟现实技
聚类在模式识别、系统建模、图像处理及数据挖掘等工程领域扮演着重要的角色。其基本算法广泛应用于生命科学、医学、社会科学、地理科学、工程科学等领域。聚类就是将数据对
专利文本由于包含有产品的组成结构、设计目标、组件功能原理等相关内容,一直是创新方法和产品革新最首要的信息源泉。专利是相关领域下的具有革新理念的解决方案,专利包含有
无线传感器网络是由大量低成本、低功耗、具备感知、数据处理、存储和无线通信能力的微型传感器节点通过自组织方式形成的网络。无线传感器网络技术将是21世纪最有发展前景的
在数据挖掘的分类应用中,决策树算法是最为广泛的一种分类算法,具有算法简单高效、分类精准度高的特点,但是在建立分类模型的过程中将所有的误判分类平等对待,导致不同成本值