【摘 要】
:
自2006年被首次提出以来,云计算已经成为IT行业中的持续性热点,它具有很高的商业价值。由谷歌提出的MapReduce云计算编程模型针对大数据集实现自动的并行和分布式计算,性能高且
论文部分内容阅读
自2006年被首次提出以来,云计算已经成为IT行业中的持续性热点,它具有很高的商业价值。由谷歌提出的MapReduce云计算编程模型针对大数据集实现自动的并行和分布式计算,性能高且可扩展,已应用在Google App Engine云平台以及开源云平台Hadoop中。本文对基于MapReuce的任务调度算法进行研究,在系统的吞吐率、网络利用率以及作业间的公平性等方面改进云计算任务调度算法,并将改进的算法应用于社区自助健康一体机项目中。基于传统的加权轮转调度算法,提出了改进的加权轮转任务调度算法,在基本保证加权轮转算法原有公平性的情况下,采用了一种改进作业的数据本地性的机制。本地任务优先机制调整每个轮转周期内作业的调度顺序,优先调度有本地任务,从而提高了作业的本地性任务比例。数据本地性的提高将减少所有作业的总完成时间,因此,该算法在保证一定作业公平性的基础上提高了系统的吞吐率。通过研究影响作业数据本地性的因素,基于先入先出算法提出了一种改善数据本地性的云计算任务调度算法。考虑到在剩余任务减少过程中本地性调度概率也在逐渐减小,将本地性调度概率低于阙值的作业放入另一队列,优先调度该队列中的本地性任务,提高作业的本地任务执行比例,节省了输入数据的传输时间,从而提高了系统的吞吐率和网络利用率。本文采用基于MapReduce的Hadoop云计算平台,并在社区自助健康一体机应用上述提出的两个任务调度算法进行实验。实验结果表明本文提出的改进的加权轮转任务调度算法和一种改善数据本地性的任务调度算法调度的本地任务均比改进之前的原算法提高了约15%,作业总完成时间也都有一定的提高,改进的加权轮转任务调度算法也实现了良好的作业公平性,因此缓解了健康一体机项目云平台的网络压力,提高了系统吞吐率,并减少了应用服务的响应时间,从而提高了该项目的服务品质。
其他文献
本体是实现语义网的关键组成部分,是对领域知识的一种形式化表达。它用来标注语义网络上的网页、数据等资源,目的在于支持应用系统的语义集成和互操作。近年来,本体的数量快速增
随着工业控制网络朝着生产高度数字化、网络化、机器自组织的方向发展。在生产效率提高的同时,越来越多的安全风险和安全漏洞被暴露出来。尤其在工业控制网络层,作为工业控制
步入21世纪以来,移动无线通信技术以及智能终端技术得到迅速发展,人们对更便捷、更高效、更高容量的无线网络的要求不断提高。无线多跳网络(无线Ad Hoc网络、无线mesh网络、
随着军队及通信台站装备技术、管理理念和管理方法的不断发展,目前所实行的各类法规制度逐渐暴露出一些缺陷,如缺少人员管理指标及量化标准等、缺乏过程监管、缺乏评估手段、缺乏信息化平台,等等。因此,建立一套以信息网络为支撑,结构一体、数据共享的综合管理体系非常必要。本文旨在通过分析目前台站所面临的管理问题及衍生出来的实际需求,给出一种基于B/S结构的基层台站量化考评管理系统。该系统以现有的法规制度为依据,
我们处于一个信息极其丰富的时代,人们对于快速准确地获取信息产生极大的需求。搜索引擎以其使用方便、反应迅捷而备受人们欢迎,成为信息获取的最主要方式。然而搜索引擎以关
随着计算机、数据库和网络信息技术的蓬勃发展及广泛应用,越来越多的数据在网络中被公开发布。数据挖掘等诸多技术的进步帮助了人们有效地利用发布数据,从海量信息中抽取出潜在
皮影戏是我国传统傀儡艺术中的一个代表,其造型设计与表现形式都具有我国独特的文化内涵,被视为国粹。由于传统皮影戏表演需要在特定的舞台表演,并依赖于表演艺人的水平,因此近些
蛋白质相互作用(Protein-Protein Interaction,PPI)网络是指一个生命有机体内所有蛋白质之间相互作用组成的生物分子关系网络。利用计算方法进行PPI网络功能模块检测是后基因
随着云计算的迅猛发展和IT服务的专业化,单个云服务不能很好的满足用户多样化的个性需求,因而云服务组合问题得到广泛的关注。在云服务组合过程中,由于云服务组件经常具有不
翻译检索被认为是机器翻译与信息检索技术的结合。机器翻译讨论如何用计算机将一种自然语言翻译为另一种自然语言。信息检索返回与用户查询相关的文档信息。传统翻译检索方法