多集群系统中面向计算资源需求的作业管理

来源 :北京大学 | 被引量 : 0次 | 上传用户:peterpetersxs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在对多集群系统进行认真考察后,本文提出在多集群系统中有关作业管理的核心原则:在实际的多集群系统中进行作业管理时,应当用作业的计算资源需求,而非运行时间来表述作业的特征以进行作业管理。在核心原则的指导下,本文提出了在集群内部的计算机集共享策略。在大规模实验之前,本文对核心原则的正确性和根据此原则提出的计算机集共享策略进行了简单的实验验证。 本文认为,在多集群系统中,应依照物理拓扑构造逻辑拓扑结构,将各个子系统统一管理,进行作业分配;在进行作业分配时,应针对作业对于计算资源的需求及现有计算资源信息,计算作业应分配的集群系统和集群内的计算机子集。 本文提出在多集群系统中,面向资源需求的层次化作业管理理论。这个理论包括三个部分:“多集群体系结构的逻辑拓扑与资源描述”、“作业的资源需求描述体系”,以及“多集群中面向资源需求的作业管理模型”。 对于多集群体系结构的逻辑拓扑与资源描述,本文提出多集群的层次化逻辑系统构建理论、讨论了大规模集群内部的层次化信息管理逻辑结构,并提出了针对层次化系统的计算资源描述方法,给出了计算资源的描述参数。 对于作业的资源需求描述体系,本文给出了作业的需求参数集;提出了作业进程之间的关系定义及描述方法,并介绍一种动态预知作业对资源需求的方法。 对于在多集群中面向资源需求的作业管理模型,本文论述如何在多集群中面向资源需求,进行多层次的统一作业管理,讨论在集群系统内部进行作业管理的重要算法:面向资源需求进行分时分区共享的作业分配、作业预填算法。在作业管理模型中还进行了一些其它内容的简单讨论,它们分别是用户管理与权限控制、容错机制、对计算资源进行定量控制、资源预留,和作业迁移。 本文注重理论与实际的结合,不仅仅提出了管理理论,还设计了相应的实际管理系统—LilyGBS系统。它在多集群系统中进行统一的,面向资源需求的作业管理。从这个意义上讲,本文提出的多集群系统中面向计算资源需求的层次化管理理论/系统可以看作是网格环境中进行作业管理的基础。 在本文正文的最后,用实验完整、系统地验证了本文提出的在多集群系统中对于作业管理的核心原则的正确性,并对根据此原则提出的计算机集共享策略以及管理模型中的算法进行性能验证;再分集群外和集群内两种情况进行作业分配实验,验证了本文设计的多集群管理系统LilyGBS的有效性。 在附录中,本文用一个相对独立的部分论述本文的先期工作,也是本文的基础理论指导—任务并行计算模型LilyTask。
其他文献
近年来,随着移动设备数量和应用类型的急剧膨胀,传统互联网的结构和功能日趋复杂,网络设备在不断加入的复杂协议之后变得臃肿不堪。于是软件定义网络(SDN)应运而生。SDN通过把原
审计系统是安全操作系统的重要组成部分,系统中与安全相关的活动均应进行审计。基于内核的审计系统具有无法旁路和强制记录的性质,能够全面而详实的记录系统中各种操作的相关信
作为信息科学与传统汉语言文字学的交叉课题,数字化《说文》学研究有着两方面的意义:一是希望为传统汉语言文字学提供现代人易于理解与接受的数字化研究方式,达到继承与发展并重
软件质量和生产率的高低极大地取决于生产过程的好坏。软件过程技术通过定义、运作、监控、度量过程模型,对实际的软件过程提供指导和控制,已经成为软件工程领域的研究重点之一
随着Internet的发展,使得基于B/S结构的Web应用模式日益流行。伴随着在线信息和服务可用性的提升,以及基于Web的攻击和破坏的增长,安全风险达到了前所未有的高度。由于Web应用程
本文首先从地址编码的应用需求入手,指出了中文地址编码的难点所在,并评述了国内外相关工作的进展。其次介绍了中文地址编码的三大核心技术,即中文地址模型、编码方案和地址解析
异构数据库集成应用系统作为数据库领域的研究热点和难点课题,在国内外的学术界和工业都引起了广泛的关注。最近十年来,各种网络中可供利用的信息总量以惊人的速率增长。然而,这
形式化安全策略模型是保障数据库管理系统DBMS安全的关键技术。本文研究并提出了一个基于数据库管理系统PostgreSQL的安全增强DBMS的形式化安全策略模型。该模型分别由多级数
为了更好的测试分布式文件系统的性能,用户及研究人员需要研究或选用有效的测试工具。通过调研发现,目前针对分布式文件系统的性能测试研究及相应的性能测试工具较少,且已有的测
本文回顾了视频监控系统发展历史过程,简要分析对比了视频监控系统发展的各个阶段的特点以及优缺点,根据当前视频技术的发展现状以及网络技术的发展和网络基础设施的普及与完善