面向异步划分地址空间编程模型的集群资源管理与优化技术的研究

来源 :复旦大学 | 被引量 : 1次 | 上传用户:gy13006467077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异步划分地址空间编程模型(APGAS)是并行编程模型的一次重要革新。目前,集群环境呈现出以下几个特点:(1)高并行性,集群中的计算节点成千上万,可以利用的并行性异常丰富;(2)内存访问性能层次化,集群中单节点多为NUMA结构,并可能存在协处理器;节点之间通过网络互联。这种结构导致了集群中内访访问性能的层次化;(3)异构性,集群中存在着性能不同、体系结构不同的各种计算资源。这些特点对并行编程模型带来了很大的挑战。为了提高程序员的编程效率,应对集群环境变化对编程模型带来的挑战,APGAS模型应运而生。AGPAS模型已经在学术界受到广泛关注,而在工业界,APGAS模型在IBM公司内部也已被广泛应用,IBM公司的许多大型应用都是基于该模型而实现。当前APGAS模型的一个重要缺陷是其实用性较弱,尤其是其集群资源管理与优化能力,导致其无法在工业界中被广泛应用。与该能力相关的主要问题包括:(1) APGAS程序的可靠性问题;(2) APGAS模型数据的任务亲和性引发的资源管理问题;(3)性能异构集群环境下引发的负载均衡问题;(4)体系结构异构集群环境下模型的性能问题。由于发展时间较短,目前学术界和工业界对APGAS的研究多针对其性能、可移植性、可编程性以及其应用领域,而对上述集群资源管理与优化相关问题的研究较少或基本没有。本文以基于APGAS模型的X10并行编程语言为例,在充分分析APGAS模型对集群资源管理与优化相关问题需求的基础之上,提出了一个系统的解决方案,以提高APGAS模型的集群资源管理与优化能力。本文针对APGAS程序的可靠性,APGAS模型对计算资源管理的支持,对全局负载均衡能力的支持,以及对MIC异构计算资源使用的支持这几个方面进行研究,以期提高APGAS模型的实用性。这几个问题的研究在APGAS模型的相关研究中都属首次。该研究致力于提供一套实际、有效、透明以及高性能的解决方案,使得现有APGAS程序可以方便地利用该研究成果。本文提出的方案充分考虑了APGAS模型自身的特性,因而使得对程序性能的影响降到最低和对资源的利用率最高。并且,该方案尽可能不增加程序员的额外负担,维持了利用APGAS模型编写并行程序的高生产效率。具体而言,本文的主要贡献如下:·提出了基于APGAS编程模型的并行程序可靠性问题的高效解决方案,设计并实现了X10-FT系统来提高APGAS应用程序的可靠性。X10-FT系统在X10语言系统中引入了经典的检查点(Checkpoint)机制,并结合APGAS的特性与一些成熟的分布式系统中的技术,例如Paxos协议和分布式文件系统,从而使得X10应用程序具有很高的容错能力。X10-FT系统中基本没有单点故障点(Single Point Failure),并且对X10应用程序用户透明。详细的测试表明,利用X10-FT系统,各类X10应用程序都可以获得较好的容错能力,并且因为容错引入的性能损失也在可以接受的范围之内(平均性能损失小于20%)。·提出了APGAS程序中计算单元迁移的技术,以支持集群的资源管理与优化功能,以及APGAS程序的全局负载均衡。设计并实现了X10-PM系统以提高APGAS程序的资源管理与优化能力。X10-PM系统的设计充分考虑了APGAS模型的特点,同样也对X10程序员透明。在X10-PM编译器和运行时的帮助下,无需程序员的干涉,X10应用程序就可以支持动态迁移。X10-PM编译器通过对X10程序源代码的静态分析就可以自动找出程序在执行过程中目标计算单元迁移的最优时间点。在这些点迁移具有最小的性能开销,并能保证迁移前后X10程序全局状态的一致性。详细的测试表明,当前的X10-PM系统最少只需要4秒就可以成功地将一个APGAS基本计算单元在集群上不同计算节点之间迁移,从而有效地支持了APGAS程序对集群资源管理与优化以及全局负载均衡的需求。·对在APGAS模型下如何有效地利用MIC架构计算资源对程序进行加速做出了研究,提出了APGAS模型下MIC架构处理器的编程范式,并给出了一些关键参数的调优原则,从而使得APGAS程序员可以方便地利用MIC计算资源对程序进行加速。该编程范式充分考虑了APGAS模型的特点以及MIC架构处理器的特性,有效地发挥了各自的优势,并原生支持MIC架构处理器的Offload模式以及Native模式。另外,该编程范式有良好的向后兼容性,使用该范式现有应用程序代码只需要做少量改动就可以使用MIC计算资源进行加速。测试结果表明,使用此编程范式大部分应用程序都可以利用MIC计算资源获得较好的性能提升。在我们的实验平台上,在使用单块MIC卡的情况下大部分程序都可以获得一倍左右的性能加速,而一些具有高并发特性的应用程序在使用单块MIC卡时其性能加速比可以达到3。
其他文献
目的:运用锥束CT(CBCT)分析比较安氏Ⅱ类2分类错[牙合]与个别正常[牙合]关节位置的差异。方法选择符合试验设计的23例安氏Ⅱ类2分类错[牙合]患者为试验组,27例个别正常[牙合]为对
云计算的兴起为数据保护技术带来了新的挑战和机遇。一方面,规模庞大的云存储系统中存有海量数据,其系统复杂性和业务特征使得数据可靠性受到严重挑战,需要采用更强的数据保护技
随着万维网的不断发展,与日俱增的Web信息给人们带来丰富的资源,但同时也导致人们无法通过自动化手段比较准确地获取自己所需的内容。语义网便是应对该问题的产物,促使计算机
社会保险费是社会保障制度的重要内容,也是公共财政的重要组成部分。2000年陕西省的社会保险费开始由地税部门征收,做好社保费费源普查工作是提升社保费征收效能的基础。开发设
于矮生百慕大草坪当中交播多年生黑麦草籽,可以确保草坪达到四季常绿的效果。人们在实践过程中发现,交播所用草籽的处理方式以及交播用量之间存在差异,最终达到的后期效果也
图像融合涉及信息融合、传感器、图像处理等多个领域,是一个新兴的研究方向。在图像融合研究领域中,如何高效地表示和分析图像是其中的一项核心问题。图像表示方法的有效性直接
近年来,随着网络通信技术发展和应用,在很多应用处理领域出现了一种新新型数据模型——数据流。典型的数据流包括:网络安全监测、无线传感器网络应用环境中由传感器传回的各
目的了解重庆市农村留守老人两周患病率并分析其影响因素。方法采用分层随机抽样方法,对重庆市3个区县9个乡镇的852名留守老人进行问卷调查。结果两周患病率为46.01%,慢性病