论文部分内容阅读
基因可变剪切计算是生物信息学领域一种重要的科学计算应用。单个基因可变剪切计算批作业中包含大量串行子任务,需要大规模的计算处理能力。这些子任务可以在网格计算环境中并行处理,但现有网格中间件并不是专门针对大量串行任务的处理而设计,处理这种作业效率低。论文在对此问题特征分析的基础上,提出任务集打包、面向用户的资源分配等优化策略。并从科学计算程序的网格包装,计算任务的远程调度管理两个主要方面入手,设计和实现了面向大量串行任务的资源服务化工具。
随着高性能计算机、网络、网格中间件技术的发展,网格计算环境中问题求解规模不断增大,已成为网格计算领域的一个新趋势。海量任务计算就是在这一趋势背景下提出的新概念。然而大量串行任务在网格计算环境中处理存在一些问题。首先GRAM资源管理服务调度任务时有一定开销,当调度大量细粒度计算任务时,资源访问效率的问题就变得突出。另外当前的元调度器(如GridWay,Condor-G)和本地资源管理器(如PBS,Condor)的任务吞吐率不高,不能在短时间内调度大量计算任务。针对这些问题,论文提出了面向用户的资源调度策略和任务集打包策略。前一个策略将任务调度和资源调度分开,每个资源可以处理任意多个任务,减少了任务的资源调度开销。后一个策略将任务集打包成一个作业请求提交计算,大大减少了作业请求的数量,提高了系统任务吞吐率。
论文研究了资源服务化工具的两个主要方面内容:科学计算程序的网格包装和计算任务的远程调度管理。科学计算程序网格包装的作用是将科学计算程序接入到网格计算环境中,并向用户提供计算资源访问接口。计算任务远程调度管理主要作用包括:准备作业的远程执行环境,接收用户提交的作业请求,作业在远程计算节点上的调度管理,输入输出数据的传输管理等。
论文讨论的面向大量串行任务的资源服务化工具已经应用到北大Gracie网格应用开发平台中。实验数据结果表明,任务集打包、面向用户的资源分配等优化策略能够提高大量串行任务在网格计算环境中的处理效率。而且在处理大量细粒度串行任务时,Gracie系统表现的性能要比GRAM好,这一实验结果也与我们的系统设计目标相符。