论文部分内容阅读
随着计算机科学与网络技术的飞速发展,众多科学研究活动越来越依赖计算机强大的计算和存储能力。科学计算成为继理论和实验之后的第三种科学研究手段。许多科学研究领域的计算问题需要协同多个计算资源共同求解。网格技术的发展为科学计算提供了广阔的资源空间。相对于超级计算机,利用网格技术搭建科学计算网格,成为满足科学计算问题快速增长的资源需求的经济有效的方法。
针对科学计算网格中远程资源访问和网格应用作业级API设计的相关问题,结合包含大量、非平衡计算作业的一类科学计算问题的具体需求,本文进行了探索研究,提出了设计方案。
本文主要研究内容和创新贡献可以归纳为如下几个方面:
1.提出了“逻辑资源-物理资源”双层科学计算资源网格表达机制,并基于该机制对网格资源按照功能,以应用程序为核心进行分类、聚集管理。设计实现了资源信息服务和支持自动资源选择的顾问服务。
2.基于一类科学计算问题对资源的使用特点,提出了基于通用执行代理框架的远程资源访问方式。通用执行代理框架的特点包括:支持资源预约机制,保证了资源竞争情况下作业的执行性能;接受使用逻辑资源信息描述的作业提交,利于作业的调度和迁移;作业执行环境的生命周期跨越多个作业执行周期,后续作业可以重用前面作业的执行环境,避免了执行大量作业时作业执行环境频繁的创建、销毁的开销。
3.针对大量、非平衡的计算作业,提出了基于资源集的应用级作业调度机制。基于“木桶理论”的调度算法实现了网格应用执行时间最短、资源负载均衡、避免作业对资源无序竞争的作业调度目标。针对小粒度作业频繁的文件传输导致执行性能下降的问题,提出了作业打包机制的优化方案。
4.设计实现了基于Java开发环境的网格应用开发接口--_G-API。G-API封装了底层网格服务的功能和调用细节,以本地类对象的方式提供了资源需求描述、资源选择、作业描述、作业提交执行、运行时操作等访问网格能力的相关接口,便于用户掌握和使用。针对不同层次的网格应用开发者,提供了基于G-API的全自动、关键参与和全参与等三种网格应用开发模式,支持用户不同程度的参与远程资源访问过程。通过在Harmonia计算网格协同平台上进行原型实现,并求解真核生物基因可变剪接预测分析问题表明,本文提出的科学计算资源网格表达机制、通用执行代理框架、基于资源集的应用级作业调度和基于G-API的网格应用开发和运行方案是行之有效的。有效的支持了科学计算工作者方便的协同多个远程资源共同求解科学计算问题。
本文的研究得到了国家“八六三”高技术研究发展计划基金项目(项目编号:2006AA02Z334)、国家自然科学基金重大项目(项目编号:90412010)和国家科技基础条件平台建设基金项目(项目编号:2005DKA64001)的资助。