科学计算网格中远程资源访问和作业级API的关键技术研究

来源 :北京大学 | 被引量 : 0次 | 上传用户:pinkoath
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机科学与网络技术的飞速发展,众多科学研究活动越来越依赖计算机强大的计算和存储能力。科学计算成为继理论和实验之后的第三种科学研究手段。许多科学研究领域的计算问题需要协同多个计算资源共同求解。网格技术的发展为科学计算提供了广阔的资源空间。相对于超级计算机,利用网格技术搭建科学计算网格,成为满足科学计算问题快速增长的资源需求的经济有效的方法。 针对科学计算网格中远程资源访问和网格应用作业级API设计的相关问题,结合包含大量、非平衡计算作业的一类科学计算问题的具体需求,本文进行了探索研究,提出了设计方案。 本文主要研究内容和创新贡献可以归纳为如下几个方面: 1.提出了“逻辑资源-物理资源”双层科学计算资源网格表达机制,并基于该机制对网格资源按照功能,以应用程序为核心进行分类、聚集管理。设计实现了资源信息服务和支持自动资源选择的顾问服务。 2.基于一类科学计算问题对资源的使用特点,提出了基于通用执行代理框架的远程资源访问方式。通用执行代理框架的特点包括:支持资源预约机制,保证了资源竞争情况下作业的执行性能;接受使用逻辑资源信息描述的作业提交,利于作业的调度和迁移;作业执行环境的生命周期跨越多个作业执行周期,后续作业可以重用前面作业的执行环境,避免了执行大量作业时作业执行环境频繁的创建、销毁的开销。 3.针对大量、非平衡的计算作业,提出了基于资源集的应用级作业调度机制。基于“木桶理论”的调度算法实现了网格应用执行时间最短、资源负载均衡、避免作业对资源无序竞争的作业调度目标。针对小粒度作业频繁的文件传输导致执行性能下降的问题,提出了作业打包机制的优化方案。 4.设计实现了基于Java开发环境的网格应用开发接口--_G-API。G-API封装了底层网格服务的功能和调用细节,以本地类对象的方式提供了资源需求描述、资源选择、作业描述、作业提交执行、运行时操作等访问网格能力的相关接口,便于用户掌握和使用。针对不同层次的网格应用开发者,提供了基于G-API的全自动、关键参与和全参与等三种网格应用开发模式,支持用户不同程度的参与远程资源访问过程。通过在Harmonia计算网格协同平台上进行原型实现,并求解真核生物基因可变剪接预测分析问题表明,本文提出的科学计算资源网格表达机制、通用执行代理框架、基于资源集的应用级作业调度和基于G-API的网格应用开发和运行方案是行之有效的。有效的支持了科学计算工作者方便的协同多个远程资源共同求解科学计算问题。 本文的研究得到了国家“八六三”高技术研究发展计划基金项目(项目编号:2006AA02Z334)、国家自然科学基金重大项目(项目编号:90412010)和国家科技基础条件平台建设基金项目(项目编号:2005DKA64001)的资助。
其他文献
虚拟化技术是云计算环境中底层资源管理的关键支撑技术,它将底层硬件资源进行统一抽象管理,用户应用封装在上层虚拟机之内,多虚拟机可以共同运行在同一硬件环境中,极大地提高了硬
现代软件开发项目的规模和复杂度要求软件组织对软件过程进行量化管理和持续改进,并对资源进行合理有效的调度。人力资源是软件过程中最重要的一种资源。人力资源的调度直接影
CAD和CAM技术在企业的设计与生产过程中已经得到广泛应用。然而这些新技术的应用在促进企业生产力迅速发展的同时,也带来了许多意想不到的新问题。就设计行业而言,虽然针对各部
随着信息技术和网络技术的飞跃发展,Web服务的应用成为当今全球媒体、工业界和学术界关注的热点。目前,服务的各种技术标准不断发展,新的Web服务平台和开发环境不断推出,应用程序
本文着重研究对等计算(Peer-to-Peer Computing)系统。P2P技术,特别是P2P文件共享技术,在近年来已经被应用到多个领域。随着共享文件的增多,资源定位问题显得尤其重要。
入侵检测系统(IDS)的结构对于入侵检测系统自身的安全性是非常重要的。当前的入侵检测系统或者基于主机,或者基于网络。虽然它们有不同的入侵检测目标,但是在功能和自身安全性
近年来,随着三维数据采集设备(例如三维扫描仪、Kinect等)的普及以及相关技术逐渐成熟,三维模型获取的代价越来越低,模型质量大大提高,数量也爆发式增长。除了研究如何快速、精确地
自基因组测序技术诞生起,基因组学和转录组学就一直是基因组注释的主导力量。使用这两个组学的注释技术,大肠杆菌、酵母等模式生物的基因组得到了注释。基于质谱技术的蛋白组学
生物信息学是在生命科学的研究中,以计算机为工具对生物信息进行储存、检索和分析的科学。从信息学角度来看,生物分子是生物信息的载体,蛋白质序列决定蛋白质结构,而蛋白质结构又
快速傅里叶变换(Fast Fourier Transform,FFT)是一种应用十分广泛的数值算法。在对高维离散傅立叶变换的研究过程中,人们发现,随着维数的升高,快速傅里叶变换算法的时间复杂度与维