面向大量串行任务的资源服务化策略与基于Telnet协议的实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:owenming521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基因可变剪切计算是生物信息学领域一种重要的科学计算应用。单个基因可变剪切计算批作业中包含大量串行子任务,需要大规模的计算处理能力。这些子任务可以在网格计算环境中并行处理,但现有网格中间件并不是专门针对大量串行任务的处理而设计,处理这种作业效率低。论文在对此问题特征分析的基础上,提出任务集打包、面向用户的资源分配等优化策略。并从科学计算程序的网格包装,计算任务的远程调度管理两个主要方面入手,设计和实现了面向大量串行任务的资源服务化工具。   随着高性能计算机、网络、网格中间件技术的发展,网格计算环境中问题求解规模不断增大,已成为网格计算领域的一个新趋势。海量任务计算就是在这一趋势背景下提出的新概念。然而大量串行任务在网格计算环境中处理存在一些问题。首先GRAM资源管理服务调度任务时有一定开销,当调度大量细粒度计算任务时,资源访问效率的问题就变得突出。另外当前的元调度器(如GridWay,Condor-G)和本地资源管理器(如PBS,Condor)的任务吞吐率不高,不能在短时间内调度大量计算任务。针对这些问题,论文提出了面向用户的资源调度策略和任务集打包策略。前一个策略将任务调度和资源调度分开,每个资源可以处理任意多个任务,减少了任务的资源调度开销。后一个策略将任务集打包成一个作业请求提交计算,大大减少了作业请求的数量,提高了系统任务吞吐率。   论文研究了资源服务化工具的两个主要方面内容:科学计算程序的网格包装和计算任务的远程调度管理。科学计算程序网格包装的作用是将科学计算程序接入到网格计算环境中,并向用户提供计算资源访问接口。计算任务远程调度管理主要作用包括:准备作业的远程执行环境,接收用户提交的作业请求,作业在远程计算节点上的调度管理,输入输出数据的传输管理等。   论文讨论的面向大量串行任务的资源服务化工具已经应用到北大Gracie网格应用开发平台中。实验数据结果表明,任务集打包、面向用户的资源分配等优化策略能够提高大量串行任务在网格计算环境中的处理效率。而且在处理大量细粒度串行任务时,Gracie系统表现的性能要比GRAM好,这一实验结果也与我们的系统设计目标相符。
其他文献
Web服务作为面向服务计算范型的主要实现技术,能有效提高异构环境下分布式应用的开发效率,降低其开发成本。而Web服务应用系统的运行时质量保证及优化则可以通过采用监测机制实
利用计算机视觉技术对农产品进行检测与分析,特别是农产品的营养状况检测,对农业生产具有重大意义。因为传统的检测方法对农产品具有破坏性,且处理周期长,速度慢,无法适应大批量检
随着通信技术的不断发展和社会需求的日益增长,传统的单一媒体的通信服务,如电话、传真,已难以满足人们的日常需求。基于宽带网络的视频会议系统把视频、音频、文字等多种媒体信
讲故事作为学校和家庭教育儿童的有效手段,一直是国内外各研究机构的研究热点。目前的很多儿童讲故事软件以各种形式为儿童提供了故事创作工具,但是它们大多不能让儿童相互协作
在信息化建设迅猛发展的今天,机房的规模不断扩大,并且地理位置趋向分散,为了保证各种硬件设备持续稳定地运行,机房管理员的工作也越来越繁重。在对机房的监控过程中,虽然网络和服
复杂背景下的目标实时分割与检测技术是计算机视觉领域的一个重要研究方向,在人机交互、智能监控和虚拟现实等领域具有广泛的应用前景。本文以视频中的目标实时分割与检测技术
学位
许多涉及海量空间数据共享、交换、集成和服务的WebGIS应用系统,如:空间数据集成系统,空间信息共享服务等应用系统,它们以空间信息共享的GML数据格式传输和处理。由于GML空间数据
仿真图像生成技术是计算机图形学研究的一个重要内容,在各个方面都有广泛的应用。在航空航天领域,地面的应用处理常常依赖空间探测器拍摄结果,由于实验成本的昂贵,对探测器拍摄结
随着对等网络(Peer—to—Peer,简称P2P)技术的快速发展,P2P网络已成为互联网上的一个重要应用。P2P网络将互联网上闲散节点通过一定方式组织起来,提供强大的计算与存储能力。P2P
问答系统是集自然语言处理技术和信息检索技术于一身的新一代智能搜索引擎。与传统的搜索引擎相比,问答系统能更好的满足用户的查询要求,更准确地检索出用户所需要的答案。问答