大规模通用型桌面网格关键技术的研究与应用

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:catche
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代来临,数据的爆发式增长及海量数据处理在给互联网及大科学领域带来新机遇的同时,也对当前的计算模式提出了新的挑战。为了能够解决资源短缺的问题,不同领域的科研人员都在致力于寻求更多可用的计算资源。整和利用公共因特网计算资源的桌面网格技术,因其潜在资源庞大,计算能力强大等特点,越来越受到科学家们的重视。论文研究了桌面网格计算特点及其关键技术,并且针对桌面网格环境下系统可用性差、资源利用率低、应用部署难、容错性能差等问题,提出了一种面向服务的通用型桌面网格系统。该系统具有高可用、可扩展、高性能等特点,并在此基础上,实现了多应用部署。主要研究内容以及贡献如下:  (1)数据的访问与资源调度策略。本文针对桌面网格环境下可用性差,资源利用率等问题,进行分析与研究。设计实现了多种访问接口,包括基于SOAP的访问接口、基于RestwebService的访问接口、基于SOCKET的访问接口和BOINC远程提交系统,能够满足用户提交作业及访问资源的多样性需求,提高系统的可用性及通用性。同时,基于桌面网格特点及资源分组与控制需求,设计实现多种调度策略,系统可以根据应用作业的特点和需求,动态的进行资源绑定、资源动态分组。同时还可以根据节点性能进行作业调度,提高系统可用性和作业运行效率。为解决系统资源利用率低和提高作业运行效率,提出了一种虚拟机自适应资源调配策略。调度器可以基于虚拟机作业的特点,使用自适应调配策略能够动态的选取最合适的配置参数,进行虚拟机作业环境部署,实现系统资源的最大合理化利用,提高作业运行效率。  (2)镜像的发布与管理。本文针对桌面网格环境下由于镜像机制,而导致的应用部署难的问题,提出了一种自主灵活的镜像发布与管理服务。用户可以通过该服务务自定义镜像类型,并且提供镜像资源共享服务。设计实现镜像元数据服务,使用XML标准格式,用来描述镜像类型等基本信息,用户用可以通过使用镜像元数据服务,使用各种类型的镜像进行作业运行。然后,设计实现了镜像库,用户在使用镜像元数据服务的同时,可以共享镜像资源。镜像的描述信息主要通过元数据服务来实现,通过镜像元数据服务以及远程镜像库的实现,系统在可用性上有了很大的提高,能够更好的满足多用户对于不同应用场景的计算环境需求,也提高了系统的可用性及扩展性。  (3)应用的通用移植。本文针对由桌面网格环境下应用程序移植而导致的应用部署难问题,设计开发了应用程序的通用控制组件,实现了应用程序的通用移植。通过使用统一命名规则实现统一接口,进行应用程序的标准化,标准化后的应用程序可以自动的被通用控制程序识别与控制,从而实现作业的自动运行。应用通用控制组件的使用及统一接口的开发,很好的简化了应用移植步骤,实现了应用的快速部署。  (4)资源节点的冗余策略。本文针对桌面网格环境下资源利用率低和冗余性能差的问题,提出了基于节点行为的动态副本机制。通过对计算资源的区间可用性研究,给出计算节点的可靠性定义,并在此基础上实现了任务时限满足概率的估算方法ROP法。实验证明,ROP法可以有效的估算任务的按时返回概率。最后,基于可靠性定义,实现了冗余算法-RbBF法,RbBF法可以生成更多有效的冗余组,提高资源的利用率,同时保证任务运行结果。
其他文献
学位
随着无线通信技术、电子技术以及微机电技术的飞速发展,物联网作为连接物理世界与信息空间的桥梁越来越多的融入到我们的日常生活中。通过物联网相关技术,真实的物理世界将被网
学位
2012年IDC预测互联网总数据每18个月将翻一番,截至今年,总数据量已经达到了6.54ZB。随着移动互联技术的不断发展,数据量增长率将不断提高,海量数据存储空间不够的问题日渐凸显。
学位
学位
随着互联网的发展,电子商务渗透到人们日常生活的方方面面。商品信息是电子商务中不可或缺的组成部分,贯穿了电子商务企业的业务运营和消费者在线购物的体验。然而,越来越多海量
学位
学位
学位