论文部分内容阅读
数据网格为用户屏蔽了底层的物理资源,实现了异构、分布海量数据的一体化访问、存储、传输和管理。副本管理是数据网格中的一个关键技术,它能极大地提高数据的安全性、可靠性以及系统的容错性等。目前国外有关副本管理技术的研究大都是针对特定数据网格项目的,这些副本管理技术在适应性和可扩展性方面有一定的局限性,国内虽然也有一些副本管理技术的研究,但总体看来研究的规模不太大,应用也不太广泛。因此,本文对副本管理技术的通用性、性能和扩展性进行研究。
本文首先介绍了网格和数据网格基本原理、GIOBUS系统及GLOBUS系统中的副本定位服务和文件传输服务。接着介绍了副本管理的基本原理,指出整个副本管理系统由一系列副本管理组件组成,共同提供给用户对数据的高效透明访问。在副本管理系统的诸多关键组件之中,副本的创建、选择和一致性维护是当前研究的热点,因此本文对当前主流的副本创建、选择和一致性维护策略进行了深入研究。
在上面的研究基础上,本文提出了一种适用于数据网格环境的多区域混合式副本管理结构,并决定域内和域间采用不同的副本管理策略。在域内副本管理策略中,本文首先提出了一种结合文件访问次数和节点负载的动态副本创建策略,接着在此基础上提出了基于GridFTP并行传输和条状传输技术的副本选择方法,然后提出了一种结合副本创建时间、访问次数、副本文件大小三种因素的副本置换方法。在域间副本管理策略中,本文提出先根据一元线性回归方程来预测文件的访问趋势,再决定是否进行域间副本复制,在域间副本选择的处理上,本文提出了一种结合文件访问趋势、存储节点负载和GridFTP传输日志的域间副本选择策略,可以较准确的预测不同域内的端到端传输能力。另外,针对多区域混合式副本管理结构的特点,本文还对该结构下的副本一致性维护策略和元数据管理方法进行了研究。
本文还使用了标准的optorSim网格仿真器仿真了文中提出的域内副本管理策略。通过仿真实验,证明该动态副本管理策略与optorSim模拟器内置的5种副本管理策略相比,在用户对资源的访问具有时间相关性时体现了较好的性能。