论文部分内容阅读
集群系统开放性发展趋势、迅速增长的高性能事务处理应用需求以及移动计算模式的发展需求给集群文件系统提出了一些新的研究课题。本文面向Internet等大吞吐量事务性文件服务应用,深入研究了集群文件系统的开放性体系结构、数据分布及动态I/O负载平衡技术、分布式元数据管理机制和移动客户支撑技术等问题,并实现了相应的原型系统TH-CluFS。
本文的主要贡献包括以下几个方面:
(1)提出了集群系统开放性的定义,以及开放性集群文件系统体系结构及其性能分析模型。理论分析、模拟实验和原型系统测试结果均表明该模型能满足开放性集群文件系统在可移植性、兼容性、高性能、可扩展性、自适应性以及可用性等多方面的需求。
(2)提出了一种基于文件和节点两级粒度的分布式文件服务I/O负载计量模型。该模型能够有效地反映应用系统文件访问模式的动态变化及其广泛分布等特征,而且具有马尔可夫特性,便于模型分析与实际应用,实现开销低。
(3)提出了集群文件系统负载平衡的定义,深入研究和分析了被动式自适应静态文件分配、局部文件迁移和全局文件迁移三种I/O负载平衡算法。三种算法适用于不同的应用环境和系统负载状况,性能提高显著,并且决策开销低,扩展性好。模拟实验结果表明:上述静态文件分配算法能达到接近最优的系统平均响应时间和吞吐率;局部文件迁移算法在一般负载情况下能使系统平均响应时间降低25%以上;全局迁移算法在重负载情况下表现尤为突出,在四节点配置的集群系统中,当系统请求到达速率达到节点请求处理速率的1/3以上时,系统平均响应时间降低50%以上。
(4)提出了一种基于远程代理的分布式元数据管理模型及其轻量级的一致性维护策略。该模型提供了具有位置独立性的全局统一的名字空间,实现了支持系统局部可用和故障封装的文件访问处理框架。而且,一致性维护策略基于主备式复制模型,同时引入文件属性分类、时间戳和时间戳向量比配等关键技术,极大地降低了一致性维护协议处理开销。
(5)提出了集群文件系统移动客户支撑模型,以及弱连接情况下文件更新延迟写回的成本模型。移动客户支撑模型支持强连接、弱连接和脱机三种不同的文件服务状态,并为它们提供了不同的服务优化策略。成本模型综合考虑文件、操作、系统访问模式以及网络带宽等多方面的因素,分别量化了更新延迟写回的收益及其执行开销,完成更新写回时机的决策,从而在有效地利用了弱连接网络带宽的同时规避了网络瓶颈,提高了文件访问服务质量。