开放性集群文件系统的研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:xboaty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集群系统开放性发展趋势、迅速增长的高性能事务处理应用需求以及移动计算模式的发展需求给集群文件系统提出了一些新的研究课题。本文面向Internet等大吞吐量事务性文件服务应用,深入研究了集群文件系统的开放性体系结构、数据分布及动态I/O负载平衡技术、分布式元数据管理机制和移动客户支撑技术等问题,并实现了相应的原型系统TH-CluFS。 本文的主要贡献包括以下几个方面: (1)提出了集群系统开放性的定义,以及开放性集群文件系统体系结构及其性能分析模型。理论分析、模拟实验和原型系统测试结果均表明该模型能满足开放性集群文件系统在可移植性、兼容性、高性能、可扩展性、自适应性以及可用性等多方面的需求。 (2)提出了一种基于文件和节点两级粒度的分布式文件服务I/O负载计量模型。该模型能够有效地反映应用系统文件访问模式的动态变化及其广泛分布等特征,而且具有马尔可夫特性,便于模型分析与实际应用,实现开销低。 (3)提出了集群文件系统负载平衡的定义,深入研究和分析了被动式自适应静态文件分配、局部文件迁移和全局文件迁移三种I/O负载平衡算法。三种算法适用于不同的应用环境和系统负载状况,性能提高显著,并且决策开销低,扩展性好。模拟实验结果表明:上述静态文件分配算法能达到接近最优的系统平均响应时间和吞吐率;局部文件迁移算法在一般负载情况下能使系统平均响应时间降低25%以上;全局迁移算法在重负载情况下表现尤为突出,在四节点配置的集群系统中,当系统请求到达速率达到节点请求处理速率的1/3以上时,系统平均响应时间降低50%以上。 (4)提出了一种基于远程代理的分布式元数据管理模型及其轻量级的一致性维护策略。该模型提供了具有位置独立性的全局统一的名字空间,实现了支持系统局部可用和故障封装的文件访问处理框架。而且,一致性维护策略基于主备式复制模型,同时引入文件属性分类、时间戳和时间戳向量比配等关键技术,极大地降低了一致性维护协议处理开销。 (5)提出了集群文件系统移动客户支撑模型,以及弱连接情况下文件更新延迟写回的成本模型。移动客户支撑模型支持强连接、弱连接和脱机三种不同的文件服务状态,并为它们提供了不同的服务优化策略。成本模型综合考虑文件、操作、系统访问模式以及网络带宽等多方面的因素,分别量化了更新延迟写回的收益及其执行开销,完成更新写回时机的决策,从而在有效地利用了弱连接网络带宽的同时规避了网络瓶颈,提高了文件访问服务质量。
其他文献
对于人脸图像的研究一直是模式识别与机器学习领域的研究重点,如人脸检测、人脸识别和表情识别等都是基于人脸图像的重要研究内容。随着基于年龄的应用不断出现,基于人脸图像
计算机科学、信息科学的兴起,使得计算机图形学和地理信息系统得以出现并不断发展起来,利用计算机绘图已经成为必然趋势.计算机绘图是研究怎样用计算机生成、处理和显示图形
ASP软件平台所整合的多种应用系统出于安全性考虑,具有相对独立的身份认证和授权机制,这使得ASP软件平台和用户必须面对安全机制的多样性和异构性,从而导致用户重复登录,系统
移动互联网增值服务是一种新兴产业,随着移动通信网络带宽的不断提升,移动信息终端的不断成熟,信息内容日渐丰富,其潜在的巨大的市场价值必渐渐显现,并被挖掘.然而,大多的短
随着网络视频应用的发展,视频在Internet传输时的服务质量控制(Quality of Service,QoS)成为目前的一个研究热点.对于常用的基于终端系统的视频服务质量控制,可伸缩性视频编
学位
学位
本文采用NURBS曲线曲面方法实现手袋基本形体的曲面造型.提出了一种采用离散法结合三视图投影原理进行曲面与任意平面求交的数值算法.方法简便、快速可靠,效果良好.OpenGL是
随着互联网的快速发展,互联网正在逐渐从一个信息发布共享平台演变成为大规模的分布式计算平台。服务成为互联网面向用户提供应用的主要形式。 现有的互联网中服务在实现层
本文首先给出了分布式应用系统的基本概念.对分布式结构的特点,体系结构和相关理念进行了探讨,并着重分析了构建分布式系统所用到的关键性技术.主要针对MIDAS技术、InternetE