机群文件系统元数据高可用技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:liyazhou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于在可扩展性、可用性以及性价比方面的显著优势,机群系统已成为高性能计算机和超级服务器的主流结构。作为机群系统的核心软件,机群文件系统负责机群环境下文件的保存、获取、组织、共享以及保护等工作,为用户提供透明的文件服务。随着机群性能、规模的急剧增长,以及在科学计算和新型互联网产业的广泛应用,机群文件系统的高可用需求日益迫切。而其中元数据服务对于机群文件系统的整体服务有着十分关键的作用,其效率和容错性直接关系到文件的访问性能和可用性。因此研究元数据高可用技术具有重要意义。在分布式文件系统中,过去对元数据服务的可用性保证大都采用日志技术,而日志技术由于其自身的局限性,并不能很好地为元数据服务提供有力保障。本文对机群文件系统元数据高可用技术进行了研究。主要研究内容包括:   ⑴对比复制技术在数据和元数据上的应用,总结出复制技术在元数据上应用的关键问题:①元数据高可用的系统框架,即冗余节点的组织和功能分配;②元数据高可用的一致性维护。   ⑵提出了一种用于元数据服务的高可用机制。采用冗余的方式,将一个元数据服务器扩充为冗余复本节点的集合,并引入主、从复本节点的结构。通过基于日志和内存的同步方式,以及复本节点的非对称服务结构,构建元数据高可用的系统架构。   ⑶将Paxos算法高效地结合到元数据处理流程中,保障在有故障发生情况下多个元数据复本的一致性。针对Multi-Paxos在实现中所出现的性能问题,提出了Packed Multi-Paxos和Paxos Coordination Queue(PCQ),由此进一步减少复制技术所引入的额外网络传输开销,协调整个Paxos算法与元数据处理流程的结合。   ⑷经过测试表明,通过元数据高可用机制,可以使元数据服务在节点失效的情况下不中断,实现高可用的连续服务。同时,元数据写操作的性能下降被控制在可接受的范围内;并且由于每个复本节点都可以对外提供元数据读请求服务,元数据读请求的性能得到了提升。
其他文献
近年来,面向服务的计算(Service Oriented Computing)和面向服务的体系结构(Service Oriented Architecture)得到了学术界和工业界的广泛关注。服务为实现开放的网络环境中各
近年来,随着信息技术的飞速发展,在众多领域的实际应用中产生了一种新的数据集合,其数据是动态的、有序的、连续的、无限的,对这种数据的处理只能按照顺序访问,并读取一次或
传统的数据库管理只处理确定的信息,现在越来越多的数据库应用包含了非确定的信息。XML文档以其自描述性,跨平台交换性等特点,已经成为网络上数据存储和数据交换的标准。互联
在移动对象数据库的领域中,对象的运动通常被当作一个连续曲线来研究,即运动轨迹。在轨迹数据库中发现队列具有重要的意义。队列发现与很多实际问题密切相关,诸如合伙用车、
随着互联网信息及用户的飞速增长,如何有效减少用户访问延时,提高网络服务质量和网络带宽的利用率是一个迫切需要解决的难题。Web代理缓存技术是克服这些问题的最有效的方法
语音识别是一门集语言学、信号处理、计算机技术于一身的综合性学科。其广阔的应用前景,广泛的应用领域使大量的科学研究人员长期以来一直关注着它,并投入大量精力对其进行研
软件已经成为影响国民经济、军事、政治乃至社会生活的重要因素。软件的缺陷是导致相关系统出错、失效、崩溃甚至机毁人亡的潜在根源。软件缺陷预测是保证软件可靠性和软件质
学位
网络安全保障问题是信息化发展过程和使用中必须要面对的问题,网络的开放性与安全性是反比例的关系,在这种情况下,人们都在寻求能够找到防御攻击的方法。但是,当前攻击与防范作为
由于信息技术的高速发展,各种网络应用、物联网传感器产生的数据量爆炸式增长,在线的实时处理应用场景日渐增多,流式计算逐渐在大数据处理的领域占据一席之地。目前已有的许多开
随着计算机网络技术的发展和广泛应用,网络安全问题随之而来。如何能快速、准确、有效地识别己有的攻击和日益增多的新的攻击,已经成为网络安全研究的热点问题。论文针对现有