论文部分内容阅读
由于在可扩展性、可用性以及性价比方面的显著优势,机群系统已成为高性能计算机和超级服务器的主流结构。作为机群系统的核心软件,机群文件系统负责机群环境下文件的保存、获取、组织、共享以及保护等工作,为用户提供透明的文件服务。随着机群性能、规模的急剧增长,以及在科学计算和新型互联网产业的广泛应用,机群文件系统的高可用需求日益迫切。而其中元数据服务对于机群文件系统的整体服务有着十分关键的作用,其效率和容错性直接关系到文件的访问性能和可用性。因此研究元数据高可用技术具有重要意义。在分布式文件系统中,过去对元数据服务的可用性保证大都采用日志技术,而日志技术由于其自身的局限性,并不能很好地为元数据服务提供有力保障。本文对机群文件系统元数据高可用技术进行了研究。主要研究内容包括:
⑴对比复制技术在数据和元数据上的应用,总结出复制技术在元数据上应用的关键问题:①元数据高可用的系统框架,即冗余节点的组织和功能分配;②元数据高可用的一致性维护。
⑵提出了一种用于元数据服务的高可用机制。采用冗余的方式,将一个元数据服务器扩充为冗余复本节点的集合,并引入主、从复本节点的结构。通过基于日志和内存的同步方式,以及复本节点的非对称服务结构,构建元数据高可用的系统架构。
⑶将Paxos算法高效地结合到元数据处理流程中,保障在有故障发生情况下多个元数据复本的一致性。针对Multi-Paxos在实现中所出现的性能问题,提出了Packed Multi-Paxos和Paxos Coordination Queue(PCQ),由此进一步减少复制技术所引入的额外网络传输开销,协调整个Paxos算法与元数据处理流程的结合。
⑷经过测试表明,通过元数据高可用机制,可以使元数据服务在节点失效的情况下不中断,实现高可用的连续服务。同时,元数据写操作的性能下降被控制在可接受的范围内;并且由于每个复本节点都可以对外提供元数据读请求服务,元数据读请求的性能得到了提升。