论文部分内容阅读
为了能够高效的处理PB级、甚至更多的海量数据,当前的计算模式面临着巨大的挑战,需要进行实质性的改变才能满足各种应用需求。“易并行计算”(Embarrassingly Parallel Computation,EPC)假设模式影响广泛,很适合于数据具有良好的分片性的数据密集型应用处理,充分利用本地资源实现大规模数据的高效并行处理。高能物理数据分析,是数据密集型计算,符合这样的假设模式。
论文在综合分析了目前使用的作业批处理系统和主要分布式海量存储系统的基础上,提出一种新型的数据感知的作业处理系统框架。框架中的作业处理子系统通过分布式文件元数据管理器感知被处理文件的位置属性,将作业调度到数据所在的节点上,实现数据的本地化处理。
设计的框架主要包括用户交互服务、资源管理服务、作业调度服务、作业执行服务、文件元数据管理服务及存储代理服务;给出了作业控制流和数据流,并开发了服务间的接口规范。在分析了Scalla/xrootd、Torque/Maui的框架结构,结合源代码给出了程序处理逻辑和关键数据结构基础上,分析了优点及用作框架组件时的不足。文章对守护进程xrootd进行二次开发后用作节点存储代理,作业执行代理和作业管理器采用Torque,作业调度器使用Maui,引入了数据集描述文件、作业信息数据库。
论文重点设计并开发了框架要求的分布式文件元数据管理服务,给出了系统服务的结构图,以及元数据服务与其他服务的接口;描述了需要管理的数据实体及其表关系图;描述了事务、节点分配、负载均衡、安全的处理原则。为了降低组件的耦合度,以期达到良好的扩展性,论文采用了文本消息通信、操作上下文无关原则等策略。此外,引入了管理器实例自组织、多级热备、内存数据库、多副本等策略,采用“主-从”模式组织管理器实例,“集中”管理文件元数据,以期达到良好的可用性,良好的数据一致性较好的性能和较好的容灾性。
客户端接口通过命令行或函数调用方式实现服务器端的文件元数据操作,并区分查询操作与其他类型的操作;客户端的普通查询操作被转发到其他“从”实例上,从而服务“组”提供更好的聚合查询性能;复制文件等复杂操作的“事务性”由客户端保证。
原型系统的测试结果表明:元数据服务的性能能够满足设计要求,系统能够正确地处理用户作业,实现了框架要求的基本功能。