数据密集型大规模作业处理系统设计

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:shiyiyiyiyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了能够高效的处理PB级、甚至更多的海量数据,当前的计算模式面临着巨大的挑战,需要进行实质性的改变才能满足各种应用需求。“易并行计算”(Embarrassingly Parallel Computation,EPC)假设模式影响广泛,很适合于数据具有良好的分片性的数据密集型应用处理,充分利用本地资源实现大规模数据的高效并行处理。高能物理数据分析,是数据密集型计算,符合这样的假设模式。   论文在综合分析了目前使用的作业批处理系统和主要分布式海量存储系统的基础上,提出一种新型的数据感知的作业处理系统框架。框架中的作业处理子系统通过分布式文件元数据管理器感知被处理文件的位置属性,将作业调度到数据所在的节点上,实现数据的本地化处理。   设计的框架主要包括用户交互服务、资源管理服务、作业调度服务、作业执行服务、文件元数据管理服务及存储代理服务;给出了作业控制流和数据流,并开发了服务间的接口规范。在分析了Scalla/xrootd、Torque/Maui的框架结构,结合源代码给出了程序处理逻辑和关键数据结构基础上,分析了优点及用作框架组件时的不足。文章对守护进程xrootd进行二次开发后用作节点存储代理,作业执行代理和作业管理器采用Torque,作业调度器使用Maui,引入了数据集描述文件、作业信息数据库。   论文重点设计并开发了框架要求的分布式文件元数据管理服务,给出了系统服务的结构图,以及元数据服务与其他服务的接口;描述了需要管理的数据实体及其表关系图;描述了事务、节点分配、负载均衡、安全的处理原则。为了降低组件的耦合度,以期达到良好的扩展性,论文采用了文本消息通信、操作上下文无关原则等策略。此外,引入了管理器实例自组织、多级热备、内存数据库、多副本等策略,采用“主-从”模式组织管理器实例,“集中”管理文件元数据,以期达到良好的可用性,良好的数据一致性较好的性能和较好的容灾性。   客户端接口通过命令行或函数调用方式实现服务器端的文件元数据操作,并区分查询操作与其他类型的操作;客户端的普通查询操作被转发到其他“从”实例上,从而服务“组”提供更好的聚合查询性能;复制文件等复杂操作的“事务性”由客户端保证。   原型系统的测试结果表明:元数据服务的性能能够满足设计要求,系统能够正确地处理用户作业,实现了框架要求的基本功能。
其他文献
卫星移动通信系统可以通过提供与地面蜂窝系统兼容的语音和数据服务,来解决传统蜂窝通信系统的业务范围受地理环境和运营成本制约的问题。新一代地球静止轨道卫星通信系统——
随着三维GIS的兴起和发展以及数据采集技术的进步,三维GIS中大规模矢量数据的可视化已经成为当前GIS空间数据可视化所要解决的一个重要问题。而目前,三维GIS中矢量数据的可视化
智能视频监控系统是计算机视觉领域的重要应用,运动目标检测是智能视频监控系统中的关键技术,阴影去除是运动目标检测中的重要环节。本文结合图像亮度归一化和二维交叉熵的思
良好的性能是程序设计开发的重要目标之一。结合硬件平台的系统结构特点,分析程序行为、寻找性能瓶颈是一个重要课题。硬件性能计数器是现代处理器芯片提供的一组专用寄存器
随着计算机技术的发展,系统仿真作为重要辅助分析手段被各航天大国广泛使用,用于提高空间任务设计和运行的质量和效率。然而,空间任务的各组成部分和各运行环节都充斥着大量的不
随着计算机网络技术的飞速发展,互联网已经成为信息获取的重要渠道,越来越多的信息通过网络进行传输和交换。XML作为一种可扩展标记语言,凭借其跨平台、可扩展的优势,被广泛用于
随着用户在互联网上交互模式的变化,微博等社交平台上均包含大量的实时信息及评论,针对这些短文本信息的情感语义挖掘对于公共事件的舆情分析、商业产品的市场营销、突发事件的
以Roche/454、Illumina/Solexa和ABI/SOLiD为代表的高通量测序技术能够大大降低测序的时间和成本,同时也对序列比对技术提出了更高的要求。加速序列比对一种方案是依靠比对算
科学技术的日新月异和城市发展中遇到的瓶颈,促使了智慧城市的产生。在我国,近期智慧城市相关工作也如火如荼,国家大力支持,地方政府也想抓住这个发展机遇。有些城市已经开展了智
铁路道口安全问题是制约铁路运输业发展的一个重要因素。在封闭式铁路改建过程中,道口视频监控系统能有效缓解道口安全问题。现有的道口视频监控系统只是将道口视频通过网络传