分布式存储系统主动容错机制研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:a82430lusofqw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,随着大数据时代的到来,全球数据总量呈现爆炸性增长的态势,存储系统的规模也随之不断扩大。而系统规模的扩大势必会带来高故障频率问题,如何提高云存储系统的可靠性成为了一个亟待解决的问题。目前,云存储系统普遍采用传统“故障发生——数据重构”的被动容错机制,由于其本身的缺陷,被动容错机制很难从根本上解决系统可靠性的问题。因此,研究者提出了“故障预测——预警处理”的主动容错机制。硬盘故障预测模型虽然可以达到比较高的准确率和较低的误报率,甚至可以提前几天预测出将要发生故障的硬盘,但是很少有学者将预测模型应用到分布式系统上来提高系统的可靠性。本文提出了一种分布式主动容错机制,我们称之为自调度数据迁移机制(Self-Scheduling Migration,SSM),该机制不仅能够监控硬盘的健康状态、收集SMART(Self-Monitoring,Analysis and Reporting Technology)数据以获得训练预测模型所需要的数据,还能使用硬盘预测模型预测出将要发生故障的硬盘,基于预测结果提前迁移出危险的数据。我们使用分布式预警处理算法合理地从将要发生故障的硬盘迁移出数据,该算法不仅可以根据硬盘潜在故障的严重级别(即实时的预测结果)动态调整每个迁移任务的迁移速度,提前迁移更危险的数据;而且,在选择迁移源节点和迁移目的节点的时候,该算法能够充分地利用系统资源,达到比较好的负载均衡效果;在最小化减少迁移任务对系统正常读写服务的负面影响的同时,该算法还可以为不同严重级别的预警合理地分配迁移资源。本文在一个真实的分布式存储系统——sheepdog中实现了SSM。在加入主动容错机制后,系统的读、写性能虽然分别下降8%和13%,但相比于被动容错机制,SSM可以很大程度地提高系统的可靠性和可用性。
其他文献
随着航天技术的不断发展和空间活动的日益频繁,视频在航天领域中的应用和需求越来越广。星载视频数据量巨大,在进行存储或下行之前必须进行有效的压缩。  TMS320C64x系列DSP
模态逻辑是研究必然、可能及其相关概念的逻辑。模态逻辑是逻辑学最为重要的分支之一,它的理论、思想、技术和方法不仅是逻辑学中占有重要地位,而且在其他领域,如计算机科学、语
人脸识别是计算机视觉和模式识别学科前沿,同时在国家公共安全、信息产业也具有广阔应用前景。然而,在实际场景的应用中,人脸识别系统的性能通常会受到一些因素的影响,比如:光照
随着科技的快速发展,人工智能技术得到了广泛应用。作为人工智能的重要子领域,自然语言处理一直是众多学者的研究热点。自然语言处理领域有众多具有挑战性的任务,围绕这些任务,很
物流行业是“十二五规划”中涉及的重要行业,是我国未来经济发展的重要组成部分。冷链物流是物流行业的一个重要分支,而冷藏运输是冷链物流的重要一环,公路冷藏运输在总体冷藏运
本文对现代维吾尔语多策略统计、多维度动态特征数据分析、词性标注关键技术、常用词表和现代维语词语标注规范的研制等词汇一级信息处理过程中涉及的关键技术及方法进行全方
非功能需求在软件开发过程中起着重要的作用,甚至直接决定了软件项目的成败。很多非功能需求直接约束了系统的实现策略。如何根据非功能需求确定软件系统的最优的实现策略成为
随着企业信息化建设的发展和进一步深化,产生和积累了海量的非结构化数据,这些数据具有大量的链接关系,数据规模巨大,数据模式也在不断变化。企业的业务分析决策需要对这些大量的
在信息严重过载的今天,推荐技术能帮助我们更便捷地获取需要的信息。推荐技术从最初的提出发展到现在,出现了一些经典的算法,例如基于内容的推荐和基于近邻的协同过滤。推荐技术
全球市场竞争局势急剧变化,中国要从制造大国向制造强国转变,亟需建立准时交货、快速交货的核心竞争力。订单履行流程是供应链中影响企业订单交付水平的关键业务流程。本文研究