云存储中基于非均匀保护策略的纠删码技术研究与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:jiangjinsong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在数据飞速增长的今天,数据即意味着价值,安全可靠地存储数据备受人们的关注。与传统存储系统相比,云存储系统具有高性能、高扩展性、高可用性、大容量等特点,因而其得到了广泛的应用。云存储系统通常结合使用三副本备份技术和纠删码技术来保证其数据的可靠性及可用性。然而,目前云存储系统中的纠删码技术均沿袭传统的通信领域的编码方法,没有针对数据非均匀失效的特点进行设计。本文正是由此出发,对其进行了深入的研究,主要工作包括以下几个方面:1、本文对LRC(Local Reconstruction Codes)码进行了改进,设计了一种基于非均匀保护策略的纠删码—UFP-LRC(Unequal Failure Protection Based Local Reconstruction Codes)码,它在不增加额外存储空间的情况下,将原始数据块分入大小不同的逻辑分组,并为不同的分组提供不同级别的纠删保护,进而对高失效率存储节点上的数据给予更多的保护,同时让它们的修/恢复开销更低。2、本文以Hadoop集群为总体架构,设计了基于UFP-LRC纠删码的云存储容灾系统,本系统中的数据文件依据用户的访问频度被划分为冷数据文件和热数据文件。然后,在此基础上提出了冷热数据判断技术,它通过扫描WebServer服务器中的文件表能准确判断出数据文件的冷热状态。云存储容灾系统则分别使用UFP-LRC纠删码技术和三副本备份技术存储冷热数据文件以提高其可靠性及可用性。3、对本文所设计的云存储容灾系统进行了功能测试,并对UFP-LRC码、LRC码和RS码的平均恢复开销、恢复失败率和可用性这三种性能进行了对比测试分析,测试结果均达到了预期目标。最后,总结全文并展望下一步工作。
其他文献
随着社会经济的不断发展,高速公路已经成为城市道路交通系统的不可或缺的一部分。当交通需求较高的时段,容易出现交通拥堵现象,高速公路拥堵现象已经成为世界范围的严重问题,无论从经济、安全,还是从环境角度,改善交通拥堵状况,提高通行能力都是一个亟待解决的重要课题。同时,如何利用复杂网络及其同步理论研究交通流的控制问题,从而为交通管理提供决策支持已经成为学科发展的新趋势。多入口匝道协调控制能够有效抑制连续交
利用计算机视觉的方法来统计电梯轿厢内人员数量,是电梯安全领域研究的新课题。目前,计算机视觉的检测算法大多数是利用PC平台完成的,实用性差,而如何将计算机视觉检测算法拓
随城镇化快速发展,可持续理念进一步推进,于城市规划与城市设计之中加入对微气候作用的研究越发得到重视,环境热舒适的探索的课题也成为越来越多的专家学者研究的内容,并开始发掘传统设计经验,结合当今技术手段,根据不同地区的气候、地形条件来展开一系列的研究工作,希望在场地空间设计阶段通过加入热舒适性的考虑来达到土地利用高效、空间环境舒适的效果。当前,在国内外已有对于居住小区,步行街道、城市商业区以及城市公园
电信服务业是国家基础设施的命脉,属于公共事业,涉及国民经济和人民生活的各个领域。电信业外资引入更是各国政府对外商直接投资(FDI)政策研究的重中之重。随着各国电信业政
21世纪是信息时代,各种媒介飞速发展,视频传输也不例外。现代视频在逐步的向以下几个方向发展:高清晰度、高帧率、高压缩率。面对以上的发展趋势,HEVC标准应运而生。HEVC主要
凝胶作为化学堵水、堵漏剂,在原油开采、提高油气采收率等方面有着极其重要的作用。凝胶的力学性质对油井的封堵质量至关重要。由于目前市场上还没有针对油田开采堵水堵漏凝
以往沉箱式防波堤的设计理论与计算方法大多针对地址条件较好的近岸工程,针对软粘土地基上防波堤的设计理论和稳定性分析方法尚不成熟。随着海岸港口建筑物向离岸、深水和地
结构受外部激励会产生振(震)动,大大影响人民的生活甚至威胁人民生命财产安全,国内外学者长期致力于结构的减振(震)方面的研究。随着社会的进步和科学的发展,不断的有新的减
分数阶微积分是整数阶微积分的推广。相较于整数阶系统,分数阶系统具有记忆和遗传特性,可以更加精确地描绘复杂的自然现象。基因调控网络模型与分数阶微积分理论的结合可以有效地刻画DNA、RNA和蛋白质分子之间的相互作用。因此,探究分数阶基因调控网络的动力学行为有助于了解基因间的作用机制,进一步解释复杂的生命活动。本文研究了时滞分数阶基因调控网络的动力学行为,主要分为三个部分:首先,利用压缩映射原理和不动点
随着石油资源的减少,以及人们对环境保护意识的不断增加,我国已经成为了全球最大的纯电动汽车市场。目前国内已经注册的纯电动汽车公司超过一百家,国际上传统汽车企业也都开始把产品重点转向纯电动,因此纯电动汽车市场竞争越来越激烈。传统的竞品分析方法存在耗时长、工作量大的问题,为了加快新车型的开发,快速准确确定车型竞品为后市场分析提供有利条件,迫切需要效率更高的车型竞品分析方法。论文以捷豹路虎品牌推出新车型项