基于纠删码的云存储系统扩展与修复性能的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:MyEclipse927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云存储规模的不断增大,云存储系统面临数据丢失的风险也不断提升,因此云存储系统中数据可靠性问题是当前学术界和工业界关注的一大热点。为了解决该问题,云存储系统通常使用具有低存储成本的纠删码技术。区别于一般存储系统,云存储系统需要满足海量用户复杂多变的存储需求,以及提供7×24高可用的存储服务,而这给云存储系统中纠删码技术带来两大关键性科学问题,分别是纠删码的存储扩展性能较低与频繁变化的存储扩展需求之间的矛盾,以及纠删码的数据修复性能较低与云存储服务高可用性之间的矛盾。因此,针对基于纠删码的云存储系统,围绕存储扩展和数据修复的性能开展了如下四方面的研究:
  基于纠删码的存储扩展一般会改变编码参数而产生大量的校验块更新,从而造成巨大的带宽开销,进而影响到云存储系统提供服务的能力。针对这一问题,对广泛使用的ReedSolomon(RS)码存储扩展问题进行了深入研究。在理论上,通过信息流图模型证明基于RS码的存储扩展所消耗带宽(记为“扩展传输量”)的理论下界,并提出一种可达到下界的最优扩展传输量的理论编码构造;在系统上,根据理论结果,设计了基于网络编码的快速存储扩展算法,可达到最优或接近最优的扩展传输量。实现一个基于网络编码的快速扩展算法的分布式存储原型系统NCScale。经Amazon云平台EC2上的实验证明,NCScale的扩展时间相对于当前的最优方案Scale-RS最多可减少50%。
  由于云存储系统高可用的存储需求,一种可大幅减少修复操作带来的带宽消耗进而提升系统可用性的新型编码技术——再生码受到广泛关注。当前对于再生码的研究主要集中在数据修复问题上,而缺乏对云存储系统极为重要的存储扩展问题的研究。针对这一问题,对再生码的存储扩展问题进行了深入研究。对两类再生码MBR码以及MSR码的扩展问题,分别提出相应的编码扩展方案。这些方案利用MBR码及MSR码的编码结构以及局部更新技术来对扩展过程进行优化,从而大幅减少了扩展过程中的网络开销。在Hadoop分布式文件系统(HDFS)中实现这两种扩展方案,并在Amazon云平台EC2上进行实验。结果表明,相对于当前集中式的扩展方案,扩展传输量分别降低了66.5%和43.5%。
  现有的主流基于纠删码的数据修复方案均设计为在静态的网络情况下来进行快速的数据修复,而难以应对云存储中异构且快速动态变化的网络。针对这一问题,对云存储网络带宽异构且快速动态变化情况下的基于纠删码的数据修复问题进行了深入研究,提出一种灵活的基于树的流水线修复方案FTPRepair。FTPRepair利用树状结构来避免拥堵的修复链路,从而在异构的网络中进行快速的修复;且FTPRepair进一步利用软件定义网络技术实现分片级的修复来灵活应对快速动态变化的网络。FTPRepair实现在模拟器Mininet以及真实系统ECPipe中,并在Amazon云平台EC2上进行实验。模拟和实验结果表明,相对于传统修复以及当前最优修复方案Repair-Pipelining,FTPRepair可以明显提升降级读和节点修复的性能。
  云存储系统通常使用大规模的磁盘来存储海量的数据,这大幅增加了系统中出现磁盘故障的频率,且这些磁盘故障分布不均匀,从而影响到云存储的高可用性。针对这一问题,将磁盘故障预测的结果与微软Azure云存储中所使用的LRC(locally repairable codes)码相结合进行了深入研究,提出一类预测式的LRC(即ProactiveLRC,记为pLRC)。pLRC利用基于决策树的磁盘故障预测方法来动态调整LRC码各个分组的大小,从而使得即将发生故障的数据块在更小的组内进行更快的修复。通过MTTDL建模分析pLRC的可靠性,结果表明,pLRC的可靠性相对LRC码最多可提升113%。在Hadoop分布式文件系统(HDFS)中实现pLRC,并在Amazon云平台EC2上进行实验。结果表明,pLRC的降级读和磁盘修复性能相对LRC码最多可提高46.8%和47.5%。
其他文献
随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量N
学位
随着计算机网络的发展以及智能手机等多媒体获取设备的普及,多媒体数据呈爆炸式增长,其中图像和视频数据已经成为大数据时代的主要数据类型。如何在海量的图像中以较小的时空开销准确找到用户感兴趣的图像成为多媒体领域的研究热点。针对图像的底层特征与高层语义间的“语义鸿沟”问题,以及全局图像表示缺乏几何不变性和空间占用较大的问题,利用深度学习、特征编码、哈希学习等方面的知识,论文系统探讨了图像检索系统中的描述符
学位
信息技术的发展促使数据规模急剧增长,进一步推动了云计算技术的发展与成熟,使得越来越多的企业和个人将业务或应用迁移到云计算平台上。在云计算平台中,云服务提供商往往采用共享服务架构,并通过虚拟化技术向用户交付服务。比如将租户应用部署在虚拟机内,而虚拟机共享计算、存储和网络等物理资源。共享服务架构能够提高资源利用率并降低管理成本,但会引入资源竞争,使得租户间的性能相互干扰。云存储系统作为存储服务的载体,
磁盘是数据存储最常用的设备之一,磁盘故障预测是保障数据可靠性的重要技术手段。磁盘故障预测方法一般可以分为两大类:设备级故障(即整盘故障)预测和扇区级故障(即局部磁盘故障)预测。学术界采用一些传统机器学习方法,例如支持向量机、逻辑斯特回归、决策树和随机森林等,预测磁盘故障并取得了一些成果。但是,这些研究仍然存在以下三个方面不足:(1)面对实际数据中心中单一型号数量较少(小样本)磁盘的故障预测问题,预
学位
固态盘(Solid State Drive)因具有高内部并行性、低随机访问延迟、低能耗以及小尺寸等优势,作为主流的存储设备被广泛用于个人电脑和数据中心。近年来,随着5G和大数据技术发展,对存储容量、性能和可靠性提出了更高需求。得益于半导体制程工艺技术、单元多比特技术以及三维堆叠技术的发展,闪存存储密度大幅提升。然而,存储密度的增长是以牺牲可靠性为代价,不可靠的存储介质会引起数据存储可靠性维护开销大
学位
键值存储是支撑数据中心和众多数据密集型应用的关键技术,广泛应用于网页检索、电子商务、云存储、社交网络等领域。大数据时代下,键值存储的发展始终围绕着三大需求,即更高的访问效率、更大的存储容量和稳定可预测的性能。在近些年发展的新型存储器件中,瓦记录磁盘显著提高了磁盘面密度,具有低成本、高存储容量的优势;非易失性内存则能够明显提升访问效率,兼具传统硬盘的持久性和接近DRAM的存取速率。因此,新型存储器件
为从大规模图中挖掘出有价值的信息和知识,分布式图计算系统首先通过图分割方法,将图中的顶点和边分配到各计算节点上;然后,执行特定的图处理流程,迭代计算图中的顶点数值,直至图算法收敛。因此,图分割方法和图处理流程在很大程度上决定了分布式图计算系统的整体性能。传统的分布式图计算系统通常基于同构计算集群,并采用静态的、通用的图分析模式。但随着图计算应用在广度和深度上的不断扩展,新型的分布式图计算系统需要能
在互联网时代,大规模近似最近邻检索方法在海量多媒体数据检索,人脸识别等领域具有广泛应用。如何快速、准确、高效地对大规模(十亿级别)多媒体数据进行近似最近邻检索成为当前检索技术方向研究的热点和难点。  目前主流的大规模近似最近邻检索方法主要采用基于量化方法的索引结构和压缩编码方法来提高检索准确率和速度,并利用图形处理器(GPU)强大的并行计算能力对检索方法进行加速。由于GPU的内存空间有限与不同于C
移动边缘计算(Mobile Edge Computing, MEC)将大量的计算和频谱资源转移到接近最终用户的地方,减少了服务时延。面向MEC的延迟敏感的人工智能(Artificial Intelligence, AI)应用,如情感识别,人脸识别等,通常受到能量消耗和计算资源的限制,不能满足QoS要求。计算卸载与迁移作为MEC关键技术之一,研究者们提出各种方案以解决MEC中的计算与通信问题。  然
图像分类与目标检测是计算机视觉领域中众多人工智能应用中的关键技术,是重要的研究方向。其中图像分类是判别图像的类别问题,目标检测是实现对图像中的多个目标的定位和分类,即图像分类是目标检测的基础。近些年,研究人员利用深度学习方法大大提高了图像分类与目标检测的性能,使用卷积神经网络进行特征学习已经成为图像处理的主要方法。但是,由于图像中场景变化,目标遮挡,目标模糊,分辨率过低等原因,使得图像分类与目标检
学位