针对地域敏感性数据的云存储技术研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:Dalyforever
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,数据规模的不断扩大,云存储以其优异的性能和可靠性得到了广泛的应用和研究。云存储技术日趋成熟,能够充分利用廉价的低端配置主机,通过虚拟化技术整合成具有强大计算和存储能力的计算机集群。但是随着互联网数据规模的进一步扩大,以及互联网应用的不断细分,云存储系统性能还有很大的提高空间。如何优化现有云存储系统使之适应不同类型互联网应用、进一步提高云存储系统性能逐渐成为云存储研究领域的重点之一。基于地域敏感性数据的互联网应用近年来得到了快速发展,这类互联网应用的数据具有明显的地域特性,访问用户相对集中,因此如何利用这一特性进一步优化云存储系统的性能是一个值得研究的课题。本文主要围绕地域敏感性数据的存储技术进行研究,主要工作包括:1、对现有云存储技术和平台进行了的研究与分析,重点分析了HDFS的基础架构、文件读写机制和关键技术等。2、基于地域敏感性数据的特点,分析了现有HDFS存储架构存在的问题,优化了HDFS的基础架构。通过在原有HDFS架构的基础上加入缓存节点,并设定缓存节点部署在靠近用户的网域内,尽可能让用户直接从缓存节点读写数据,以降低文件读写操作的网络传输代价。3、优化了HDFS负载均衡策略。提出了一种基于确定环境下多阶段多目标(Certainty, Multi-stage and Multi-object, CMM)决策模型的负载均衡策略。CMM决策模型是以CPU、内存和磁盘的剩余负载能力作为决策前提条件,以负载均衡效果、负载迁移代价和数据传输代价作为决策目标,并根据本文设计的若干决策节点和决策节点之间的影响关系构建的一个有向无环图。该模型将负载均衡方案的决策过程分为多个决策阶段,通过多个决策阶段的决策确定一个备选负载均衡方案集合,最后根据决策目标评价值及权重计算各负载均衡方案的效用,据此选择出最优负载均衡方案。4、优化了HDFS数据放置策略。本文的HDFS数据放置策略由两个部分组成。第一,在数据块写入系统时的节点选择策略,用于替换HDFS原有的数据放置策略。该策略是基于差别概率的思想,根据不同剩余负载能力为数据节点分配不同的选中概率,以此更公平地为数据节点分配工作负载。第二,缓存管理策略,用于管理缓存节点上数据块。在缓存节点有足够负载能力时,将相应的热门数据块备份到缓存节点上;同时定期清理缓存节点上非热门数据块。5、进行仿真实验并分析仿真结果。为了验证本文提出的云存储技术方案,本文在cloudsim云仿真平台的基础上开发了仿真系统并进行了仿真实验。结果表明,文本提出的云存储技术更适合地域敏感性数据的存储,在数据的读写速度方面和负载均衡效果等方面具有明显优势。
其他文献
通路分析是加深生物实验数据理解的通用研究方法。信号通路影响分析方法(SPIA),该方法将注释在通路的经典的富集分析方法和实时的扰动的方法结合到一起。因为以前方法是主要
秘密图像信息的安全保护是信息安全的一个重要研究领域。图像秘密共享主要解决秘密图像信息在存储和传输时容易丢失和被篡改的问题,提高秘密图像保护的安全性。目前,图像秘密共
该文分析OSPF后,将OSPF协议与RIP协议作比较.通过比较,OSPF协议的优越性显而易见.它在收敛性、可扩展性、健壮性和安全性等方面都有自身的优点.它对于大型网络具有绝对的优势
该文详细分析了目前国际上常用的故障注入技术的优缺点和适用环境.针对于80486这种封装复杂的目标芯片,插入探针方式的搭接式故障注入方法已经不适用,为此,该文采用了嵌入式
该文针对文件所面临的安全威胁,分析了现有的文件保护技术,并提出了基于计算弹性理论的文件保护方案,即弹性文件系统模型.该模型除了具有文件系统的基本功能——文件的基本I/
随着网络技术和通信技术的长足发展,因特网已成为现今世界不可缺少的信息交流手段。人们的生活、工作和娱乐方式已逐渐地溶入其中,例如远程教育系统、网络视频会议系统、视频点
自从20世纪70年代网络出现以后,随着Internet及相关技术的发展,人们已经把越来越多的工作放到了网上进行,于是不得不面对这样的一个现实:我们能不能完全控制这个虚拟的空间?
该文首先介绍了长春市电信局数据业务使用的"数据业务管理系统",该系统通过半年的实践使用,完成了当初的设计要求,取得了满意的效果."数据业务管理系统"主要实现了数据业务从
平面图的一种常用画法就是平面画法.该文主要研究无向图的平面判定算法和平面图画图算法.由于平面图广泛地应用于VLSI等领域,因此研究该问题有很重要的实际意义.该文首先对平
在当今的计算机领域,云计算的概念炙手可热,并且已经被证明是IT企业的未来应用的趋势。在云计算中,数据是在服务器和客户端之间进行传输的,相应的,网络传输速度是网络中的关键因素