云环境下大数据存储副本策略的优化研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:acidliu1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的到来给人类带来机遇,也带来挑战。云存储为大数据提供了理想的存储解决方案。可用性和性能是用户使用云存储的重要考量。云存储中的副本技术不仅能维持系统较高的可用性,同时还能整体提升系统的性能。动态副本技术相比较于静态副本技术更能满足云存储复杂环境下的数据访问需求。副本因子动态调整策略以及副本放置问题是副本技术的研究重点,也是本文的主要研究内容。本文针对副本因子动态调整问题,在分析现有Hadoop分布式文件系统静态副本机制不足的基础上,结合时间局部性原理对文件的访问热度进行预测,对不同热度的文件动态地采取不同的调整策略,具体通过筛选和调整两个阶段来完成,在提升访问性能的同时避免存储资源的浪费。实验结果表明改进的副本因子调整策略可以降低系统作业平均响应时间,能够有效地提升数据访问的性能。本文针对副本放置问题,分析了已有副本放置策略在异构环境下所存在的局限性,结合统计学知识对集群中节点的异构特性进行定量评价,在遵循给定副本放置基本原则的前提下,根据节点综合性能评价值的不同来进行合理的副本放置。实验结果表明改进的副本放置策略在确保系统整体可用性的前提之下能使副本分布更加趋于合理和均衡,同时有利于提高Map任务本地化比例,进而提升MapReduce的执行效率。
其他文献
基督信仰传华以来,有15个世纪的长远历史,自人华伊始,便致力于本土化,却迄今未见成功,未尝建树一种略类于中国佛教的中国基督教,根源究竟何在?或谓近代基督教在华广传,乃以不平等条约
按照国务院深化国有银行体制创新改革、全力防范金融风险的整体要求,中国邮政储蓄银行于2007年在原有的邮政储蓄基础上正式成立(以下简称“邮储银行”)。邮储银行是与中、农、工、建、交齐名的大型零售商业银行,定位于服务社区、服务中小企业、服务“三农”,致力于为中国经济转型中最具活力的客户群体提供服务。同时,邮储银行依托其资本比较充裕的优势,不断践行服务中大型客户、多次助力省级以上国计民生重大项目建设,为
我国拥有丰富的钛矿资源,但由于矿相组成复杂、共生元素多样以及碱土元素含量高等原因,导致钛资源并未得到有效的利用。传统提钛工艺包括钛矿的富集、氯化、还原等流程,这些
提出一种将辅助背景滤波与色彩相似度检测相结合的前景有效提取算法。该算法首先运用背景差分构建辅助背景来描述环境噪声分布,并用辅助背景对疑似前景区域进行空域滤波,以增强
在《我就是演员——夜店》中,张含韵饰演一位普通的超市收银员,不料劫匪深夜闯入,几番要挟只为找到曾暂时放置在冰柜里的钻石,“把东西拿出来,不然我就开枪了!”她因害怕蜷缩
期刊
近年来,研究者们提出了许多算法来处理前景提取和图像抽取问题.然而,这些算法存在许多共同缺点:需要三元图作为输入、计算时间过长、大部分算法仅仅使用颜色信息等等.在这篇文章里
在中华民族丰富的文化传统中,节俭作为一项美德,指的是人们对待个人生活欲望的态度,它要求人们节制自己的生活欲望,合理约束自己的消费行为,俭约生活,节约财用.伴随着人类物
马克思主义哲学主要研究了人与自然、人与社会的关系问题。马克思主义的生态哲学是我国社会主义现代化建设中正确处理人与自然关系的理论基础。在中国的历史长河中,生态思想
针对宁蒙河段近期水沙问题,以水力学及河流泥沙动力学为基础,研究河道水沙变化后河道冲淤临界指标.利用 1952 2012 年黄河宁蒙河段各水文站点实测资料,系统分析了河段水沙变
目前,在船舶倾斜试验中,国际上通用的单摆线摆锤由于其结构特点,试验人员因视角差异,在读数中容易产生偏差。而该种偏差在自升式钻井平台的倾斜试验中表现尤为突出。本文介绍