【摘 要】
:
在云计算的基础设施--数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错、高可靠性、高可扩展性的优势被广泛使用。但HDFS中遵循机架感知
【基金项目】
:
国家自然科学基金(No. 61571324)、天津市自然科学基金重点项目(No. 16JCZDJC30900)和国家国际科技合作专项(No. 2013DFA11040)
论文部分内容阅读
在云计算的基础设施--数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错、高可靠性、高可扩展性的优势被广泛使用。但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有数据被以相同副本数复制后分散存储在不同的Data Node节点中,这势必会开启过多的Data Node而导致数据中心能耗过高。针对这一问题,突破现有HDFS对数据块的恒定副本个数存储的局限,提出保证数据块可用性的可变副本存储策略。建立了分布式文件存储超图模型,数学表述了数据块、文件和Data Node间的多对多关系。基于模型提出一种?~横贯超边计算方法实现数据中心HDFS可变?~重极小覆盖集选择,从而确定保证数据可用性的最小数量Data Node开启集合,实现数据中心存储单元节能。在原问题的可行域中会存在多个最优解的情况,即在满足数据块?~覆盖的条件下,存在开启Datanode数目最少且相等的多种方案,因此该问题是一个多态函数优化问题,本文提出采用贪心萤火虫算法加以求解。算法性能测试实验通过Hadoop环境下的Word Count、Tera Sort和Grep三种典型计算实例运算,进行了数据可用性实验,HDFS集群存储负载均衡实验,集群能耗分析以及数据中心网络性能试验。实验结果表明,可变?~数据副本最小覆盖集算法在保证数据块和文件可用的条件下,实现更少的Datanode开启,有效节省HDFS集群能耗,并且通过开启Data Node的合理配置,缓解了网络传输拥塞。
其他文献
有效推进习近平总书记在庆祝改革开放40周年大会上的重要讲话精神“进课堂”,是广大师生切实把思想和行动统一到重要讲话精神上来,增强服务新时代改革开放的思想自觉、政治自
文章介绍了改进后的大型立式油罐倒装施工工艺的技术特点。通过与目前大型固定顶油罐施工方式的对比分析,并综合国内外的研究现状,探讨出一种新的施工工艺,即采用液压顶升与
农民是城镇化发展所需投资的积累主体,也是城镇化劳动力的主要来源。本文基于农民主体视角,分析了美国、日本、韩国3国城镇化发展的历程及经验,并总结了3国经验对当前中国推
前列腺癌(Prostate Cance,PCa)属于男性泌尿生殖系统中最常见的恶性肿瘤之一,也是男性癌症死亡的主要原因。近年来,PCa的发病率和死亡率不仅在西方国家有所上升,在亚洲人口中也迅速增长。传统治疗PCa的方法主要有激素治疗、睾丸切除、放疗和化疗等方法。手术切除、化学治疗和放疗往往伴随着许多副作用,如生存率低、耐药性差、神经毒性和血液系统不良事件等。前列腺癌是雄性激素敏感性肿瘤,在癌症早期
货船空调是为货船的居住区域提供新鲜和温度适宜空气的。如果空调送风产生较大噪声,会直接影响船员的日常工作和生活,所以对空调噪声的控制,在现代船舶中十分重要。货船空调
随着我国正式步入老龄化社会,人们对养老问题的关注度日益提高。受具体国情与自主选择的影响,居家养老成为主要养老模式。所以优化居家环境,提升家电产品设计将对老年人群生活有实质性的帮助。厨房是居家环境中相对复杂且安全性要求较高的区域,对于老年人来说厨房是家庭沟通情感、享受天伦之乐的空间。因此,与老年用户实际需求相匹配的厨房家电可提供轻松且高效的烹饪过程,让老年人体验更健康舒适的饮食生活,从产品角度传达社
遗传多样性是生物多样性的重要组成部分,且其表现形式是多层次的,对其研究也应该体现在多层次。本研究以2001-2002年从北京、山西和黑龙江三个地区收集的14份野生胡枝子属植物
软体机器人具有超强的环境适应性、敏感性和灵活性,可吸收碰撞所产生的能量,与人或环境友好交互,并能模拟生物系统连续运动,在军事侦察、灾难救援等复杂环境的探索与检测方面具有重要的应用价值。当前的研究重点多集中于提高柔顺性能,但较少考虑其实时的刚柔可控性,即要求运动时表现出高柔性,执行任务时又能展示出强刚度。本文结合主动驱动的气动网络结构与被动驱动的堵塞机构的优势,设计出实时变刚度的软体驱动器,通过理论
本文应用企业绩效管理新理论剖析了国有大型煤炭企业中普遍存在的绩效计划制定不规范、绩效考核评估不得力、绩效管理人为因素干扰严重等问题,提出了发挥任务绩效导向作用、
大学生心理危机本质上就是心理严重失衡状态,有着五个方面的特征。大学生心理危机的预警是依据科学的指标体系对危机当事人进行评估,以期早发现早干预。本文在分析了大学生心