基于HDFS的名字节点的性能优化技术研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:wxcheng823
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今是大数据的时代。面对日益增长的海量多样的数据,传统的数据存储技术已经无法满足这样的大数据存储需求。Hadoop分布式文件系统的出现,解决了大数据存储的难题。由于Hadoop分布式文件系统HDFS(Hadoop Distributed File System)采用一主多从的架构,存在着名字节点单点失效问题;并且在存储海量的小文件时,会严重降低名字节点的存储性能,同时引发名字节点的内存瓶颈问题。对名字节点性能优化的研究,为解决大数据处理与存储难题有着重要的探索价值和实际意义。课题对名字节点的性能优化进行了深入的分析与研究。针对名字节点单点失效问题,本课题采用MN-BH分布式文件系统结构,优化了原有的云存储平台。若主名字节点服务器因故障宕机,可以及时启动另一从名字节点服务器,确保Hadoop集群正常服务。为了提高名字节点对海量小文件的存储性能,解决小文件引发的单点内存瓶颈问题,本课题提出了HSFM小文件存储优化算法。待上传的小文件经预处理层进行处理,即将海量的小文件归并成一个大文件,然后持久化地存储在各个DataNode节点中,从源头解决了小文件引发的名字节点内存瓶颈问题。该算法可有效地减轻名字节点内存负担,大大提高名字节点读写文件的性能。对名字节点的性能优化分析后,本课题给出了名字节点性能优化的详细设计与实现。最后,测试优化后的HDFS分布式文件系统,模拟主NameNode服务器宕机,启用待命从NameNode服务器,HDFS中数据文件没有丢失,确保整个Hadoop服务器集群正常运行,测试达到了预期效果。测试优化后名字节点性能,设计了三组实验,即:NameNode内存占用量测试、小文件存储性能测试、小文件读取性能测试。实验结果表明,优化设计可以大大地减少名字节点内存占用量;文件读写速度较优化前速度的2-3倍。分析测试后的实验数据,达到了预期测试效果。
其他文献
2006年10月21日上午,笔者认真聆听了德国BKtel通信系统公司董事长、总经理约根·塞登贝格博士在ICTC2006上所作的精彩技术报告,不曾想,当日晚上即获得了与约根·塞登贝
1引言南昌模拟MMDS系统建于1996年,MMDS发射台位于市郊一个海拔841m的山上,主要用于覆盖郊县农村,该系统发送12套模拟电视节目.由于模拟MMDS发送电视节目套数较少,不能满足人
随着地面数字电视的发展,世界各国已经开始部署和实施地面数字电视广播,我国也于2006年8月30日正式发布了国标GB20600-2006《数字电视地面广播传输系统帧结构、信道编码和调制
目的探讨高血压患者实施健康教育的难点及对策。方法对227例高血压患者的健康教育进行回顾性总结分析。结果健康教育存在难点,主要为3个方面:1坚持长期服药难;2坚持长期测血
目的分析常规超声联合超声弹性成像诊断乳腺导管内癌的效果。方法选择2012年6月至2013年6月在我院接受治疗的16例经术后病理证实为乳腺导管内癌病灶的患者作为研究对象,手术
全文对香港有线宽频通讯有限公司与香港电讯盈科有限公司之间的竞争进行了分析比较,从公司基本情况、网络规模与性能、收费电视节目内容、收费电视资费标准以及互联网接入和
近日.Avid宣布将对为数字内容创作、管理和发布产业的专业人士服务的方式作出重大改革。根据广泛的市场调查.Avid计划于2008年发布一系列以用户为导向的行动方案——所有方案都
目的研究无创呼吸机使用中面部压疮的护理对策。方法本文选择我院2013年10月至2014年10月收治因呼吸衰竭等疾病需要使用无创呼吸机的患者100例为研究对象,并对患者进行面部的
论述了多晶硅、SOI(绝缘体上硅 )、碳化硅、SOS(蓝宝石上硅 )、石英、溅射合金薄膜、陶瓷厚膜和光纤等高温压力传感器的基本结构、工作原理、特点及研究现状 ,展望了压力传感
目的为推动市场导向新药研发策略的应用,促进和提升我国新药研发能力提供参考。方法对市场导向新药研发相关概念深入剖析,对美国、日本、印度等国制药企业市场导向新药研发策