栅格地图分布式存储方案设计与性能分析

被引量 : 0次 | 上传用户:lxget
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,各行业数据量呈现爆炸式增长,传统关系型数据库的弊端逐渐体现出来。在此背景下,海量数据的分布式存储已经逐渐成为诸多学术研究机构和IT企业的重点研究课题。地理信息系统(GIS)领域的栅格地图数据除了数据量大,还具有结构复杂、小文件数量多以及空间特征明显的特点,为此本文提出了一套适合于GIS栅格地图数据的分布式存储方案。本文在对Hadoop框架进行了深入分析的基础上,设计并实现了一套专用于存储栅格地图数据的分布式存储方案——“瓦片数据分布式索引存储系统(TDIS)”。TDIS不仅包括了基于HBase的分布式索引机制及基于HDFS的瓦片存储方案,同时通过修改HDFS源码实现了分布式缓存功能,并完成了基于MapReduce的数据清理功能等。本文对影响分布式存储系统读写性能的因素进行了理论分析,并通过实验证明在相同的硬件环境下,TDIS系统的访问性能相比于其他存储系统提升了近40%。此外,本文在对多组实验结果分析的基础上讨论了提升TDIS系统访问性能的具体方案。本文设计的TDIS系统已用于实际科研项目中,实践证明该系统能够提供稳定的瓦片存取服务,并在实际应用中体现出明显的性能优势。
其他文献
<正>脑卒中是导致人类死亡的第3大原因,其中缺血性脑卒中大约占80%,颈动脉狭窄是其发病的主要原因之一,并且与颈动脉狭窄程度密切相关。近年来,随着血管介入的发展,使得脑保
非法证据排除规则是刑事诉讼活动中的一项重要的内容,它直接关系到案件事实的认定,甚至是关系到对案件的最终处理。目前,世界各国对非法证据排除这一问题予以了高度的重视,不
1949年之后的四、五年间,新中国存在着以赵树理、茅盾和胡风为代表的三种现实主义;文革前的17年,新中国文学取得了五方面巨大成就,其教训是未能实现从战争年代的思维模式到建设时期思维
为简化充电机与电池管理系统BMS的通信流程,并能够对BMS传送来的数据进行辨识和分类,通过对国家充电标准协议(GB/T 27930-2011)的研究和解析,提出了一种基于事件触发的充电机与
肩周炎,全称为肩关节周围炎,是以肩关节疼痛和活动不便为主要症状的常见病症,祖国医学称之为“漏肩风”、“冻结肩”等。中医一般认为肩周炎的形成有内、外两个因素:内因是年
聚乙烯醇(PVA)纤维具有良好的抗拉性能、化学稳定性能与热稳定性能。相对于普通混凝土,通过内掺PVA纤维制成的高韧性混凝土复合材料(ECC)的直接拉伸性能、抗压性能、抗拉性能
目的:探讨心宁胶囊治疗甲亢性心脏病(THD)临床疗效。方法:64例入选取病人随机分为治疗组(A组)34例,对照组(B组)30例。对照组组与西医常规治疗,治疗组在此基础上加服心宁胶囊,
前列腺癌是西方国家最为常见的男性恶性肿瘤之一。近年来,随着人口老龄化和饮食结构的改变,我国前列腺癌的发病率逐年上升,严重威胁着老年人口的生活质量和预期寿命。前列腺癌的
当今中国处于计划经济向市场经济、农业社会向工业社会、传统社会向现代社会转型的重大时期,中国经济、政治、社会结构正经历着巨大而深刻的变革,经济成分、价值观念和利益格
目的探讨淫羊藿苷对胡须体觉皮质局灶性脑梗死大鼠PTEN和GAP-43蛋白表达的影响,探究淫羊藿苷促进神经功能恢复的可能机制。方法 24只成年健康雄性SD大鼠,随机分为淫羊藿苷组