分布式存储系统的设计与实现

来源 :大连交通大学 | 被引量 : 0次 | 上传用户:ddeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全球社交网络下的基础设施必须持续不断地提供对数十亿可变大小的媒体对象的访问,例如照片、视频和音频剪辑等。对这些对象的访问必须以一个地理分布,高度可扩展和负载平衡的存储系统作为支撑,并且存储系统必须对外提供低延迟和高吞吐量的服务。现有的文件系统和对象存储系统在服务这样的大对象时都存在不足之处,如存储了过多的冗余元信息、提供多余的功能、未解决负载均衡问题等。本文以提供对海量可变大小的媒体对象的存储和这些媒体对象低延迟和高吞吐量的访问为目标,基于现有存储系统,对分布式存储系统的总体需求、功能需求和性能需求进行了综合的分析,设计并实现一个高性能、易扩展、负载均衡的分布式存储系统。该分布式存储系统的总体架构是由集群管理模块、前端路由模块和数据节点模块构成。集群管理模块负责维护集群的状态,存储了整个分布式系统的硬件分布信息,数据文件的逻辑分布信息等集群的状态信息。前端路由模块是分布式存储系统外部请求的入口,负责处理用户的请求,进行一些安全性的检查,捕获对存储系统中的各个操作。数据节点模块负责具体数据的管理及存储。它采用诸逻辑文件块分组、负载均衡机制和操作系统缓存等技术设计成一个无中心的分布式存储系统。因此该系统在存储不可变的大文件时具有较好的性能,而且能提供对各种大小文件的存储。最后对分布式存储系统的吞吐量和延迟的性能进行了测试。该测试程序通过在不同数量的客户端下,对不同大小的数据文件以只写、只读和既读又写三种方式测试分布式存储系统。并通过对客户端数量、数据文件大小和操作方式三个维度改变所产生的数据进行了分析,获得分布式存储系统吞吐量和延迟的曲线图。通过比较分析,结果表明所设计的分布式存储系统在这三个维度下具有高吞吐量和低延迟的特性,提高分布式存储系统的持久性、可靠性和可扩展性,而且始终保持负载的均衡。
其他文献
为了探讨因人地关系冲突而导致的湿地环境问题,促进湿地社区经济与湿地保护的可持续协调发展。采用李克特量表法设计测验量表问卷,分析鸭绿江口湿地当地居民对湿地知识了解程
桑葚营养丰富,具有很高的药用价值和食用价值。近年来,一些采摘园实施了桑葚的温室错季栽培,提早了采摘期,满足了人们休闲采摘的需求,获得了很高的经济效益。现将主要栽培管
我国是世界上老年人最多的发展中国家,老年人口占总数的11%,随着我国进入老龄化社会,越来越多的老年人进入了图书馆。为老年读者服务是公共图书馆界面临的新课题。在各级公共图书
过渡金属桥联双核配合物因有独特的配位结构和成键模式,而具有区别于同类单核金属配合物的新奇性能,一直以来是配位化学研究中的焦点。其中以多原子有机配体为桥基的扩展双核
<正>为全面了解河北省医药产业的现状、问题和潜在优势,按照省领导要求,专题调研组本着抓住主要矛盾、找出主要问题、瞄准主要目标、选好主要路径、采取主要对策、打胜主要战
小学数学做为一门基础课,只要我们在教学实践中勇于探索,就一定能更好的提高小学数学教学的有效性。对于发展学生的素质和能力具有十分重要的作用。本人在小学数学教学中通过一
报纸
基于绿色化学的发展,固体酸/碱催化剂因具有可循环使用、无腐蚀、产物易分离等优点越来越受到人们的重视。本文以粉末活性炭为原料,拟对其表面进行先氧化后胺化的化学改性,在
论文包括五部分。第一部分为绪论;第二部分为Gemini表面活性剂和SLS复配微乳液的界面组成、溶解度和增溶性能;第三部分为Gemini及传统表面活性剂分别构筑的微乳液的相行为、增
北大荒文化是黑龙江富有地域特色的文化体系之一,融合了农垦文化、红色文化、军旅文化、移民文化、知青文化和黑土文化等诸多先进文化的基本元素,使之极具旅游开发价值。鉴于
新零售是“线上、线下+物流”的零售新模式,快递业作为物流的重要组成部分,已成为人们生活的重要组成部分。但我国快递业发展还存在市场开发不能切合物流用户需求、服务质量