异构存储感知的Ceph存储系统数据放置方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:tiamflying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算服务的广泛推广和应用,数据存储压力持续增长。云时代的存储系统面对如此大的用户量,要求存储系统具有高性能和大容量等特点。传统的基于HDD的存储系统由于HDD本身的性能限制,系统性能难于满足实时性强的应用场景。SSD虽然相对于HDD来说有出众的I/O性能,尤其是随机I/O性能,但是SSD单位容量的价格较高,如果在云环境存储系统中使用SSD替换HDD,会使得存储系统成本过高,而基于HDD和SSD的异构存储如果应用有效的数据管理策略,能够在保持低成本的同时提供大容量和高性能存储。  本文针对异构存储关键问题,研究和探索了Ceph分布式存储系统中引入异构存储的关键技术,本文的主要工作内容和贡献如下:  (1)为了能够更加灵活的进行数据管理,针对分布式存储系统中多副本场景,提出一种面向异构存储的多副本组合方式。  (2)基于Ceph存储系统的数据映射方法,设计了一种区分异构存储设备的数据映射机制。该方法相对于传统的映射表方法可扩展性更强,可在不破坏原有的数据映射框架的前提下有效地把I/O请求映射到正确的存储设备上。  (3)设计了一种数据冷热统计方法,该方法基于多版本布隆过滤器,并且区分读写请求。  (4)基于多副本组合方式提出一种数据迁移机制,该机制通过将读访问频繁的数据和写访问频繁的数据分别放到不同的副本组合中,在提升系统性能的同时有效的控制了系统容量成本。  (5)实现了基于Ceph的异构存储系统,该系统能充分利用HDD和SSD的特性对数据进行管理。通过评测,该系统在异构存储环境中具有良好的性能和成本收益。
其他文献
随着计算机网络技术的飞速发展,互联网已经成为信息获取的重要渠道,越来越多的信息通过网络进行传输和交换。XML作为一种可扩展标记语言,凭借其跨平台、可扩展的优势,被广泛用于
随着用户在互联网上交互模式的变化,微博等社交平台上均包含大量的实时信息及评论,针对这些短文本信息的情感语义挖掘对于公共事件的舆情分析、商业产品的市场营销、突发事件的
以Roche/454、Illumina/Solexa和ABI/SOLiD为代表的高通量测序技术能够大大降低测序的时间和成本,同时也对序列比对技术提出了更高的要求。加速序列比对一种方案是依靠比对算
科学技术的日新月异和城市发展中遇到的瓶颈,促使了智慧城市的产生。在我国,近期智慧城市相关工作也如火如荼,国家大力支持,地方政府也想抓住这个发展机遇。有些城市已经开展了智
铁路道口安全问题是制约铁路运输业发展的一个重要因素。在封闭式铁路改建过程中,道口视频监控系统能有效缓解道口安全问题。现有的道口视频监控系统只是将道口视频通过网络传
为了能够高效的处理PB级、甚至更多的海量数据,当前的计算模式面临着巨大的挑战,需要进行实质性的改变才能满足各种应用需求。“易并行计算”(Embarrassingly Parallel Computa
无线传感器网络(Wireless Sensor Network, WSN)具有部署灵活、感应灵敏、价格低廉等众多优点,拥有广阔的应用前景。但由于技术条件的限制一直未能大规模应用。近年来随着微
花卉植物由于其形态结构复杂,在可视化过程中存在计算量大、算法复杂、人工干预多等缺点。然而对于具有相似形态、不同层次花瓣的花卉建模时,可以考虑针对相似的形态建立一个
软件复用技术可有效的提高开发效率,降低维护成本。在特定领域内使用软件复用技术尤为有效。本文以工程造价领域为例,利用领域分析方法对该领域进行了领域需求分析,建立行业
当今社会的发展日新月异,尤其是计算机计算能力的提升和网络技术的发展,导致了信息以难以想象的规模剧增,需要通过网络传输的秘密信息量也呈现爆炸式的增长。很自然地,各种信息加