论文部分内容阅读
随着云计算服务的广泛推广和应用,数据存储压力持续增长。云时代的存储系统面对如此大的用户量,要求存储系统具有高性能和大容量等特点。传统的基于HDD的存储系统由于HDD本身的性能限制,系统性能难于满足实时性强的应用场景。SSD虽然相对于HDD来说有出众的I/O性能,尤其是随机I/O性能,但是SSD单位容量的价格较高,如果在云环境存储系统中使用SSD替换HDD,会使得存储系统成本过高,而基于HDD和SSD的异构存储如果应用有效的数据管理策略,能够在保持低成本的同时提供大容量和高性能存储。 本文针对异构存储关键问题,研究和探索了Ceph分布式存储系统中引入异构存储的关键技术,本文的主要工作内容和贡献如下: (1)为了能够更加灵活的进行数据管理,针对分布式存储系统中多副本场景,提出一种面向异构存储的多副本组合方式。 (2)基于Ceph存储系统的数据映射方法,设计了一种区分异构存储设备的数据映射机制。该方法相对于传统的映射表方法可扩展性更强,可在不破坏原有的数据映射框架的前提下有效地把I/O请求映射到正确的存储设备上。 (3)设计了一种数据冷热统计方法,该方法基于多版本布隆过滤器,并且区分读写请求。 (4)基于多副本组合方式提出一种数据迁移机制,该机制通过将读访问频繁的数据和写访问频繁的数据分别放到不同的副本组合中,在提升系统性能的同时有效的控制了系统容量成本。 (5)实现了基于Ceph的异构存储系统,该系统能充分利用HDD和SSD的特性对数据进行管理。通过评测,该系统在异构存储环境中具有良好的性能和成本收益。