论文部分内容阅读
随着网络和存储系统的不断发展,数据集中存储、集中访问、分布处理的使用模式已经成为数据存储的发展趋势。存储集中带来数据访问对共享资源的竞争,导致在大规模并发访问时存储系统性能问题日益突出。缓存作为提高存储访问性能的重要手段一直被广泛地研究。随着存储系统和应用的发展,缓存层次和缓存介质分别呈现出多级化,多样性的特点。然而当前的缓存管理对这种缓存层次和缓存介质变化引起的管理开销、缓存代价等问题缺乏相应的研究。因此对网络存储系统中多级廉价缓存的研究具有较强的理论和实际意义。本文对上述问题进行了初步研究,主要研究内容和贡献如下:
(1)本研究针对存储应用的新需求,提出了基于磁盘的多级廉价缓存架构D-Cache。该架构下,缓存系统以低成本高容量的磁盘介质为数据载体,以标准的块级接口在I/O路径上向上层应用提供透明的数据缓存服务。该架构下缓存系统具有使用灵活方便、低成本、数据持久存储的特点,便于向复杂的网络环境进行扩展。
(2)本研究探索了磁盘缓存的管理特点,设计实现了D-Cache缓存管理算法。相比于传统基于高速介质的缓存管理方法,该算法采用两级结构对缓存进行管理,取得了缓存块大小和数据连续性的平衡,消除了写Miss时的Copy on Write开销;采用延迟替换的策略,有效减少了因为替换而导致的I/O访问时的过长等待时间。实验显示D-Cache算法能够有效满足低速磁盘介质缓存的管理需求。
(3)本研究提出了一种考虑存储层次间访问情况的缓存放置方法C-Aware。在缓存管理过程中,C-Aware对缓存和下层存储的访问开销进行动态统计和启发式地评估。在读写Miss发生时,C-Aware根据评估结果动态地决定是否缓存当前请求对应的数据块,从而提高缓存系统对层次间存储性能差异以及存储访问情况变化的适应性。
(4)基于上述研究成果,本研究设计实现了D-Cache缓存原型系统。实验结果表明,该缓存系统对存储系统高负载下的性能提升非常明显:在缓存一半测试数据的情况下能够提升30%~50%的访问性能,缓存全部数据时最高能够提升系统性能近4倍。C-Aware方法使得D-Cache缓存系统具有更好的访问适应性,在各种测试中都表现出较好的缓存效果。在缓存性能较低的冷缓存测试中,相比于基于访问的缓存放置方法,C-Aware最高能够减少90%的因为缓存数据操作造成的额外开销。