面向数据中心负载的缓存策略研究及针对SSD的扩展与优化

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:xueliping
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于数据量的迅速膨胀及性能需求的日益提高,缓存在存储系统中的作用变得更加重要,缓存的容量在逐渐变大。然而“大数据”时代不仅仅是数据量的膨胀,数据的访问模式也发生了很大的变化,主要体现为数据访问局部性的弱化,这使得现有的缓存替换算法受到了挑战,因此针对数据中心负载特征如何设计缓存管理策略成为亟待研究的问题。同时,日益成熟的SSD无论是容量还是性能均介于DRAM与磁盘之间,使得其成为一种优秀的候选缓存介质。但是,SSD具有读写性能不均衡及易于磨损等特性,如何更加合理的利用SSD作为缓存介质成为一个值得探究的问题。  本文从数据中心负载的分析入手,深入分析不同访问模式数据所占的比例及其缓存价值,基于负载分析的结论与启示,我们设计了一个通用的缓存替换策略——Rame,同时我们基于Rame针对SSD读写不均衡等特征进行扩展与优化,旨在保证命中率的同时通过减少SSD的写入提高性能并减缓SSD的磨损。  本文的主要研究工作与贡献如下:  1)从不同来源广泛收集了多个数据中心I/O负载进行深入的分析,定义了数据访问模式的类别并将数据按访问模式进行分类,分别对每一类的缓存价值与缓存代价进行了分析。  2)提出了一种新的缓存策略Rame,该策略通过“将数据重加缓存”的方式更加合理的区分与对待不同访问模式的数据,使得缓存价值更大的数据尤其是访问较为均匀的数据在其访问周期内得到缓存,同时可以有效的避免“历史效应”对缓存的影响,使得Rame具有更优秀的性能与适应性。  3)基于Rame进行扩展与优化,提出针对SSD作为缓存介质的缓存管理策略Rame-SSD,通过“数据筛选”及空间局部性的利用等方法以较小的代价避免了大量SSD写入,有效延长SSD寿命的同时保证了缓存的命中率,并对负载的变化有较强的适应性。  4)设计与实现Rame与Rame-SSD算法,并在多种负载下与相关系统进行对比评测。  通过评测我们发现,Rame相比于其他缓存策略有着更广的负载适应性,超过60%负载下可提供最优命中率,其他情况下提供次优命中率;而Rame-SSD在命中率提高(最高达30%)的同时大量减少了SSD的写入量,相对于其他针对SSD缓存策略响应时间降低可达33.6%。
其他文献
本文对现有图像融合算法进行了分析与研究,并针对空间背景下的跨尺度融合算法进行了改进,提出了基于改进融合规则的跨尺度塔式融合算法和基于改进融合规则的跨尺度小波变换算
移动自组织网络是一种可以迅速展开的通信网络,不需要提前建立固定的通信设备就可以进行组网通信。移动自组织网络的应用十分广泛,受到了极大的重视。如物联网、大型灾害营救
学位
海船目标检测是当前海洋遥感领域的研究热点,具有极为重要的应用价值。但在实际工作中,传统的检测技术在准确率、有效性方面还存在一些不足。本文基于卫星多光谱遥感影像,利用小
在互联网高速发展的今天“请求/应答”式的服务通信方式存在严重的束缚,其表现为消息通信双方紧密耦合,降低了系统的可扩展性和重用性。作为一种低耦合的、异步的、多对多的
移动互联网的发展带来很多的新媒体形式,新闻客户端是其中较重要的一种。与传统的网页新闻相比,新闻客户端具有更高的聚合性和实时性,可定制性更强。随着用户量不断增加,吸引了大
随着大数据时代的来临,大规模分布式数据存储技术给关系型数据库带来了前所未有的挑战。面对海量非结构化数据的高效存储和低延迟查询的要求,传统的关系型数据库已经显得力不从
随着社会的不断发展进步,IT技术已经逐步渗透到各个传统行业,并在生产实践中扮演越来越重要的角色。传统的IT教育方式已经不能很好地满足社会对IT从业人员的需求。与此同时,在线
随着移动智能网的发展成熟,网络中业务系统越来越多,规模也越来越大,复杂性越来越高,给移动智能网网管工作带来了巨大的挑战。为了提高维护质量、降低维护成本和维护风险,本
随着互联网的迅猛发展,互联网媒体类型越来越丰富,其内容也越来越多。在信息爆炸时代,从庞大的数据中筛选出有价值的信息就显得尤为迫切。面向指定媒体类型的金融信息推荐系