网络存储多级廉价缓存研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:27-Aug
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络和存储系统的不断发展,数据集中存储、集中访问、分布处理的使用模式已经成为数据存储的发展趋势。存储集中带来数据访问对共享资源的竞争,导致在大规模并发访问时存储系统性能问题日益突出。缓存作为提高存储访问性能的重要手段一直被广泛地研究。随着存储系统和应用的发展,缓存层次和缓存介质分别呈现出多级化,多样性的特点。然而当前的缓存管理对这种缓存层次和缓存介质变化引起的管理开销、缓存代价等问题缺乏相应的研究。因此对网络存储系统中多级廉价缓存的研究具有较强的理论和实际意义。本文对上述问题进行了初步研究,主要研究内容和贡献如下:   (1)本研究针对存储应用的新需求,提出了基于磁盘的多级廉价缓存架构D-Cache。该架构下,缓存系统以低成本高容量的磁盘介质为数据载体,以标准的块级接口在I/O路径上向上层应用提供透明的数据缓存服务。该架构下缓存系统具有使用灵活方便、低成本、数据持久存储的特点,便于向复杂的网络环境进行扩展。   (2)本研究探索了磁盘缓存的管理特点,设计实现了D-Cache缓存管理算法。相比于传统基于高速介质的缓存管理方法,该算法采用两级结构对缓存进行管理,取得了缓存块大小和数据连续性的平衡,消除了写Miss时的Copy on Write开销;采用延迟替换的策略,有效减少了因为替换而导致的I/O访问时的过长等待时间。实验显示D-Cache算法能够有效满足低速磁盘介质缓存的管理需求。   (3)本研究提出了一种考虑存储层次间访问情况的缓存放置方法C-Aware。在缓存管理过程中,C-Aware对缓存和下层存储的访问开销进行动态统计和启发式地评估。在读写Miss发生时,C-Aware根据评估结果动态地决定是否缓存当前请求对应的数据块,从而提高缓存系统对层次间存储性能差异以及存储访问情况变化的适应性。   (4)基于上述研究成果,本研究设计实现了D-Cache缓存原型系统。实验结果表明,该缓存系统对存储系统高负载下的性能提升非常明显:在缓存一半测试数据的情况下能够提升30%~50%的访问性能,缓存全部数据时最高能够提升系统性能近4倍。C-Aware方法使得D-Cache缓存系统具有更好的访问适应性,在各种测试中都表现出较好的缓存效果。在缓存性能较低的冷缓存测试中,相比于基于访问的缓存放置方法,C-Aware最高能够减少90%的因为缓存数据操作造成的额外开销。
其他文献
多媒体的不断普及,它已经成为了我们获取信息的一个重要手段。与此同时,视频安全播出的形势也愈发严峻。数字视频的播出环节比模拟视频复杂得多,播出中常产生的多种异态,而节
移动终端的普及和网络性能的提升使视频的实时交互式传播成为可能,作为其中的典型代表,近年来出现的个人直播平台已达数十家,用户在此类平台上不仅可以作为看播端观看视频,也
随着流程工厂设计领域中信息技术的应用从单纯的CAD技术在各设计专业中的应用阶段发展到以网络技术、数据库技术、人工智能技术、现代管理技术等为基础的综合业务流程管理系
大型公共环境人员疏散路径规划研究对指导安全设施建设、应急预案的制定、实施和摊演都有重要意义。近年来进化计算领域兴起的分布估计算法为路径规划问题的解决提供了新的优
在过去的几十年里,传统的关系数据库管理系统在商业数据管理中发挥了非常重要的作用。但是,近年来随着计算机应用技术,特别是Web信息技术的不断发展,当今的数据呈现出了两大
在互联网上,大部分服务器郡是因为服务器的配置不当或女装小正确而被攻击,只要修补已知的安全漏洞,就可以抵抗绝大部分的黑客入侵。但是目前很多企业购买的网络安全产品都采
随着日前日益发展的计算机技术和网络技术,信息安全已经成为人们日益关注的热点领域。作为其重要组成部分的信息隐藏检测也进入一个高速发展时期,而对信息隐藏检测的评估也成为
近年来,自然语言处理的研究已经成为热点,而分词与词性标注两个任务作为自然语言研究领域的一个重要分支,同样为大家所关注。分词与词性标注的是自然语言处理的预处理部分,占
如何减小用户使用Web服务的难度,提高对Web服务的使用效率,是当前服务计算相关的一个热点研究问题。现实中,同一类业务需求和同一类Web服务都会存在不同出处的多个版本。如何应
随着信息技术的不断发展,Web上的信息量呈爆炸式的增长。按照蕴含信息的深度,可以将Web划分为Surface Web和Deep Web两大类。在访问模式上Deep Web有别于Surface Web。Surfac