基于SSD的本地Key-Value型存储系统的设计和实现

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:fuhui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前的在线数据存储系统面临互联网应用带来的新型负载,具有规模大,并发度高,形式变化丰富的特点。以往一般使用关系型数据库作为在线数据存储系统,但当面对新型特点的负载时,它扩展性上的缺陷,以及使用固定数据范式的缺点使其难以胜任。而Key-Value型系统适合横向扩展、处理非结构数据,已经在现实生产环境中获得了广泛的应用。但目前的Key-Value型存储系统依然沿用传统的基于锁的并发控制,在多核处理器成为主流的硬件趋势下,其处理高并发读写请求的能力受到了很大的限制。   另一方面,传统磁盘的读写性能越来越成为存储系统的性能瓶颈。虽然有部分Key-Value型存储系统使用全内存方式避开磁盘读写的瓶颈,但持久化数据的需求依然是普遍存在的。SSD作为新型的存储设备,在读写性能方面相对于磁盘有明显的优势,已经得到越来越广泛的应用。   本文研究探索面向新型数据负载,并基于SSD存储设备的Key-Value型存储系统的关键技术,主要的工作和贡献如下:   1.设计了基于内存快照技术的新型数据索引机制:利用内存快照技术改进B+Tree索引结构,在内存中实现读写分离,使得读操作不需要加锁就可以进行并发访问。同时对于内存快照B+Tree索引页面,我们设计了基于FIFO队列的缓存管理策略。整体而言,对于索引结构和缓存管理,我们免去了使用页级读写锁的必要,使系统整体其具有优秀的并发读写能力。   2.设计了基于不问断快照的新型数据放置机制:基于Log-Structured型写入模式,本文使用不问断快照技术和文件空洞机制实现了一种适合SSD特征、且具备数据高可靠性的数据放置机制。数据将以追加的方式写入到SSD上,聚合大粒度的顺序写有利于发挥SSD的性能优势,同时不覆盖旧数据的特征使得存储数据具有高可靠,易恢复的特点。   3.设计实现了一个基于上述关键技术的本地Key-Value型存储系统Dorie,并和几个目前广泛使用的同类系统进行性能对比评测。我们的评测结果显示,Doriie系统在面对高并发互联网典型负载时有着良好的性能收益表现。
其他文献
候鸟迁徙卫星跟踪系统的成功应用,使得青海湖地区鸟类积累的卫星跟踪数据量越来越大。为了准确的获取对青海湖鸟类数据的认知,探究数据背后的知识,本文设计了多个新颖、充实的可
随着网络应用和技术的快速发展、网络规模的不断扩大,网络测量和监控是监控网络状态保证网络正常运行的必要手段,同时网络测量技术也是学习和研究网络行为模式,为改进网络协议、
近年来,随着公众对信息安全重视程度的逐渐加深,传统的基于PC或服务器平台的人脸识别系统己无法满足人们对便携性和易用性的需求。局限于人脸识别系统对计算能力与存储容量的
随着互联网规模的增大,网络的普及,以及最近社交网络的兴起和突发新闻事件的迅速传播等趋势,网民不仅对检索系统的全面性,还对检索系统的时效性都提出了更高的要求。因此,在
学位
近年来互联网高速发展,已经逐渐成为人们获取信息的主要来源,互联网信息总量大并呈爆炸性增长,对这些信息的存储给互联网公司提出了新的挑战。为了应对互联网中海量数据存储
在信息化深入应用发展的大数据时代,对迅速膨胀的海量数据和信息的管理与利用成为影响前沿技术与科学研究发展的重要因素。大数据的存储与处理是大数据应用中的核心问题。本文
具备运算和通信能力的传感器节点是构成无线传感器网络(WSN)的基本单位,WSN拥有成本低廉、配置简易等优良特点。随着技术的发展,WSN在军事和工业上的应用越来越受到关注,有着重
网络测试是验证网络设备功能和性能,保证网络正常运行的重要手段。网络测试流量生成是网络测试中的关键技术,直接决定着测试结果的正确性和误差精度。随着网络规模的不断扩大
网格门户极大地方便了人们对网格资源的使用,但在传统的网格门户中,大多只支持单次提交一个作业的传统使用模式,对自动化的大批量作业同时提交的使用方式并没有很好的支持,也没有