Partition pruning for range query on distributed log-structured merge-tree

来源 :计算机科学前沿 | 被引量 : 0次 | 上传用户:mu_322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Log-structured merge tree (LSM-tree) is adopted by many distributed storage systems.It contains a Memtable and a number of SSTables.The Memtable is an in-memory structure and the SSTable is a disk-based structure.Data records are horizontally partitioned over the primary key and stored in different SSTables.Data writes on records are first served by the Memtable and then compacted to SSTables periodically.Although this design optimizes data writes by avoiding random disk writes,it is unfriendly to read request since the results should be retrieved and merged from both Memtable and SSTables.In particular,when the Memtable and SSTables are distributed on different nodes,it incurs expensive costs to serve range queries.A range query on nonprimary key columns has to scan all partitions,which generates many network and I/O expenses.In this paper,we propose a partition pruning strategy to save cost for range queries.A statistics cache is designed to determine whether a partition contains the desired data or not,which enables read requests to avoid scanning useless partitions.As records can be updated in Memtable freely,to prevent incorrect filtering,a version-based cache synchronization strategy is proposed to ensure the queries to obtain the latest data state.We implement the proposed method in an open source distributed database and conduct comprehensive experiments.Experimental results reveal that the performance of range queries increased 30% ~ 40% with our partition pruning technique.
其他文献
通过融合任务驱动教学法、自主探究教学法、分层教学法,探究出一种在信息技术课堂教学中可用的任务指导卡.通过任务指导卡的必选任务、自选任务及留白任务的设计引导学生完成
科学技术的发展提升了各个行业的科技水平,很多先进技术手段在我们身边出现,极大的便利了生产和生活.在建筑行业中,智能化建筑是现代建筑发展的方向,在安保系统、消防系统、
柔和的嘴唇  南太平洋  我把清香的茉莉  通过蓝色瓷器圆口杯子柔和的嘴唇  献给你  你的清晨显示了瓷性的坚强和淡灰色的蓝  茉莉花茶  你这杯装的黄昏  被我放在你清晨的海岸  南太平洋  你举着轻而易举白色鹅毛的笔  在不停书写开白花而长出黑色果实的树木  指甲大小蝴蝶没有树叶大小鸟的速度  周易里的那些爻辞  摆出了你女儿即将出嫁的房子  夜晚的三角梅  一只鸟在天空做巢  天空和星光随时
期刊
建国后特别是改革开放以来,我国在经济建设上取得了举世瞩目的成就。在这一过程中,金融业既为经济的整体腾飞做出了巨大的贡献也充分发展了自己。随着经济的进一步发展,金融业自
在高中物理学习阶段,物理知识大多是比较抽象的,但运用知识可视化模式可以把抽象的物理过程变成有利于被学生认知的图形,从而有助于学生更容易理解并掌握知识.文章基于知识可
科学是小学阶段非常重要的科目,学生学习科学不仅可以开阔眼界,提高对科学知识的兴趣,还可以为以后的学习打下坚实的基础.小学科学是一门实验为主的学科,很多知识和理论都是
近些年国家提出了新的课程标准,愈发提倡素质教育,希望学生“德、智、体、美、劳”全面均衡地发展,“体”不仅包括我国的体育教育事业,还表达着强健的身体的含义,有句话说得
随着近年来新课程教育标准的不断提升与发展,对于学生的培养不仅仅停留在各年级段的常规教学层面,更通过对初高中课程教学的有效衔接,以实现对学生良好学科核心素养的培养与
资本配置效率是决定企业集团整体价值及其综合竞争力的重要战略要素之一,而企业集团的资本配置市场由于配置范围、主体、机制等的差异分为内部资本市场和外部资本市场。对比外部资本市场,内部资本市场在交易成本、信息获得效率性以及资本配置独立性等方面的固有优势使得其成为提升资本配置效率的关键着力点。内部资本市场以公司治理所构建的制度框架及权力结构为载体存在,故公司治理中固有的信息不对称、委托代理、合约不完全等问
在化学教学中向学生传授有效的解题策略能提高学生解题的正确率,也能使学生对化学知识在解决问题方面的实践应用形成系统的感知,有助于提高化学教学综合水平.但是在化学教学