一种面向分布式数据库的基于剪枝的并行排序合并连接策略

来源 :软件学报 | 被引量 : 0次 | 上传用户:hwb6090
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
排序合并连接是数据库系统一种重要的连接实现方式,比哈希连接有着更广泛的应用.分布式环境下,数据分片、分布存储,面对昂贵的网络代价,进行高效排序合并连接挑战巨大.传统策略首先针对连接数据进行排序,然后基于排好序的数据执行合并连接.这两部分操作均基于原始数据进行操作,通常情况下,原始连接数据存在无用数据块,这些数据块无需连接,但会增加额外开销,包括网络开销.随着数据量增多,出现无用数据块概率增大,额外开销随之增多.传统策略没有预先处理这些无用数据块.论文提出一种分布式环境下基于剪枝的并行排序合并连接策略(parallel sort-merge join based on prune,Pr_PSMJ),特点是连接发生之前高效完成对连接对象无用数据块的剪枝处理,提高整体连接效率.基本思想为根据连接对象对应的连接分区数据统计信息,构造一种双边邻接表(bilateral adjacency list,BAL),用来对连接数据中无用数据块进行剪枝,并保证最终连接结果的正确性;剪枝完成后,利用BAL计算出各个最佳本地连接执行点,并指导分区数据的迁移,使数据移动量最小;在连接阶段,由于BAL保证本地连接执行节点的独立性,因此能够轻松并行执行整个连接过程,并在每个连接点本地利用多核环境完成局部并行排序合并连接;最后将局部结果合并成最终结果.由于Pr_PSMJ中的高效剪枝策略是在连接执行之前完成的,因此几乎适合任何合并连接操作,并且对于其他连接策略也有借鉴作用.论文给出基于Pr_PSMJ的算法的正确性、效率性以及适应性分析,并且给出实验验证,证明在分布式大数据量排序合并连接情况下,Pr_PSMJ较其他策略能够有效减少网络开销,并提高连接效率.
其他文献
历史上对伏牛山地区的佛教记载较散,资料较详的是在明代。当时来山修行的僧人很多,但是到现在为止还没有人对伏牛山的佛教进行过研究,笔者根据掌握的禅宗史料提出这时伏牛山
随着移动媒体的兴起与发展,情景互动广告走进人们的生活。它的优势是让受众更快地融入到广告的情境中,并更容易接受广告所传达的内容,产生特殊的互动感与参与感。文章对移动
道家虚静观很好的为古筝演奏提供了一种审美心境,尤其是具体的道教音乐更是形象地体现了虚极生实,静中取动的审美境界。而这种虚实相生、静照忘求的审美心态正是古筝演奏者亟
马克思以前旧自然观具有非实践性的特征。在马克思看来,关于人与自然的关系问题,离开实践去理解是不能真正解决的,是纯粹经院哲学的问题。马克思感性自然观是实践的、社会历
同塔并架输电方式是我国电网建设的必然趋势,然而我国大多数的双回输电线路为局部耦合的情况,其故障分析与保护整定策略是电网安全稳定运行的重要基础。由于局部耦合双回线路之
数学课堂教学设计可为教师的教学工作提供行为规范和具体的操作方案 ,可使教学更具科学性 ,可以实现数学课堂教学过程的最优化 ,提高教学效率和教学质量。数学课堂教学设计有
目的分析在小儿静脉输液中采用健康教育干预的应用效果观察。方法选取2016年3月至2018年3月在我院就诊的患儿共90例,按随机数字表法分成对照组45例、实验组45例,对照组患儿采
清代清水江流域,贞节观念开始普遍流行,存在着大量的寡居妇女。其守寡的开始年龄多集中在15—30岁之间,这与明清王朝“凡民间寡妇,三十以前夫亡守志,五十以后不改节者,旌表门闾,除免
目的观察砖茶氟在高海拔大鼠体内24 h吸收、分布及排泄的动态变化。方法大鼠分两组,用灌胃方法分别给予氟化钠(NaF)和砖茶水,含氟为300 mg/L,染氟后0.25、0.5、1、2、4、8、16、
中医基础理论发展与临床实践的反差黑龙江省七台河市卫生局(154600)张挥面对迅猛发展的现代科学,包括现代医学,中医基础理论相对是落伍了,对于这种严酷的现实,中医理论遭到了非难,甚至在很