基于MapReduce的内存并行Join算法研究

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:ydaf9ta7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的并行Join算法缺少必要的容错能力,且数据划分不均往往导致单个线程的阻塞成为整个任务执行的瓶颈。针对以上问题,分析内存连接的各个阶段对Join算法性能的影响,提出一种可利用MapReduce的动态机制,避免了传统并行连接算法的数据任务分派不均和容错问题。算法使用MapReduce编程框架,并通过封装分块标记减少MapReduce Join执行过程中标记和排序的计算开销,使算法性能显著提高。实验结果表明,该算法在共享内存体系结构下,性能上相比已有算法有显著改进。
其他文献
2009年年初,3G牌照正式发放,中国三大运营商中国电信、中国移动、中国联通分别获得了相应的3G频段,3G网络开始广泛渗透到各个行业与领域,同时越来越多的人开始使用3G手机。3G技术
为了解和确定抗H9亚型禽流感病毒血凝素单克隆抗体所针对的抗原表位及今后的确切用途,用竞争性结合ELISA试验结合Western-blotting分析,对10株单克隆抗体的抗原结合特性进行了
洪水预报技术在我国发展多年,研究成果较多,但由于洪水预报的数据基础很难统一划分或界定,因此在预报效果上参差不齐。没有在洪水预报方法上作过多研究,而是在对比研究各种洪水预
目的探讨人类β-防御素1(HBD-1)和人类β-防御素4(HBD-4)在口腔鳞癌中的表达及意义。方法采用免疫组化SABC法,检测HBD1和HBD4在正常口腔组织、非典型增生组织和口腔鳞状细胞癌中
在室内恒温条件下,分别对均质土柱和非均质土柱采用饱和-稳流一维垂直土柱易混置换法,就2种土柱对Ca2+,Cl-在土壤中运移的规律进行了初步研究。研究结果表明:Ca2+,Cl-在非均质土柱中的水动力弥散系数大于在均质土柱中的水动力弥散系数,而阻滞因子则小于均质土柱。对于非均质土柱,其孔隙水平均流速也比较大,代换液浓度对穿透曲线(BTC)的影响不太显著;而均质土柱中代换液浓度对BTC影响较为显著,这可
0引言镍是一种容易导致皮肤接触性过敏的重金属元素。医学观察证明了长期接触含镍物品,会引起皮肤过敏甚至致癌。眼镜架的镍析出量超标会导致人体健康受损。国际标准化组织和
采用机械筛网结合酶消化法建立了大鼠原代肾小管上皮细胞培养模型,在传代细胞增殖活性最强时间段进行铅、镉单独染毒或联合染毒。通过CCK-8还原法和流式细胞仪检测不同时间铅