【摘 要】
：
数据倾斜是海量数据分析与处理中常见场景之一.在数据倾斜场景下,传统MapReduce连接查询算法并不能充分利用Hadoop平台并行计算编程模型特性.本文主要研究基于数据倾斜的MapR
【机 构】
：
桂林电子科技大学 计算机与信息安全学院,广西 桂林,541004
论文部分内容阅读
数据倾斜是海量数据分析与处理中常见场景之一.在数据倾斜场景下,传统MapReduce连接查询算法并不能充分利用Hadoop平台并行计算编程模型特性.本文主要研究基于数据倾斜的MapReduce连接查询算法.针对传统多表连接查询算法不能有效解决数据倾斜导致的性能瓶颈问题,设计并实现统计倾斜轮询分区连接查询优化算法,该算法以HDFS作为数据存储层,通过统计倾斜与轮询分区策略有效将数据分发到Hadoop集群各个计算节点.实验表明,本文提出的算法在不同数据倾斜率下均能有效实现负载均衡,充分利用MapReduce并行计算特性,并已在实际应用场景中获得较好性能提升.
其他文献
实时流媒体传输协议RTP为IPTV流媒体传输标准协议,存在易被攻击者利用的IP脆弱性。SRTP为RTP提供了安全配置文件,增加了端到端数据机密性、完整性保护。文中提出一种新的SRTP协议密钥交换机制并进行了具体实现,该方案可以让第三方获得会话密钥,提供可监管机制。实现过程为:在已有uctimclient、uctiptv构成的IMS IPTV开源系统基础上改进了信令功能,在SIP握手中实现了密钥交换
8月22日的“人文奥运,文明礼仪”系列专题,以建筑施工企业的优秀安全员陈华为代表,介绍了安全员的职业礼仪.陈华--海淀区25号金融中心2期工程项目部的安全员.在他简陋的办公
2月6日下午，广东湛江市徐闻县鼎盛水产有限公司恒辉虾苗场在中山市港口镇举行新春团拜会，大开筵席65围，来自中山、江门、番禺、顺德等地的600多位养殖户欢聚一堂，交流养殖经验和
一、B60-171高级防火涂料rnB60-171防火涂料是由公安部天津消防科研所研制,天津市防火涂料厂生产的饰面型膨胀防火涂料.由于采用多种高效阻燃材料和高强度的成膜物质,使其具
安锦1号(XPD024-2015,见第24页图3)由怀化职业技术学院和麻阳苗族自治县农村综合改革办公室联合选育.3月中旬气温12℃以上时就开始萌动,3月底至4月初展叶后进入快速生长期,6
群众性劳动保护监督检查,是企业安全生产的重要监督力量。为了构筑安全生产工作的群众防线,全总与国家煤矿安全监察局联合,在全国煤矿采掘一线特聘10万名煤矿群众安全监督员,
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
摩擦等外界干扰,系统不确定性信息及参数变化对飞行仿真转台的运行造成不利影响。针对该问题,提出基于模糊干扰观测器(Fdo)的自适应反演滑模控制方案(ABSMC),在对外界干扰和不确定信息进行补偿的基础上,从稳定性出发,对不确定上界进行自适应估计,并逐步反推出控制器。通过对某型仿真转台进行仿真,得知该方案与普通滑模控制(SMC)方案相比,具有更高的跟踪精度,并极大的提高了对外界干扰,系统不确定信息和参
水产养殖业缺乏统一的标准,养殖过程难以量化.鉴于此,笔者针对二十四节气特点总结了这样一套管控方案.其中内容并非十分完尽,但对应天时变化,顺时而为,也算是有章可循.rn由于
中间相炭微球(MCMBs)是一种性能优异的锂离子电池阳极用炭材料.研究了经不同温度热处理的MCMBs的微观结构与充放电性能的相关性.经700℃～1 000℃炭化热处理的MCMBs,随着热处理