【摘 要】
：
针对大数据分布式编程新知识初学者难以理解的问题,选取Hadoop MapReduce与Spark计算模型中涉及核心环节Shuffle过程原理深入剖析,并以单词词频统计算法Shuffle过程为例。实
【基金项目】
：
2019年度广州工商学院科研课题《基于Hadoop平台的大数据挖掘研究》(编号:KA201928)。
论文部分内容阅读
针对大数据分布式编程新知识初学者难以理解的问题,选取Hadoop MapReduce与Spark计算模型中涉及核心环节Shuffle过程原理深入剖析,并以单词词频统计算法Shuffle过程为例。实验结果表明,Spark节省了中间数据排序时间Tsort,消耗了中间数据传输时间 Ttrans,而在中间数据文件数目以及同步次数等方面效率都均要低于MapReduce。通过整体功能、流程实现、数据拉取机制等方面对比分析,帮助初学者深入了解分布式编程的基本思想,降低大数据学习门槛。
其他文献
针对计算机视觉研究领域中的视频目标跟踪技术,提出了一种基于光流法的KLT角点跟踪算法。通过对视频中特征点进行提取与匹配并利用视频信息的窗口在特定图像的灰度差平方和作为度量完成算法运行,在MATLAB中通过KLT算法实现视频和摄像头中人脸跟踪检测并检测,对实验素材进行了多次跟踪效果的测试,并在背景固定下再次对KLT目标算法的跟踪效果进行了多次测试。实验结果表明,KLT角点跟踪算法具有运算速度快,跟踪
交通标志检测是辅助驾驶、自动驾驶系统中的重要组成部分,针对交通标志检测任务中复杂环境下的小目标检测精度低的问题,提出一种基于YOLOv4-tiny的交通标志检测方法。在YOLOv4-tiny算法中引入注意力机制,使网络聚焦于有效特征,抑制干扰特征,提高算法检测能力。利用K-means聚类算法重新定义网络的初始候选框,加速网络收敛。通过测定平均精度均值(mean average precision,
为改善电力企业自动化仓库中堆垛电机启停时间长和运行路线不稳定的问题。建立考虑电机的水平方向拣选速度、垂直方向拣选速度及货格宽度的运行数学模型,对堆垛电机作业方式
针对传统协同过滤算法存在推荐效率低问题,提出一种改进的CFKMWSO算法。首先对用户进行k-means++聚类,聚类后使用户相似度加权的slope one算法预测数据的缺失项,把预测值回填
为识别表格中单元格的类别,提出了多特征融合的表格单元格分类模型。首先分别基于词向量和字向量从不同粒度对单元格文本进行表示,并通过拼接的方式实现字词向量的融合,然后
水工结构的正确设计应符合可持续发展的基本原则,应根据适用的标准和法规进行投资,保证不打破环境生态平衡的前提下取得一定的经济效益。本文通过福建省某小型水力发电厂(SHP
代驾平台LBS实时监测系统的建设目的是从技术层面保障用户、司机和平台的权益。系统的开发从需求分析入手,结合设计的先进性原则,基于百度地图SDK实现了定位信息获取、路径规划、安全管控等环节,覆盖了代驾平台订单的全生命周期,围绕司机端实时工作状态展示、客户端实时分布及订单预测推送等模块,聚焦订单路径的回溯及追踪,较好地实现了LBS实时监测系统的系列功能,有效确保了代驾业务的安全高效和订单管理的实时完备
针对基站流量的周期性和波动性,提出了基于长短期记忆(LSTM)神经网络模型的移动通信基站流量预测方法。通过特有的三种门结构和记忆单元相互调节,利用LSTM可以同时获取短期特
基于涡扇发动机非线性动态模型,提出了一种基于部件模型线性化的整机建模方法。在模型中,利用了泰勒展开将部件方程进行线性化,得到了部件线性模型,并根据发动机模型平衡条件
为解决虚拟仿真软件使用过程中不能与物理主机进行连通的问题,提出了一种新的虚拟仿真技术。通过对目前国内广泛应用的华为网络设备虚拟仿真软件eNSP中的Cloud桥接研究与操作