基于Spark可视化大数据挖掘平台

来源 :第15届中国系统仿真技术及其应用学术会议 | 被引量 : 0次 | 上传用户：tonfy1028

【摘要】

：

在千亿级大数据环境下,特征挖掘、实时处理、即席分析、离线计算等场景对计算、存储的性能要求非常高.基于传统的关系型数据库、分布式Hadoop平台实现的数据挖掘平台,无法满

【作者】

：

李文程华良彭耀温明杰肖威清张陈斌陈宗海

【机构】

：

中国科大-象形大数据商业智能联合实验室,安徽合肥,中国,230031;安徽象形信息科技有限公司,安徽合肥,中国,230031安徽中烟工业有限责任公司合肥卷烟厂,安徽合肥,中国,230027中国科大-象

【出处】

：

第15届中国系统仿真技术及其应用学术会议

【发表日期】

：

2014年10期

【关键词】

：

数据挖掘 Spark框架内存计算可视化技术

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

在千亿级大数据环境下,特征挖掘、实时处理、即席分析、离线计算等场景对计算、存储的性能要求非常高.基于传统的关系型数据库、分布式Hadoop平台实现的数据挖掘平台,无法满足所有的计算场景的要求.鉴于此,本文介绍了基于内存迭代计算框架Spark,实现大数据环境下的可视化大数据挖掘平台.该平台不仅充分利用了内存计算,提高了迭代速度,而且支持各种分布式计算、存储场景,具有很强的扩展性,解决了大数据环境下各种计算场景问题.

其他文献

某省级电力公司本部信息网络结构优化研究

随着网络技术的发展,信息网络作为一种基础服务起到了越来越不可替代的作用.由于网络承载的业务类型越来越丰富,网络的流量随之越来越高,网络的重要性也日益提高.高速、安全

会议

电力公司信息网络结构优化状态评估

Stability and bifurcation analysis of new coupled repressilators in genetic regulatory networks with

　　The genetic regulatory networks are complex dynamic systems which reflect various kinetic behaviors of living things.In this paper, a new structure of coupl

会议

Coupled repressilatorsStabilityHopf bifurcationCoupling delays

Transient stability and voltage regulation in wide area power grid using switching controller

　　In this paper, the voltage regulation and transient stability of the multi-machine power systems are studied via decentralized switching controller.In most

会议

Power systemRobust controlSwitching controllerTransient stabilityVoltage reg

风力发电机组基础中岩石膨胀头锚杆试验研究

通过现场岩石锚杆抗拔试验,基于工程实测数据,对三种不同形式岩石锚杆的实验数据进行分析比较,得到相应的荷载Q与锚杆位移S之间的关系曲线(Q-S)及荷载-弹性位移曲线和荷载-塑

会议

风电机组基础岩石膨胀头锚杆抗拔试验极限承载力

移动网基站闪断解决方案

通信设备(移动网基站)由于电池性能下降,电源控制器、部分电源整流模块出现故障等原因,导致设备在短时间内频繁断站,称为基站闪断.基站闪断不仅导致基站断站率大幅度提升,还

会议

基站闪断直流供电系统电断路器电池性能负载电流放电电流

基于大数据技术的网络优化场景精确识别方法

面对当前4G、3G、2G多网协同发展的复杂网络结构,对各层网络所处空间维度内的覆盖、业务、干扰、故障、资源配置等网络优化场景模型,进行综合识别和划分是一项极为重要的基础

会议

移动通信网络优化场景识别机器学习大数据

风电场保护配置与整定研究

随着全球能源危机和环境污染问题的日益严重,以风能为代表的绿色能源发电在国内外受到了广泛的推广.截至2013年底,我国风电总装机容量达到了91324MW,排名全球第一.但是,与传

会议

风电场线路保护汇集系统配置整定原则

电网保护控制采样同步技术探讨

本文主要探讨及分析变电站内采样数据同步的各种方法的可靠性及优缺点，特别是在网络化采样条件下同步的可靠性。同时，随着广域控制保护技术的发展，多变电站之间采样同步的需求也

会议

变电站保护装置网络化采样数据同步可靠性

基于冗余信息及分布计算的站域协同保护研究

经济和技术的不断发展推动现代电网向着结构多元化、运行方式多样化、控制手段智能化演变.大电网互联愈加紧密的同时,配电网也在向着多分布式电源、多微网、多结构和多复杂运

会议

变电站站域协同保护冗余信息分布计算

消防责任事故罪实证研究及立法建议

分析了消防责任事故罪的犯罪构成,对2000年以来消防责任事故罪的办理情况进行了研究,与相近罪名的犯罪构成要件进行了比较分析,阐述了目前消防责任事故罪在司法实践中存在的

会议

消防责任事故罪构成要件司法实践立法完善

基于Spark可视化大数据挖掘平台

其他学术论文