【摘 要】
：
用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题
【基金项目】
：
国家电网公司科技项目(SGJSXT00YWJS1400072)资助
论文部分内容阅读
用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.
其他文献
<正>GE 6月29日发布消息,计划撤出对美国油服公司贝克休斯的投资,将在未来2～3年退出贝克休斯股权,完成分手!全球油服行业的发展自2014年油价下跌之后一直比较艰难。油服行业面
水利水电工程作为当前灌溉与发电行业较为依赖的技术工程,对该地区农业以及电力调配有着重要的作用。因此,对水利水电工程的勘察设计就显得尤为重要。但在实际的勘察设计过程
个体对于现实幸福的追寻和幸福的终极目的性决定了教育对个体幸福的关涉。教育不能背离"幸福"这一价值旨归。然而,当今的种种教育实践行为,即使不是在故意漠视个体幸福,也往
滑阀真空泵、罗茨真空泵及其真空机组谈治信（兰州物理研究所，兰州７３００００）分类号：ＴＢ７５２滑阀式真空泵（简称滑阀泵）和罗茨真空泵（简称罗茨泵）及其由该泵组成的真空机组近几年来随着真空冶金、真空热
建筑工程建设中,为了给人们提供一个良好的居住环境,要做好对每一道施工程序的质量把控.需要人们注意的是,在工程建设过程中,屋面漏水是建筑工程中十分常见的一项安全隐患,会
<正> 四十年了,时间过得真快呵! 在日本法西斯侵略我国的狂轰滥炸之下,不幸牺牲在广西桂林文昌门内的张曙同志和他的长女大大,离开我们已经有四十年了! 四十年,对于经过八年
水文地质学在解决人类面临的众多资源-环境问题中发挥着关键作用,近40年得到快速发展。水文地质研究中带共性的关键科学问题包括:地下水系统中的物理-化学过程、场地评价方法
<正>上肢的主要作用是将手部放置在空间内任一位置,上肢功能障碍可严重影响患者生活质量。肩部作为上肢最近端的关节,对于上肢活动范围起到非常重要的作用。近年来肩部骨折的
在道路基层的施工过程中,由于作业环境、作业条件、施工机械及施工工艺和技术的局限,会对道路与桥梁工程的质量产生很大的影响.