【摘 要】
:
云计算是当前电力系统领域研究的关键问题,在潮流分析时使用Spark集群做数据传输的并行计算框架已成为目前的研究热点。与传统基于硬盘的串行系统相比,使用Spark云可以缩短运算的收敛时间,对于数据密集型的任务,可以将运行速度提升数十倍。在电力系统并行计算快速发展的同时,如何提升Spark调度系统的性能和内存的利用率,保证潮流并行算法的求解效率,成为亟待解决的问题。本文基于云计算引擎Spark,首先,
论文部分内容阅读
云计算是当前电力系统领域研究的关键问题,在潮流分析时使用Spark集群做数据传输的并行计算框架已成为目前的研究热点。与传统基于硬盘的串行系统相比,使用Spark云可以缩短运算的收敛时间,对于数据密集型的任务,可以将运行速度提升数十倍。在电力系统并行计算快速发展的同时,如何提升Spark调度系统的性能和内存的利用率,保证潮流并行算法的求解效率,成为亟待解决的问题。本文基于云计算引擎Spark,首先,研究了集群对于RDD(数据集)的使用行为,对任务筛选与分区缓存等顶层调度机制进行了优化;其次,以综合性能为目标,对系统底层计算资源的分配完成了多目标搜索;最后,提出了一种适用于分布式计算的并行潮流算法,并在Spark云实现了雅克比阵的并行更新以及修正方程的并行迭代。本文的主要贡献有:(1)通过对源码进行分析,引入Spark运算流的两个特征参数,实现了任务的动态优先级筛选;在分析和优化任务结构的基础上,结合RDD的分布式特征,包括使用次数、内存容量、访问时间等,对RDD分区缓存策略进行了优化,提高了任务在资源有限情况下的运行效率。(2)通过分析RDD节点间的通信机制,建立了Spark运算流的分级调度策略,以实现高性能计算、降低成本、负载均衡为目标,提出了一种考虑偏好区域的多目标优化算法,经过仿真测试表明,该算法产生的综合能效均优于PSO、GA等传统算法。(3)通过引入Neumann定理对牛拉法进行了并行改造,并在Spark上对雅克比阵的生成及修正式的求解完成了并行装配,主要包括:与稀疏矩阵相关的修正量求解,以及针对高维矩阵的分布式相乘运算。最终实现了由Spark与Hadoop组成的并行计算集群,在IEEE合成系统中验证了该算法的可行性和有效性。
其他文献
"互联网+"在高校学生党建工作当中的优势日益体现出来,如何推动"互联网+"在高校学生党建工作当中的合理有效利用,备受社会各界关注。本文分析认为",互联网+"给高校学生党建工
环境不仅是企业生存和发展的基础,更是企业战略信息资源的重要来源。大数据时代,商业环境的不确定性不断增加,企业正在寻找新的方法来实现创新。随着企业的经营环境瞬息万变,数
随着信息技术的快速发展,客户关系管理系统随之产生,利用该系统可以完成客户信息的共享以及管理,同时可完成客户历史信息的分析,是公司客户管理以及企业经营决策分析的重要工具。
<正>几年前,一位外国人拍摄了一段在中国高铁上立硬币的视频。在这个长达9分钟的视频里,列车飞速行驶,硬币却始终立得稳稳的,从而引爆了外国网友讨论。甚至,"立硬币不倒"成了
<正>由中国珠宝玉石首饰行业协会与国土资源部珠宝玉石首饰管理中心联合主办的中国国际珠宝展,经过二十多载的积累和学习,已成为国内外珠宝行业颇具影响力的年度例展,是行内
轨道交通当中信号微机监测是保障列车安全运行的重要依据,近年我国提出铁路信号微机监测向集中监测方向发展。高压不对称脉冲轨道电路在解决轨道分路不良问题上有其特有的先
国际引渡合作一直是法学和国际政治领域备受关注的课题,处理起来十分困难,论域包含司法主权、国际人权、国际关系、国际刑事司法合作等范围。现今世界上主要依据主权边界而形
《四聲篇海》是金代的一部大型字書,是由韓孝彥、韓道昭父子在王太《類玉篇海》的基礎上編纂而成。韓氏《篇海》上承《玉篇》,下啟《字彙》,對後世大型字書的編纂與修訂具有
20世纪80年代以来语料库技术发展越来越成熟,这也为大规模地抽取言语样本从而进行有效的定量分析奠定了基础。使得词典的编纂一改传统内省枚举方式,从而使得定量与定性分析结
针对深部充填开采留巷围岩控制难题,以邢东矿1126运料巷为研究背景,采用应变软化模型研究工作面推进全过程中留巷围岩偏应力与塑性区演化规律。研究表明:(1)超前采动影响较明