论文部分内容阅读
摘 要：电力系统发展中，电力大数据与云计算技术之间的相互融合，已经成为其重要发展方向，为此可对基于云计算的电力大数据分析技术及应用加以探讨。本文以梅州供电局为例，首先对云计算技术及电力大数据进行全面分析与有效阐述，进而探讨云计算技术在电力大数据分析技术中的有效应用策略。
关键词：云计算；电力大数据；数据资源管理平台
中图分类号：TM769 文献标识码：A 文章编号：1004-7344（2018）35-0110-02
前 言
供電企业构建全面化的数据资源管理平台，强化数据分析能力，以满足供电企业的实际需求，通过整合并调取各种业务系统数据，按照相应数据资源管理平台模型设计要求，实现数据信息的有效组织与存储工作，支撑供电企业的业务开发及数据应用，为供电企业管理及决策提供数据基础。本次研究分析，旨在推动数据资源管理平台的搭建，满足单位本地化业务数据应用的需求。
1 云计算及电力大数据的相关论述
1.1 云计算技术
云计算技术是一种对于数据信息的处理系统，可对数据信息进行云存储，并通过云计算对数据进行大规模分布式计算分析，该技术的应用，可满足用户对于海量数据的处理与计算能力，可向用户提供虚拟化与动态化的信息数据服务，实现资源的动态调配，基于用户实际需求提供服务，以有效避免资源的不必要消耗与浪费，提高企业的竞争力。云计算技术的应用，可满足信息化时代对于资源利用的横向拓展与负载均衡方面的要求，以云计算技术为支撑，为数据中心增加节点，向新的节点进行负载迁移，采取有效措施实现节点负载均衡，以强化系统业务能力，并通过大规模的数据节点，通过高效化的信息网络，向用户提供计算及储存工作所需数据。
1.2 电力大数据
电力大数据是基于智能电网，在电力网络运行GIS系统、营销管理系统、计量自动化系统、配网自动化主站系统等业务系统所产生的数据信息，均利用电力大数据进行统一管理。同时，供电单位的业务开展涵盖了输电、变电、配电、供电等各个环节，随着电力系统的不断运行，职能系统应用的日益深入，供电单位信息系统中累积大量历史数据，共同成为供电单位信息数据的重要资源。考虑到数据量的不断增加，以及供电单位业务开展的需要，应强化对于数据信息的整合与应用，对数据背后的业务发展趋势及发展规律加以明确。同时，需要充分明确不同业务数据之间的关联性，从全面化的角度进行主题构建，立足于数据主题进行分析，充分利用数据信息对供电单位业务工作的开展提供指导，对企业战略规划提供辅助[1]。
2 立足于云计算的电力大数据分析技术及其应用
2.1 大数据的预处理
电力行业发展的同时，电力供应、设备运行、故障数据、生产调度、市场营销等各个环节所产生的数据信息的规模不断增大，随着电力系统的不断发展，这些数据信息的增速会越来越快，产生极大的数据量，加上各信息系统间数据不同源问题，这就需要进行高效及时的数据处理，以保证各系统的协同数据一致，提高数据质量水平。可采用云计算技术参与电力大数据的预处理，对数据信息进行清理、集成与转换等操作。
同时，对电力生产及供应过程中，各个环节的数据信息进行融合与挖掘，便于及时明确电力能源生产及供应中的薄弱环节，便于采取相应的应对与优化措施。电力网络的发展，还可基于大数据信息与指导，指导电力企业的运行与发展规划，指导电力生产企业的运行与管理工作，基于大数据分析，强化对于企业的日常管理观念及经营决策工作。电力大数据还可反映经济社会发展中对于能源资源的需求与消耗，电力大数据具备较高的时效性与精准性，可用以分析经济发展，并对经济走势进行有效预测。
2.2 大数据分析系统
2.2.1 功能诉求
电力大数据的信息采集乃至数据分析阶段，需要利用多个环节加以实现。电力大数据的采集，也需要较多传感设备与智能电表进行数据采集，在数据采集中，需要按照频率进行周期性采集，以信息通讯渠道向数据中心进行信息传递，存于海量准实时平台。海量准实时平台定期向数据资源管理平台回流采集数据信息。在采集数据信息的过程中，需要进行信息的转译与解析。为避免大面积、大范围的云存储系统访问情况，在完成数据采集之后，将数据信息首先置于缓冲池，便于对数据信息进行预处理。
除了定期采集数据之外，设备设施及电力系统运行中所形成的静态信息由省公司数据仓库定期回流至数据资源管理平台，可形成档案信息库，在关系数据库中加以保存，并在云存储系统中得以复制。更新档案数据库时，应当在云存储系统中进行同步更新，为数据信息的计算结果精准性提供保障。在访问云存储系统时，可在并行计算环境下进行，以业务逻辑为根基，对数据信息进行复杂分析与有效计算，在云存储系统中录入计算结果，以满足数据信息在线查询与在线检索的需要[2]。
2.2.2 功能模块
（1）HDFS，该系统模块为数据资源管理平台的核心模块，在电力大数据领域中的应用，可实现对于大数据的长时间存储。HDFS涵盖多个数据服务器，被划分为若干数据块，在不同的数据服务器中均有分布。不同的数据块都包含若干副本，在相应数据节点上分布，若出现副本无法访问的现象，则系统会自行创建新的副本，为系统运行的均衡性提供保障。
（2）Hadoop，该模块基于Map-Reduce并行编程框架，进行框架开源处理打造的功能模块。Map-Reduce包括Map及Reduce两种函数，前者当输入数据对转换时，可生成中间结果数据对；后者可对key相同一组的value加以处理，确定处理结果，将其录入HDFS系统中。
（3）Hive，该模块以Hadoop平台为基础，可实现对于电力大数据的有效分析与数据源核算，该模块具备HiveQL查询语言，可基于该接口进行系统查询。同时，HQL查询具备一组Map-Reduce程序，整合数据信息，构成表格，并在HDFS中进行存储。除此之外，以云计算为基础的数据资源管理平台的搭建，还包括监控工具及运行工具，前者用于对系统状态进行监控，后者用于对资源使用及系统调度加以运行。
2.2.3 关键技术
云计算基础上的大数据分析技术在搭建数据资源管理平台中的实际应用，应充分体现在其关键技术的应用方面，弱化电力大数据分析与应用难度，优化Hive的性能及应用效果。为推出电力大数据信息系统的应用价值，可从以下方面采取有效措施：①以网格文件为基础的多维索引。考虑到Hive并不十分支持多维索引，只具备整体表面扫描的功能，通过这种方式获取相应信息，就会导致较为严重的资源消耗，影响系统性能。针对这种问题，可采取网格文件为基础的多维索引技术，以强化多维区间查询功能；②以查询重写为基础的自动翻译工具。Hive可采用SQL子集中的HQL为查询语言，该查询语言中的语法差异较为明显，可采用以查询重写技术为基础的自动翻译工具QMapper，解析SQL语句，以实现查询重写；③以数据更新为基础的混合存储模型，可采取混合存储架构，整合主表及附表，有效提高流式读写功能实现的高效性[3]。
3 结 语
大数据环境下，电力系统运行过程中所产生的电力大数据，可以采用云计算技术进行充分利用，发挥电力大数据的重要作用与价值，为此，可首先利用云计算技术对电力大数据进进行预处理，进而利用云计算技术，搭建数据资源管理平台，以强化电力大数据与云计算技术的有效结合。
参考文献
[1]吴秉奇.云计算环境下电力大数据的分析技术与应用[J].淮南职业技术学院学报，2018，18（03）：4～5.
[2]王向红，陈潇一.云计算与电力大数据技术的现状及发展趋势研究[J].陕西电力，2017，45（06）：70～72.
[3]吴凯峰，刘万涛，李彦虎，苏伊鹏，肖 政，裴旭斌，虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力，2015，48（02）：111～116+127.
收稿日期：2018-11-7
作者简介：丘 丹（1988-），女，工程师，大学本科，主要从事信息运维工作。
关键词：云计算；电力大数据；数据资源管理平台
中图分类号：TM769 文献标识码：A 文章编号：1004-7344（2018）35-0110-02
前 言
供電企业构建全面化的数据资源管理平台，强化数据分析能力，以满足供电企业的实际需求，通过整合并调取各种业务系统数据，按照相应数据资源管理平台模型设计要求，实现数据信息的有效组织与存储工作，支撑供电企业的业务开发及数据应用，为供电企业管理及决策提供数据基础。本次研究分析，旨在推动数据资源管理平台的搭建，满足单位本地化业务数据应用的需求。
1 云计算及电力大数据的相关论述
1.1 云计算技术
云计算技术是一种对于数据信息的处理系统，可对数据信息进行云存储，并通过云计算对数据进行大规模分布式计算分析，该技术的应用，可满足用户对于海量数据的处理与计算能力，可向用户提供虚拟化与动态化的信息数据服务，实现资源的动态调配，基于用户实际需求提供服务，以有效避免资源的不必要消耗与浪费，提高企业的竞争力。云计算技术的应用，可满足信息化时代对于资源利用的横向拓展与负载均衡方面的要求，以云计算技术为支撑，为数据中心增加节点，向新的节点进行负载迁移，采取有效措施实现节点负载均衡，以强化系统业务能力，并通过大规模的数据节点，通过高效化的信息网络，向用户提供计算及储存工作所需数据。
1.2 电力大数据
电力大数据是基于智能电网，在电力网络运行GIS系统、营销管理系统、计量自动化系统、配网自动化主站系统等业务系统所产生的数据信息，均利用电力大数据进行统一管理。同时，供电单位的业务开展涵盖了输电、变电、配电、供电等各个环节，随着电力系统的不断运行，职能系统应用的日益深入，供电单位信息系统中累积大量历史数据，共同成为供电单位信息数据的重要资源。考虑到数据量的不断增加，以及供电单位业务开展的需要，应强化对于数据信息的整合与应用，对数据背后的业务发展趋势及发展规律加以明确。同时，需要充分明确不同业务数据之间的关联性，从全面化的角度进行主题构建，立足于数据主题进行分析，充分利用数据信息对供电单位业务工作的开展提供指导，对企业战略规划提供辅助[1]。
2 立足于云计算的电力大数据分析技术及其应用
2.1 大数据的预处理
电力行业发展的同时，电力供应、设备运行、故障数据、生产调度、市场营销等各个环节所产生的数据信息的规模不断增大，随着电力系统的不断发展，这些数据信息的增速会越来越快，产生极大的数据量，加上各信息系统间数据不同源问题，这就需要进行高效及时的数据处理，以保证各系统的协同数据一致，提高数据质量水平。可采用云计算技术参与电力大数据的预处理，对数据信息进行清理、集成与转换等操作。
同时，对电力生产及供应过程中，各个环节的数据信息进行融合与挖掘，便于及时明确电力能源生产及供应中的薄弱环节，便于采取相应的应对与优化措施。电力网络的发展，还可基于大数据信息与指导，指导电力企业的运行与发展规划，指导电力生产企业的运行与管理工作，基于大数据分析，强化对于企业的日常管理观念及经营决策工作。电力大数据还可反映经济社会发展中对于能源资源的需求与消耗，电力大数据具备较高的时效性与精准性，可用以分析经济发展，并对经济走势进行有效预测。
2.2 大数据分析系统
2.2.1 功能诉求
电力大数据的信息采集乃至数据分析阶段，需要利用多个环节加以实现。电力大数据的采集，也需要较多传感设备与智能电表进行数据采集，在数据采集中，需要按照频率进行周期性采集，以信息通讯渠道向数据中心进行信息传递，存于海量准实时平台。海量准实时平台定期向数据资源管理平台回流采集数据信息。在采集数据信息的过程中，需要进行信息的转译与解析。为避免大面积、大范围的云存储系统访问情况，在完成数据采集之后，将数据信息首先置于缓冲池，便于对数据信息进行预处理。
除了定期采集数据之外，设备设施及电力系统运行中所形成的静态信息由省公司数据仓库定期回流至数据资源管理平台，可形成档案信息库，在关系数据库中加以保存，并在云存储系统中得以复制。更新档案数据库时，应当在云存储系统中进行同步更新，为数据信息的计算结果精准性提供保障。在访问云存储系统时，可在并行计算环境下进行，以业务逻辑为根基，对数据信息进行复杂分析与有效计算，在云存储系统中录入计算结果，以满足数据信息在线查询与在线检索的需要[2]。
2.2.2 功能模块
（1）HDFS，该系统模块为数据资源管理平台的核心模块，在电力大数据领域中的应用，可实现对于大数据的长时间存储。HDFS涵盖多个数据服务器，被划分为若干数据块，在不同的数据服务器中均有分布。不同的数据块都包含若干副本，在相应数据节点上分布，若出现副本无法访问的现象，则系统会自行创建新的副本，为系统运行的均衡性提供保障。
（2）Hadoop，该模块基于Map-Reduce并行编程框架，进行框架开源处理打造的功能模块。Map-Reduce包括Map及Reduce两种函数，前者当输入数据对转换时，可生成中间结果数据对；后者可对key相同一组的value加以处理，确定处理结果，将其录入HDFS系统中。
（3）Hive，该模块以Hadoop平台为基础，可实现对于电力大数据的有效分析与数据源核算，该模块具备HiveQL查询语言，可基于该接口进行系统查询。同时，HQL查询具备一组Map-Reduce程序，整合数据信息，构成表格，并在HDFS中进行存储。除此之外，以云计算为基础的数据资源管理平台的搭建，还包括监控工具及运行工具，前者用于对系统状态进行监控，后者用于对资源使用及系统调度加以运行。
2.2.3 关键技术
云计算基础上的大数据分析技术在搭建数据资源管理平台中的实际应用，应充分体现在其关键技术的应用方面，弱化电力大数据分析与应用难度，优化Hive的性能及应用效果。为推出电力大数据信息系统的应用价值，可从以下方面采取有效措施：①以网格文件为基础的多维索引。考虑到Hive并不十分支持多维索引，只具备整体表面扫描的功能，通过这种方式获取相应信息，就会导致较为严重的资源消耗，影响系统性能。针对这种问题，可采取网格文件为基础的多维索引技术，以强化多维区间查询功能；②以查询重写为基础的自动翻译工具。Hive可采用SQL子集中的HQL为查询语言，该查询语言中的语法差异较为明显，可采用以查询重写技术为基础的自动翻译工具QMapper，解析SQL语句，以实现查询重写；③以数据更新为基础的混合存储模型，可采取混合存储架构，整合主表及附表，有效提高流式读写功能实现的高效性[3]。
3 结 语
大数据环境下，电力系统运行过程中所产生的电力大数据，可以采用云计算技术进行充分利用，发挥电力大数据的重要作用与价值，为此，可首先利用云计算技术对电力大数据进进行预处理，进而利用云计算技术，搭建数据资源管理平台，以强化电力大数据与云计算技术的有效结合。
参考文献
[1]吴秉奇.云计算环境下电力大数据的分析技术与应用[J].淮南职业技术学院学报，2018，18（03）：4～5.
[2]王向红，陈潇一.云计算与电力大数据技术的现状及发展趋势研究[J].陕西电力，2017，45（06）：70～72.
[3]吴凯峰，刘万涛，李彦虎，苏伊鹏，肖 政，裴旭斌，虎嵩林.基于云计算的电力大数据分析技术与应用[J].中国电力，2015，48（02）：111～116+127.
收稿日期：2018-11-7
作者简介：丘 丹（1988-），女，工程师，大学本科，主要从事信息运维工作。