论文部分内容阅读
随着电子政务这种信息化环境下的新型政务模式的不断深入发展,采用云计算模式建设的各级地方政府政务云应运而生,气象部门应用系统在向政务云迁移部署过程中,存在基础气象数据缺乏,政务云网络安全策略限制导致应用系统开发模式单一等诸多问题,制约了气象服务类应用系统的开发方式,以及进一步在政务云部署应用的效果,也无法满足公众对气象服务的需求,因此在政务云上构建一套稳定可靠的气象服务数据仓库非常有必要性。针对气象网站等应用系统向地方政务云迁移过程中缺乏基础数据的现状,通过对政务云气象服务数据仓库建设需求进行分析,在政务云搭建企业级SQL Server数据库集群,作为气象服务数据仓库载体,支持数据库双活和横向扩展,也可以通过虚拟服务器配置提升实现纵向扩展,满足数据仓库高可用和高性能需求,也为未来数据仓库的扩容和性能提升提供了保障。数据仓库构建前期,对元数据环境进行详细分析,着力分析元数据源类型、数据表类型和数量、数据更新特性、数据表结构设计和数据更新比对项等内容,根据分析结论为下一步对数据ETL流程建模和作业调度策略设置提供依据。基于Kettle软件对气象数据ETL流程进行建模,实现气象数据的整合和同步,解决了异构气象数据集成、增量数据抽取、数据清洗和转换、数据载入这些数据仓库构建各环节涉及的关键问题。使用Quartz开发作业调度系统实现ETL流程的自动化运行,基于Quartz开源作业调度框架开发了数据仓库作业调度系统,实现了各类气象数据ETL流程模型的自动化,打通了数据仓库建设的最后一个环节,数据仓库作业调度系统基于轻量级的开源Java开发框架Spring MVC开发,系统提供灵活的作业调度规则,可实现类Unix系统下Cron作业调度器的功能,支持图形界面配置,同时提供作业调度状态监控和故障分析等功能。通过以上步骤构建了政务云气象服务数据仓库。该数据仓库实现了预报、预警、探测等60余种气象资料在政务云的落地,既服务于部署在政务云的气象服务应用系统,也为气象部门参与政务数据交换提供条件,具有很高的实用价值。气象服务数据仓库的建设是一个持续性的工作,根据中国气象局气象信息化行动方案,未来可以在气象服务数据仓库部署标准化气象数据服务接口,改变以数据库为中心的传统开发模式,为各类气象服务应用系统提供标准化的对接方式。也可以充分利用政务云已建成的Hadoop大数据分析与处理平台,开展气象大数据分析工作,研究气象大数据和其他行业大数据的关联性,应用于防灾减灾和社会治理等领域,让气象数据发挥更大的现实价值。