论文部分内容阅读
气象科学数据是地球科学数据的重要组成部分。通过对大气的各种要素状态的定量描述来研究其物理和化学特性,从而揭示地球大气的演变规律,实现对各种大气现象的预测。随着社会、经济和科学技术的发展,气象科学数据蕴含的巨大价值亟待被发掘和利用。因此迫切需要利用先进的计算机和信息技术来实现各种海量复杂气象科学数据的高效管理和共享。气象归档查询系统(MARS)正是在这一背景下诞生的。其主要作用是管理使用自描述信息编码的各种气象数据产品文件。经过多年的广泛应用,MARS系统在海量气象科学数据管理方面发挥了巨大作用。本文立足于这一成熟的科学大数据管理平台,研究分析了气象科学数据管理的相关技术,特别是针对MARS系统在实际业务运行中关键技术存在的性能瓶颈问题,提出了相应的改进方案。主要工作和贡献如下:1、对目前国内外气象科研部门研发和使用的主流气象科学数据管理系统进行数据管理框架和关键技术的研究和分析。结合气象科学数据逻辑、物理结构和数据模型,分析和研究MARS系统的主要架构和基于多维数据模型的元数据组织和管理方式、对象管理及对象数据库、文件存储接口等关键技术。提出了MARS系统在处理大数据量服务请求时元数据操作效率低下的关键研究问题。2、提出了基于多路数组结构MARS系统数据立方体并行计算方法。MARS系统数据管理技术的核心是利用数据立方体技术实现元数据索引计算。在对多维数据模型和数据立方体技术深入研究的基础上,对制约数据管理效率提高的元数据索引串行计算问题进行了深入分析。在此基础上,提出基于多路数组结构的数据立方体并行算法来提高元数据索引计算的效率,并通过实验验证此算法可以有效降低元数据索引的数据立方体计算时间。3、研究设计MARS系统数据查询和归档过程中的元数据检索和更新并行计算方法。结合多路数组结构的数据立方体并行计算方法,对系统中逻辑元数据与物理元数据的检索和更新进行并行化改进,并针对并行计算的结果归并问题提出基于二次数据立方体计算优化方法。实验结果表明算法对于大数据量查询和归档的元数据操作效率有明显的提高。在总结上述工作和MARS系统研究及元数据管理技术改进经验的基础上,进一步提出了对MARS系统海量气象科学数据管理技术未来的研究方案和技术路线。