论文部分内容阅读
海量的对地观测遥感数据对地面数据处理和产品生产系统提出了新的挑战,目前遥感对地观测数据量动辄达到PB级,传统的遥感处理和产品生产系统都是针对单一传感器接收的数据,实时进行接收数据的辐射纠正和几何纠正,完成初级产品的处理并发布;高级产品数据的处理以MODIS产品的全球覆盖范围和时空分辨率最为完整,但是目前还没有针对多传感器所接收的数据的综合处理系统。 为了解决海量遥感数据的处理,人们开始关注利用分布式处理方式提高数据处理速度的研究,目前有对单一遥感产品或者有限空间范围内进行分布式计算的成功案例。但是分布式计算和遥感产品反演算法所涉及的算法依赖有很大关系,但是对于复杂算法的模块化和函数依赖的分析的研究还远远不够。 本论文依托我国重点863项目“全球陆表特征参量产品的生产与应用研究”,在全球范围内生产时空连续的陆表特征参量产品,包括叶面积指数、地表反照率、地表发射率、下行短波辐射和下行有效光合辐射五种特征参量产品。针对海量数据存储和管理、产品算法模型依赖和分布式生产等关键技术问题,本文在如下几个方面进行了研究并获得了创新性的认识: (1)建立了面向全球陆表特征参量产品生产的数据模型:增加了多层次数据模型设计,其中包括多层次数据存储和处理算法模型。数据存储包含元数据层次和数据实例层次,处理算法模型包含算法类型和算法实例层次;在不同层次定义数据和算法文件的命名、格式、地理投影和内容。 (2)提出了数据全生命周期的数据管理模式:在多层次数据存储模型的基础上,完成了从原始数据、中间产品数据和高级产品数据的全生产链路数据处理周期的数据库结构设计,实现了数据全生命周期的数据管理,包括数据完整性、数据一致性检测,分布式存储环境下的数据处理,为海量遥感数据的处理奠定了基础。 (3)厘定了算法处理依赖关系的数据表达:在多层次处理算法模型基础上,针对某个具体的任务,就可以建立其各执行步骤之间的依赖关系。建立数据处理的拓扑图,完成了算法处理依赖关系的数据表达方式、存储方式和共享模式的设计,以此为基础程序实现了分布式处理的PC集群系统。 (4)以多层次数据模型为基础,实现了面向全球陆表特征参量产品生产的可视化编目系统、数据产品质检工具平台,为多源海量遥感数据的产品生产提供了有利保障。