基于MapReduce计算模型的气象资料处理调优试验

来源 :应用气象学报 | 被引量 : 0次 | 上传用户:silversandcgliu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存
其他文献
针对不规则脉冲簇难以判别问题,将多尺度熵应用于不规则先导分析中,探讨闪电信号不规则脉冲分析应用中多尺度熵关键参量的选择方法。在此基础上,将不规则先导与直窜先导及梯级先
采用国际通用的辐射数据质量评估方法对2005201i年浙江临安、黑龙江龙凤山两个区域大气本底站辐射观测资料进行质量评估与比较分析。结果表明:两站辐射数据通过物理可能限制检
基于美国气候基准站网(USCRN,US Climate Reference Network)的均匀正三角网格布局模式,以站网对我国平均降水量和气温的方差解释量分别能够达到95%和98%为标准,利用我国2416个