遥感数据流式处理中的并行IO优化方法

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:yhqtongxue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的不断发展,处理器处理速度得到了很大提升。与此同时尽管硬盘存储不断扩容,硬盘的数据读写速度并没有得到与处理性能匹配的提升。这使得在数据量爆发的科学计算应用中,数据的IO读写性能低下成为了制约科学计算处理效率的瓶颈之一。遥感数据流处理作为数据密集型科学的一个典型应用,其处理效率受数据IO读写性能的限制愈发明显。如何改善数据流处理中的数据并行IO性能来提升集群环境下的高性能遥感数据流处理处理效率成为了一个重要议题。  本文分析了遥感数据流处理IO性能低下的原因,阐述了并行IO库对遥感数据流处理进行优化的可行性,提出基于并行IO库与流式处理的遥感数据流优化方法。  本文在遥感数据流算法的数据IO优化方面,针对遥感数据流处理中存在的特殊数据访问模式,特别是广泛存在的非连续数据访问模式,设计了基于ADIOSIO中间件的图像数据组织管理方法并实现了访问接口。该管理方法与访问接口以匹配遥感图像处理算法的非规则数据访问模式为设计目标,解决了图像处理算法访问非连续图像数据带来的碎片化IO问题,从而提高了遥感数据流的处理效率。  本文在遥感数据流流程间的数据IO优化方面,基于ADIOS IO库,提出了基于数据分段缓存技术的数据流式处理方法。该方法将数据流相邻处理流程的中间数据分段缓存在数据缓存节点缓冲内存中,为遥感数据流提供数据读写与处理的异步支持,避免了中间数据磁盘存储的磁盘读写,从而提高了遥感数据流的处理效率。  本文通过对图像数据的非连续数据读写性能测试与对工作流执行性能测试的实验,验证了基于并行IO库的遥感数据流优化方法的可用性,同时结合实验分析了遥感数据流式处理的执行效率优化的关键问题,可以为后续的研究工作提供参考。
其他文献
在目前的交易环境下,大多数印刷商会花费很多的时间和精力来确保如何留住现有客户,而不是专注于赢得新客户.然而,随着时间的推移,每个企业都会经历某种程度的客户流失,这是一
期刊
在雷达信号日益密集的电子战环境下,要以较高的准确率完成雷达信号的分选与识别,雷达侦察设备除了继续检测载波频率、到达角、到达时间、脉冲宽度和脉冲幅度这些传统参数外,还必
通信技术历来被称为世界经济和军事的生命线,而通信中的保密技术则是核心技术之一,从来就是竞争激烈的领域。“时代日益信息化,社会日益网络化”,信息化的风暴震撼全球,信息战将成
日本纸质出版市场连续多年下滑,2019年仍无起色.rn据日本出版科学研究所统计,20世纪90年代中期,是日本出版市场的巅峰时期.1995年以前至1997年日本出版销售额均为2.6万亿日元
期刊
玉米是我国重要的粮食和饲料作物。由隐性o2基因控制的优质蛋白玉米(QPM)的籽粒中赖氨酸和色氨酸两种单胃动物必需氨基酸的含量较普通玉米高出一倍左右。O2基因是玉米重要的转录因子基因,在转录水平和翻译水平上参与调控玉米胚乳发育过程中多个基因的表达,其前导序列还可以调节自身基因的表达。阐明由o2基因引起胚乳醇溶蛋白合成的抑制、氨基酸代谢与淀粉合成的途径改变、糖代谢水平下降、易感病感虫、雄蕊早熟等生理、
依据时间域反射测试技术(TDR)的基本原理,提出了TDR技术在滑坡监测中的野外工作方法。为了更好地了解电缆的变化规律,进行了室内试验。结合实际应用,给出了TDR监测滑坡的野外
移动通信业务流量近二十年来始终保持高速增长,稀缺的频谱资源严重制约无线通信的发展。为满足用户需求,提升传统蜂窝网络容量的主要方法是增加小区数量,提高单位面积上的频
本文首先介绍了所设计和实现的web文本聚类系统,并分析了系统架构,描述系统的实现过程,然后介绍了目前比较常见的一些文本聚类方法的算法及其利弊,进而详细阐述了一种比较出色的w
本研究工作基于蚁群算法,根据车辆路径问题的实际条件,结合其他不同的启发式人工智能算法,研究求解车辆路径问题的更优(运算时间更短或求解结果更好)、更通用(适用于不同类型
高频天波超视距雷达利用电离层反射来传输高频段电磁波,从而克服了地球曲率半径的限制,实现对海面舰船目标和飞行目标的超视距探测,并且可以应用于海态遥感等各项民用事业中.