石油物探数据处理系统的I/O加速技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:heeraigyf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着石油物探数据采集量的高速增长,石油物探数据处理的I/O性能逐渐成为系统的瓶颈。由于当前行业内主要使用NFS(Network File System)文件系统来存储数据,所以NFS服务器的性能对整个系统的性能影响较大。另一方面,处理石油物探数据的集群规模也越来越大,但是整个集群的效率却在不断下降,而异构并行的石油物探数据处理软件开发难度较大。所以,现阶段的处理软件性能的提升依赖于集群中每个NFS I/O节点的性能的提高。   石油物探数据处理对单节点的I/O访问具有局部性弱、随机性强、访问粒度小等特点,传统的优化方法不能对其加速。因此,本文设计并实现了一种NFS预调度机制(NFS Pre-Schedule,NPS)来优化石油物探数据处理系统的I/O性能。基于石油物探数据处理系统的I/O访问特点,该机制对传统的I/O调度技术、缓存技术和预取技术进行了改进,并取得了如下成果:   (1)在NFS文件系统层设计了一种基于磁盘物理地址的I/O预调度策略。通过提前获取应用的访问序列,本策略对磁盘物理地址访问序列进行了局部重排序,大幅度减小了磁盘的寻道时间,从而提高了系统的I/O性能。   (2)以高速存储设备为慢速磁盘的缓存,设计了一种两级存储的I/O加速系统。该系统通过预先知道的访问序列对数据进行预取,并缓存预取的数据到高速存储设备。在缓存命中的情况下,该系统可以提供等同高速存储设备的I/O性能。   (3)针对NPS系统中访问序列的同步问题,提出了一种无阻塞生产者消费者模型的解决方案。由于Linux系统中用户态与内核态通信资源的限制,该模型中的生产者不能睡眠。本文通过增加调度操作、修改P操作和V操作等方法突破了Linux的资源限制。   实验表明,NPS系统中NFS服务器端的内存容量对性能基本没有影响,而排序窗口和预取线程数对NPS系统的性能影响较大。测试过程中,NPS系统中数据预取的命中率达到99%以上,这导致在I/O排序窗口为2GB时,系统性能比优化前提升了7.5倍。
其他文献
多线程编程广泛应用于当今多核、分布式系统中,是提高程序性能、充分利用并行体系结构硬件资源的一种重要手段。但是,多线程程序编程比较困难,容易引起并发错误,而这些并发错误具
图像分割是数字图像处理和计算机视觉中最基本的问题,已经被广泛研究了数十年。图像分割是将二维图像划分为多个子区域的过程,每个子区域的像素具有某种相似的视觉属性。图像分
助残人机交互技术是实现科技助残的重要研究内容,对增强残疾人的自理能力,提高其生活质量具有重要意义。通过对人体运动(信号)的检测及多模态识别,可以实现与控制系统的交互。这
科技文献的机器翻译有着重要的研究意义和实用价值。随着科技文献数量的与日俱增,人工翻译的速度已经无法满足其日益增长的需求。机器翻译技术的发展为科技文献的自动翻译提供
分子影像是一门新兴的前沿综合交叉学科,是美国哈佛大学Weissleder等人于1999年提出的。利用分子探针技术,它可以在细胞、分子水平实现生物体生理、病理变化的实时、无创、动态
近几十年来,磁盘性能的发展远远落后于CPU、内存的发展,其随机访问的性能也远低于顺序访问,同时随着集中式存储的广泛应用,如何提高应用的并发写性能逐渐成为一个突出的问题。另
随着医院信息化建设水平的不断提高,临床信息系统建设受到医院的重视。临床信息系统始终坚持“以患者为中心”的理念,避免繁琐的流程,提高医务工作者的工作效率,最终实现提高
随着数据量的增加和元数据操作性能需求的提高,传统基于DRAM+HDD存储架构的机群文件系统元数据存储系统面临挑战。由于HDD的I/O时延过高,HDD已经成为元数据存储系统的性能瓶颈
近年来,物联网产业方兴未艾,而无线传感器网络的研究也为物联网的发展注入了一针强心剂。无线传感器网络有着巨大的发展潜力,尤其是在物联网产业蓬勃发展的今天。将无线传感器网
近些年,随着计算机技术以及网络技术的快速发展,图像与视频等多媒体的应用越来越广泛,其版权保护认证问题逐渐成为普遍关注的问题;可逆数字水印以其独特的可逆特性作为版权保