面向高性能计算的分布式内存文件缓存系统

被引量 : 0次 | 上传用户:zbczbczbczbc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着设计理念和硬件制造工艺的不断发展,在过去的十多年中,磁盘存储设备的容量和访问性能有了长足的进步,但是依旧与CPU运算速度之间出现了不断扩大的不匹配问题,磁盘I/O逐渐成为数据密集型计算任务的瓶颈所在。特别是在分布式的高性能计算环境下,大量数据往往通过共享的存储设备进行存储,相比并行的计算速度,即使采取了NAS专用存储设备或SAN专用存储网络,使用RAID磁盘阵列提高磁盘数据访问吞吐量,磁盘I/O也往往成为系统总体性能的主要制约因素。在大量计算节点需要并发访问相同的文件数据时,存储系统局部会负担大量的文件访问请求,磁盘以及网络I/O在系统中的瓶颈地位就越发明显。面向高性能计算的分布式内存文件缓存系统,利用各计算节点上的空闲内存空间,构建分布式的共享内存池,利用数据访问的局部性,对高访问频度的文件数据进行内存缓存,提供统一的文件访问接口,透明的对存在于缓存或磁盘上的文件进行访问,降低高性能计算任务的I/O开销与等待时间,提高执行效率,同时降低共享存储系统的负载。使用优化的缓存文件置换机制,对缓存中的文件数据进行换入换出,缓存高频度访问的文件,提高缓存数据访问的命中率。实时监控计算节点的运行状态,使用预测算法对未来空闲内存大小进行预测,根据预测调整共享内存池大小,在不影响本地应用程序执行的前提下,最大程度利用空闲内存空间。实验表明,面向高性能计算的分布式内存文件缓存系统能够正确稳定的运行,有效利用计算节点的空闲内存对文件数据进行缓存,提高了上层应用的数据访问效率。在使用1Gbps以太网连接的集群上,相对于网络连接的共享磁盘文件存储,文件读取吞吐量最高提升200%。
其他文献
基于离散元仿真技术,针对双滚筒采煤机采煤过程中煤壁变化趋势及滚筒受力,在Solidworks中建立艾柯夫SL系列采煤机整体模型。同时,基于采煤工作面煤壁的实际情况,在离散元软件
商业地产由于具有长期稳定的回报利润,近年来成为众多投资者重点关注的新的投资方向,但由于在前期的投资决策阶段中,决策者所依赖的传统投资决策工具缺乏对全成本因素的综合考虑
LED(Light Emitting Diodes)作为第四代绿色照明光源得到了越来越多的关注和研究,目前LED广泛应用于指示灯、室内照明、体育场馆、车灯等领域,大有快速取代传统照明光源之势。
能源与环境危机之下,提高能源利用效率、开发新能源、加强可再生能源的利用是经济社会发展的必然需要。微网作为分布式电源接入的有效形式,相对外部大电网表现为单一的可控单元
中韩两国都受到了儒家思想的影响,在文化和习俗方面有很多相似的地方,但是由于历史发展,地理因素等原因,两国的文化也呈现出一定的差异。这也反映在两国的语言中。研究汉语和韩语
2002年8月16日最高人民法院、最高人民检察院发布公告,要求从2002年8月23日起施行《关于办理非法生产、销售、使用禁止在饲料和动物饮用水中使用的药品等刑事案件具体应用法
电力和我们的生活息息相关,它涉及到生活、工作、交通等多个方面,涉及面广则相应的需求量也相应增多,随着供电网络覆盖的不断扩大,电力系统对于供电的稳定性和安全性的要求更
<正>毛细支气管炎是婴幼儿时期较常见的下呼吸道感染性疾病,多见于6个月以内婴儿,临床表现主要为喘息、呼吸急促、三凹征、喘鸣、严重者可发生心力衰竭、呼吸衰竭、中毒性脑
光能利用效率是植物光合作用的重要指标,也是提高生态系统生产力的关键。本研究选择若尔盖高原这一生态敏感区,开展高寒草地和高寒湿地两个典型生态系统植物光能利用效率的观
当今世界科技飞速发展,世界各国对于能源的竞争愈发激烈,作为工业发展的支柱,水电能源是其中极其重要的一环。水力资源清洁、无污染、可持续利用、不会枯竭、成本低、效益高、对