高性能计算机通信控制器技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:xianglongke2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算机在征服每秒千万亿次计算能力的过程中,成功地提高了单个节点的性能和互连网络的规模,但同时也引入了许多新的问题。多核处理器和GPU等加速部件在增加了节点性能的同时,也改变了节点间的通信行为,增加了通信控制器的通信负担。通信控制器作为节点和互连网络之间的桥梁,很大程度上决定了通信的效率,直接影响高性能计算机的性能。   为了实现每秒千万亿次的计算能力,中科院计算所提出了超并行处理(HPP)体系结构。曙光5000高效能计算机项目中的一个原型系统就具有HPP体系结构的部分特征,它设计实现了定制的Gemini网络接口;此外,曙光6000千万亿次高性能计算机项目中的一个核心部件-HPP控制器,体现了HPP体系结构中超节点的特征。   本文针对高性能计算机的通信技术开展研究,重点研究了通信软硬件接口和通信控制器的关键技术,并且应用在曙光5000项目中的一个原型系统和曙光6000项目的HPP控制器的设计和实现中,具体的创新性工作如下:   1)设计了面向HPP体系结构的通信软硬件接口,涵盖了多项关键技术,主要包括:从MPI/PGAS抽象的多种通信语义:NAP、Put、Get、远程读写和原子操作等,全局地址空间,协议offloading/onloading权衡:例如软件tag匹配等,memory-free的无连接通信,大页面和集合通信等。其中memory-free的无连接通信是本文中首次提出。   2)设计了面向HPP体系结构的通信控制器,涵盖了多项关键技术,主要包括:通信语义的硬件实现方法,采用HT规范的处理器接口,远程直接内存访问,通信控制器的虚拟化,小消息加速和支持集合通信等。其中,“远程直接内存访问”关键技术中的chain DMA描述符技术和基于HT规范的远程原子操作技术是本文中首次提出。   3)提出了一种小消息加速引擎的结构,并在一个原型系统的网络接口中进行了实现。测试结果表明小消息加速引擎对PGAS这种需要细粒度通信的编程模型有很好的加速效果,多个测试程序都有2-4倍的加速比。通过小消息加速和支持增强型block描述符等关键技术,原型系统的最短通信延迟为0.99us,最大有效带宽为749.9MB/s,物理带宽的利用率达到94%。   4)针对HPP控制器,提出了一种支持chain DMA描述符的DMA引擎结构,设计实现了HPP控制器的内部数据通路。测试结果表明采用chain DMA引擎的HPP控制器能够获得非常低的通信延迟和非常高的通信带宽利用率。HPP节点内的最短通信延迟达到0.58us,最大有效带宽达到1322MB/s,由于HT接口的有效数据带宽达到1422MB/s,因此带宽利用率达到93%。   5)设计实现了一个HPP节点模拟器用于HPP体系结构的研究。该模拟器实现了HPP控制器的时序模型,可以模拟单个HPP节点的行为,能够几乎不修改地运行操作系统、驱动和通信库软件。
其他文献
信息分布存储系统中需要复杂的访问结构控制以及被保护信息的多种属性标签。在传统系统中,为了实现访问结构控制,由一台服务器明文存储所以信息,并作为控制服务器接受信息的
随着信息技术的不断发展,需要保存和处理的信息量爆炸式增长,应用程序对存储系统的I/O性能提出了越来越高的要求。预取技术作为一种重要的I/O性能优化手段而被广泛地应用于各级
随着工程应用的范围和复杂度日益增大,人们对可视化的要求也越来越高,无论是电力系统、热力系统还是工作流管理系统,都习惯使用模型图来表示系统的组成结构或特定的工作流程
秘密共享是信息安全的重要组成部分,在重要信息和秘密数据的安全保存、传输及合法利用中起到了至关重要的作用。动态多秘密共享实现了参与者集合动态变化,完成了对多个秘密的
在各种图像分析和处理过程中,人们感兴趣的区域通常不是图片的所有内容,而是只是图像的一部分,因此,有大量研究者关注于人类视觉注意机制,并提出了一些计算模型,例如,Laurent
基于递归神经网络(RNN)的语言模型已经在很多语言生成的任务中取得了非常杰出的成果,然而模型主要关注的是如何减少字符层面的误差,却因此导致了对句子整体的忽视。一个行之有
随着多媒体信息处理技术的发展,图像数据呈快速增长趋势,为了有效管理和组织图像,基于内容的图像检索(CBIR)方法逐渐被人们所重视并成为快速检索图像数据库的核心研究领域。
近年来,数据收集与处理技术导致了大量的数据不一致和丢失,这样的数据通常是以不确定的形式出现。不确定数据的出现对传统的数据挖掘技术提出了新的挑战。作为数据挖掘的一项
随着存储技术的不断发展,传统的直连式存储模式逐渐被网络存储所替代。然而在网络存储环境下,传统的缓存系统并不能很好地满足网络存储提出的新需求:   1)有效支持多应用共享
多目标问题出现在许多工程领域。由于多目标问题的复杂性,很难找到精确的解,因此利用遗传算法解多目标问题的研究应运而生。它们以种群为基础,通过特定方法在决策空间中探索,