当前，由于科学技术的进步和人们生活水平的提高，对高性能计算提出了越来越高的要求。传统的超级计算机，虽然具有非常高的计算性能，但由于其价格昂贵，严重限制了其在高性能领域的应用范围。1990年以来分布式机群开始进入高性能计算领域，由于处理器和网络的性价比不断提升，这种技术开始变得流行，但是其复杂的机群算法设计、对于计算资源的利用不足和资源冗余的不足，使得其发展很受限，无法满足人们对高性能日益增长的需求。20世纪初，随着双核处理器的提出，普通计算机便开始进入了并行计算的时代。普通计算机上基于多处理器的并行计算的出现大大提升了单机的性能，可以向机群甚至是专用的高性能超级计算机想媲美。　　 计算机在计算数学领域的广泛应用，以及计算数学自身的发展，对计算要求提出了越来越高的要求，最终出现了并行计算。并行计算是高性能计算中涌现出来比较有代表性的高性能体系结构，是在上世纪六七十年代由于一些列复杂且实时性要求很高的问题中应运而生的，这向单核计算提出了挑战。并行计算的实质就是同时使用多个资源来解决某个复杂且实时性要求很高的问题。由于其价格价格低廉，易于编程，实现简单，越来越多的大型且复杂的计算问题都采用计算计算来解决，这其中包括数值计算和非数值计算问题。本文对并行计算的结构特点及其在高性能计算的优势进行简要的论述，并针对多核CPU和GPU两大类多核处理器在并行计算的应用进行了详细的论述。　　 许多科学计算问题最终都归结为矩阵乘法，比如天气预报系统，这是一种最常碰到同时也是最耗时的运算。矩阵乘法算法往往会是一些系统的性能的关键，提高效率具有很高的实用价值。因此本文将多核处理器应用于矩阵乘法，设计成并行算法，利用并行计算高性能优势优化该算法。　　 本文主要是根据矩阵乘法自身具有的并行特点来设计并行计算算法。针对矩阵乘法本身是每行与每列的对应相乘，而每个相乘的行与列之间没有直接的关联，因此这本身就是一种具有并行设计特性的算法。根据矩阵乘法的这一特点，本文对行与列进行并行乘法处理，再结合多核CPU和GPU各自结构的特点，设计了矩阵乘法并行算法设计。　　 多核CPU的芯片上集合了多个核心处理器，核心之间的距离较短，缩短了通信时间，提高了通信效率。片上资源的共享使得器件减少，这也降低了功耗。基于多核CPU的并行计算通过对任务的分解，将各个子任务集中于一个内核完成，最后将结果汇总到一个主处理器上。来保证每个子任务相对独立，但也能进行必要的通信。这样一来就解决了单个处理器存储器不足的问题，并且降低了并行算法设计的难度。　　 基于多核CPU的矩阵乘法并行计算主要是根据其多重循环及其分块相乘原理，进行了cache和寄存器分块设计。在cache级别进行分块设计中，主要是通过减少对cache的丢失率，提高数据的重复使用率，来提高算法的效率。由于寄存器的访问快于对cache的访问，因此本文在cache块的基础上设计寄存器分块，同样这也是为了提高数据重复使用率。但由于CPU中的寄存器个数通常很少，只能设计成很小的块来满足计算中重复读取的需要。同时本文还使用了intel的SSE技术，这种可以一次实现4个float数相乘的技术，可以方便的实现寄存器分块，同时也大大提高了算法的效率。文章通过Openmp技术来实现了矩阵乘法的并行计算，效率基本上是成倍的提高。　　 基于GPU的矩阵乘法并行计算主要就利用GPGPU的编程语言—CUDA来实现。GPU与CPU相比，处理器众多是其最大的特点。GPU通常是采取流处理器阵列和通用计算核心两种方式来排列，但是其没有控制能力，这就决定了其必须依赖CPU来程序执行，配合其自身强大的计算能力来进行并行计算。这种CPU控制和GPU计算的并行计算模式主要是利用CUDA语言来实现，这是C的扩展，同时也是GPU运算的架构。本文先介绍了GPU的体系结构以及存储器，阐述了GPU不同存储器的用途以及其的访问方法。接着着重介绍了GPU全新的CUDA架构的特点，主要对CUDA的存储结构和线程结构进行了详细介绍。对CUDA的三层存储结构即做了较为详细的阐述。CUDA的线程结构是按照网格、块和线程三个层次来设计的，这就可以方便的实现基于GPU的并行计算。　　 本文主要从矩阵乘法的并行程度以及存储器带宽两方面来优化矩阵乘法算法，通过CUDA并行分组、并行缩减和改善设备存储器的访问来提高矩阵乘法的效率。并行分组主要是利用GPU处理器众多的优势，而并行缩减类似基于多核处理器的cache分块，只是利用的是GPU中的共享存储器，同样是提高访问的命中率，同时也减少了主机与设备间的数据传输，提高了存储器的带宽。由于GPU的并行执行导致了设备存储器访问顺序的特别，这就要求改变访问顺序来适应设备存储器，这可以明显的提高存储器的访问带宽。　　 本文主要根据多核处理器的特点，对矩阵乘法进行了并行算法设计。针对多CPU和GPU之间的结构异同，分别进行了讨论，并就各自的特点，实现了矩阵乘法的并行计算，成功的优化了性能，体现出了多核处理器在高性能上的应用价值。