硬件技术的不断发展推动了数据处理系统的更新迭代。在计算方面,现代CPU多核、众核技术的成熟让大多数据处理系统选择采用数据分区的方式实现并行计算,从而充分发挥CPU的性能。在存储方面,大容量内存集群让数据处理系统可以在处理数据前,通过提前将数据集导入内存的方式,避免传统磁盘带来的I/O瓶颈,大幅提高了处理的性能。在网络方面,随着RDMA技术的成熟,它在现代的数据中心逐渐普及,利用其高带宽低时延的特性可以有效地解决分布式系统中经典的网络瓶颈难题。数据倾斜问题一直是影响系统执行性能的重要因素之一,因此在当前硬件迅速发展的背景下,对数据倾斜问题进行重新分析研究,是一个值得探索的课题。当数据倾斜发生时,它会导致数据集在被系统导入内存后生成的数据分区大小不一致,负责处理较大数据分区的执行任务往往会成为整个执行阶段的性能瓶颈,这降低了整个执行的性能。传统的数据倾斜解决方案大多基于采样和重新分区的方式,对于采样来说,很难在精确度和引入的计算开销中进行权衡,而重新分区的方式往往需要暂停整个执行阶段,然后对数据进行重新分布。这两种方式都会带来额外的开销,所以本文重新分析了数据倾斜状态下的分布式执行方式,并在Apache Spark系统上实现了设计的优化方案,加速了Spark SQL库在数据倾斜状态下的执行性能,主要的工作和贡献如下:(1)本文提出了一种对上层用户透明并且轻量级的动态执行优化方案来处理节点内的数据倾斜问题。该优化的核心思想基于数据偷取,在数据倾斜状态下,令负责处理较小数据分区的执行任务处理完自己的分区数据后,主动从负责处理较大数据分区的执行任务中偷取数据并且进行处理。(2)在动态执行优化的基础上,本文对节点内和节点间的数据倾斜问题进行了进一步的分析,提出了两阶段数据偷取DS2来同时解决节点内和节点间的数据倾斜问题,基本思路是优先解决节点内的数据倾斜问题,然后再借助RDMA网络来解决节点间的数据倾斜问题。DS2一共包括三个阶段,分别是将数据从磁盘导入到内存的导入阶段,生成执行任务的任务生成阶段和开始处理数据的数据处理阶段。通过对这三个阶段的优化,DS2可以应对不同的执行算子以及不同数据倾斜程度导致的不同数据分布。(3)考虑到RDMA高速网络的特性和远端数据偷取的具体场景,本文设计了一个结合RDMA单边操作和双边操作的远端数据偷取方案,它充分利用了RDMA单边操作和双边操作的特点,提高了节点间数据偷取的执行效率。(4)本文在Apache Spark的基础上实现了一个可以运行的系统原型Spark-DS2,并通过在Spark SQL库上运行不同数据倾斜程度的负载,对其进行了全面的性能测试。综上所述,本文对分布式环境中节点内和节点间的数据倾斜问题进行了研究,并结合RDMA高速网络提出了两阶段数据偷取DS2,它从数据导入阶段,任务生成阶段和数据处理阶段对数据倾斜状态下的分布式数据处理进行了优化。本文在Apache Spark系统中对DS2进行了实现,并通过实验证明了该方案可以有效提升Spark SQL库在数据倾斜负载下的执行性能。