分布式计算平台为高效处理海量数据提供了便利,Spark凭借基于内存计算的优势被广泛应用于大数据研究领域。数据混洗(Shuffle)是Spark中不可或缺的过程,Shuffle中若是发生数据倾斜,将严重影响整个分布式集群的运行效率。针对Shuffle数据倾斜问题,现有的动态分区解决方法存在动态适应性不强和粒度不够细等不足,通过分析Shuffle的数据分区原理,实现了面向Spark Shuffle算子的动态均衡分区方法SPDB(Spark Partition Dynamic Balanced)。该方法基于弹性分布式数据集(Resilient Distributed Datasets,RDD)的Shuffle算子实现中间数据总体倾斜度的评估,通过一次采样,预估中间数据的总体倾斜度,给出了应用程序执行的总体分区策略,即不同的执行阶段(stage)调整分区数和执行均衡分区,以减轻数据倾斜对性能的影响。在SPDB中,首先,为了预测中间数据的分布变化,通过水库抽样对每个Shuffle操作的中间数据进行采样和预处理,预估总体数据的倾斜度。继而,利用评估结果,为应用程序运行的每个Shuffle算子做出分区决策,并通过更新每次Shuffle的分区执行计划和键分区扩展系数,实现了面向Shuffle算子的分区动态调整。更进一步地,针对数据倾斜场景默认分区数不合理的情况,结合默认分区数和运行参数的考虑,实现了基于键扩展系数的分区数调整算法。最后,设计了基于扩展系数的数据均衡分区算法,针对不同倾斜级别的键(key)按照扩展系数进行分区,确保了数据均衡分配,提高了Spark并行计算性能。对SPDB均衡分区优化效果进行了实验验证。结果表明,在数据倾斜场景中,与默认Spark相比,SPDB方法的性能一般可提升10%~40%。