由于单个数据中心的资源有限,复杂的Spark工作流应用需要在多个数据中心内执行。当输入数据太大而无法传输(不可移动数据)时,依赖该数据的Task只能被分配在该数据所在的数据中心执行,然而Spark并不能保证这一分配。另一方面,Spark提供的基于同构的调度策略并不适合于异构环境。本文研究异构多数据中心下带不可移动数据的Spark任务调度问题,以优化Spark工作流应用的完工时间为目标,具有重要实际意义和应用前景。该问题面临的挑战主要包括两方面:(1)部分依赖不可移动数据的任务只能被分配在特定的数据中心执行,这类任务和其它任务在该数据中心的资源竞争将对完工时间造成不利影响;(2)Spark工作流应用的可选Stage调度序列数量巨大,且异构多数据中心环境下关键路径无法获得,很难找到合适的Stage调度序列来优化完工时间。针对所考虑的问题,本文提出了一种基于规则的任务调度算法(STSID)。该算法分为时间参数估计和Stage分配两个阶段。时间参数估计阶段提出了两种Node速率估计方式,根据估计的Stage执行时间求出Stage的各个时间参数。Stage分配阶段分为Stage选择、资源分配和添加就绪Stage三部分。第一部分从就绪Stage集合中选择优先级最高的Stage,采用的优先级规则是:依赖不可移动数据的Stage优先级高于其他Stage,对于其他Stage则提出了ESTF(开始时间早的Stage优先)、SFTF(浮动时间短的Stage优先)和RANDOM(随机排序)三种优先级规则。第二部分提出三种Stage调度算法,分别基于Node最早可用时间优先、Task最早完工时间优先和最小资源浪费优先来调度Stage下的Task。第三部分则将就绪Stage添加到Stage就绪集合中。为验证所提算法的性能,本文采用多因素方差分析技术(ANOVA)对相关参数进行校正,并选择对于解决本文提出的问题的最合适的参数。然后将STSID与Spark提供的FIFO和FAIR算法进行比较。实验结果表明,本文所提出的算法在不同Job数量的工作流实例下和不同Node数量数据中心中的性能优于FIFO和FAIR。