分析Spark的作業(yè)執(zhí)行機(jī)制，建立了執(zhí)行效率模型和Shuffle過程模型，給出了分配適應(yīng)度（AFD，allocation　fitness degree）的定義，提出了算法的優(yōu)化目標(biāo)。根據(jù)模型的相關(guān)定義求解，設(shè)計(jì)了漸進(jìn)填充分區(qū)映射算法（PFPM，progressive filling partitioning and mapping algorithm），通過擴(kuò)展式分區(qū)和漸進(jìn)填充映射，建立適應(yīng)Reducer計(jì)算能力的數(shù)據(jù)分配方案，有效縮減Shuffle過程的同步延時(shí)，提高集群計(jì)算效率。實(shí)驗(yàn)表明該算法提高了Shuffle過程數(shù)據(jù)分配的合理性，優(yōu)化了并行計(jì)算框架Spark的作業(yè)執(zhí)行效率。