SmartMoE：通过离线和在线并行相结合有效训练备件激活模型

深层神经网络因其更强的建模能力而变得越来越大，训练它们需要消耗巨大的计算资源。越来越多的人提出并部署了稀疏激活模型，以降低培训成本，同时扩大模型规模。不幸的是，由于稀疏模型是数据敏感的，并且以前的工作几乎没有考虑过，因此以前为稠密神经网络设计的自动并行化方法很难应用于这些稀疏模型。

为了应对这些挑战，我们建议SmartMoE自动执行稀疏激活模型的分布式训练。考虑到数据敏感模型的工作量，我们在混合并行的更大空间中发现了优化机会。空间被分解为离线静态池和在线池中的选择。为了在训练之前构建一个最优池，我们引入了一种用于性能建模的数据敏感预测方法。我们的高效搜索算法实现了最佳并行策略的动态运行时选择。我们在最多64个GPU的三个平台上评估SmartMoE。与最先进的MoE模型训练系统FasterMoE相比，它在端到端训练中实现了1.88倍的加速。