带对手的机器学习：拜占庭容忍梯度下降

的一部分神经信息处理系统进展30（NIPS 2017）

作者

Peva Blanchard、El Mahdi El Mhamdi、Rachid Guerraoui、Julien Stainer

摘要

我们研究了随机梯度下降（SGD）分布式实现对拜占庭失败的恢复能力。到目前为止，分布式机器学习框架在很大程度上忽略了失败的可能性，尤其是任意的（即拜占庭式）失败。失败的原因包括软件错误、网络异步、本地数据集中的偏见，以及试图危害整个系统的攻击者。假设一组$n$工人（最多$f$为拜占庭人），我们询问SGD的弹性如何，而不限制维度或参数空间的大小。我们首先表明，基于工作人员提出的向量线性组合的梯度聚合规则（即当前方法）不能容忍单一拜占庭失败。然后，我们制定了一个聚合规则的弹性属性，该属性捕获了基本要求，以确保在拜占庭工人为$f$的情况下收敛。我们提出了满足弹性特性的聚合规则emph{Krum}，我们认为这是第一个可证明的分布式SGD拜占庭恢复算法。我们还报道了对克鲁姆的实验评估。