计算机科学>机器学习
标题: 通过弹性动量平均简化拜占庭机器学习
摘要: 拜占庭式的弹性成为分布式机器学习社区中的一个突出主题。 本质上,其目标是增强分布式优化算法,例如分布式SGD,以确保即使存在一些行为不端(也称为{\em Byzantine})的工作人员也能收敛。 尽管已经提出了无数解决该问题的技术,但可以说该领域的基础是脆弱的。 这些技术很难被证明是正确的,并且依赖于以下假设:(a)非常不现实,即在实践中经常被违反;(b)异质性,即难以比较方法。 我们提出了\emph{RESAM(RESilient Averaging of Momentums)},这是一个统一的框架,可以简单地建立拜占庭式的最佳弹性,只依赖于标准的机器学习假设。 我们的框架主要由两个操作符组成:服务器上的弹性平均值和工作者上的分布式动量。 我们证明了分布式SGD在RESAM下收敛的一般定理。 有趣的是,演示和比较许多现有技术的收敛性成为我们定理的直接推论,而无需借助严格的假设。 我们还对RESAM的实际相关性进行了实证评估。