稳健分布式学习：数据异质性下的严格误差边界和故障点

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

优素福·阿洛阿（Youssef Allouah）、拉希德·格雷劳伊（Rachid Guerraoui）、尼鲁帕姆·古普塔（Nirupam Gupta）、拉斐尔·皮诺（Rafael Pinot）、杰瓦尼·里兹克（Geovani Rizk）

摘要

设计用于抵抗对抗性机器的鲁棒分布式学习算法的理论与数据同质时的经验观察结果相匹配。然而，在数据异质性（这是实际场景中的常态）的情况下，建立的学习误差下限基本上是空洞的，并且与经验观测值严重不匹配。这是因为所考虑的异质性模型限制性太强，没有涵盖基本的学习任务，例如最小二乘回归。我们在本文中考虑了一个更现实的异质性模型，即$（G，B）$-梯度相异性，并表明它比现有理论涵盖了更大的学习问题类别。值得注意的是，我们证明了异质性下的击穿点低于经典分数$\frac{1}{2}$。我们还证明了任何分布式学习算法的学习误差的一个新的下界。我们推导了分布梯度下降稳健变量的匹配上界，并实证表明我们的分析缩小了理论与实践之间的差距。