计算机科学>机器学习
标题: 拜占庭-鲁布斯特联合学习:客户子抽样和本地更新的影响
摘要: 对抗性(又称拜占庭式)客户端的可能性使联合学习(FL)容易受到任意操纵。 增强FL对抗对手客户端的能力的自然方法是将标准$\mathsf{FedAvg}$算法中服务器上的简单平均操作替换为emph{稳健平均规则}。 虽然有大量工作致力于研究联邦{\em稳健平均}(我们用$\mathsf{FedRo}$表示)的收敛性,但之前的工作基本上忽略了{\em-client子采样}和{\em-local步骤}这两个基本FL特征的影响。 虽然客户端子采样增加了拜占庭客户端的有效比例,但本地步骤增加了诚实(即非拜占庭)客户端计算的本地更新之间的漂移。 因此,粗心地部署$\mathsf{FedRo}$可能会导致性能低下。 我们通过对$\mathsf{FedRo}$进行深入分析来验证这一观察结果,并对客户端子采样和本地步骤的影响进行了严密分析。 具体来说,我们给出了客户端子采样的一个充分条件,即$\mathsf{FedRo}$(对于光滑非凸损失)的几乎最优收敛。 此外,我们还表明,只要样本大小超过阈值,学习准确度的提高率就会随着子样本客户数的增加而降低。 有趣的是,我们还观察到,在仔细选择步长的情况下,由于拜占庭客户端导致的学习错误会随着本地步骤的数量而减少。 我们通过FEMNIST和CIFAR-$10$图像分类任务的实验验证了我们的理论。