具有线性梯度开销的鲁棒协作学习

萨迪赫·法哈德哈尼（Sadegh Farhadkhani）、拉希德·格雷罗（Rachid Guerraoui）、尼鲁帕姆·古普塔（Nirupam Gupta）、吕恩洪（Lí-Nguyín Hoang）、拉斐尔·皮诺（Rafael Pinot）、约翰·斯蒂芬
第40届机器学习国际会议论文集，PMLR 202:9761-98132023年。

摘要

协作学习算法，如分布式SGD（或D-SGD），由于软件或硬件错误、有毒数据或恶意行为，很容易出现机器故障，从而偏离其指定的算法。虽然已经提出了许多解决方案来增强D-SGD对此类机器的鲁棒性，但以前的工作要么依赖于强假设（可信服务器、同质数据、特定噪声模型），要么施加比D-SGD高几个数量级的梯度计算成本。我们提出了一种新的算法MoNNA，该算法（a）在标准假设下是可证明的健壮的，并且（b）在故障机器的分数中具有线性的梯度计算开销，这被认为是紧的。基本上，MoNNA使用Polyak的局部梯度动量进行局部更新，使用最近邻平均（NNA）进行全局混合。虽然MoNNA的实施相当简单，但其分析更具挑战性，并且依赖于两个可能独立感兴趣的关键要素。特别地，我们引入了$（alpha，lambda）$-约化的混合准则来分析非故障机器的非线性混合，并提出了一种控制动量和模型漂移之间张力的方法。我们通过图像分类实验验证了我们的理论，并在https://github.com/LPD-EPFL/robust-collaborative-learning。

引用本文

BibTeX公司
@会议记录{pmlr-v202-farhadkhani23a，title={具有线性梯度开销的稳健协作学习}，作者={Farhadkhani、Sadegh和Guerraoui、Rachid和Gupta、Nirupam和Hoang、L\^{e}-Nguy和Pinot、Rafael和Stephan、John}，booktitle={第40届机器学习国际会议论文集}，页码={9761--9813}，年份={2023}，编辑＝{克劳斯、安德烈亚斯和布伦斯基尔、艾玛和乔、京云和恩格尔哈特、芭芭拉和萨巴托、西万和斯嘉丽、乔纳森}，体积＝{202}，series={机器学习研究论文集}，月={7月23日--29日}，publisher={PMLR}，pdf={https://procedures.mlr.press/v202/farhadhani23a/farhadkhani23a.pdf}，url={https://procedures.mlr.press/v202/farhadkhani23a.html}，abstract={协作学习算法，例如分布式SGD（或D-SGD），容易出现由于软件或硬件错误、有毒数据或恶意行为而偏离其指定算法的故障机器。虽然已经提出了许多解决方案来增强D-SGD对此类机器的鲁棒性，但以前的工作要么依赖于强假设（可信服务器、同质数据、特定噪声模型），要么施加比D-SGD高几个数量级的梯度计算成本。我们提出了一种新的算法MoNNA，该算法（a）在标准假设下是可证明的健壮的，并且（b）在故障机器的分数中具有线性的梯度计算开销，这被认为是紧的。基本上，MoNNA使用Polyak的局部梯度动量进行局部更新，使用最近邻平均（NNA）进行全局混合。虽然MoNNA的实施相当简单，但其分析更具挑战性，并且依赖于两个可能独立感兴趣的关键要素。特别地，我们引入了$（alpha，lambda）$-约化的混合准则来分析非故障机器的非线性混合，并提出了一种控制动量和模型漂移之间张力的方法。我们通过图像分类实验验证了我们的理论，并在https://github.com/LPD-EPFL/robust collaborative learning上提供了我们的代码}
尾注
%0会议论文%具有线性梯度开销的T鲁棒协作学习%萨代赫·法哈德哈尼%拉希德·格雷劳伊%尼鲁帕姆·古普塔%阿莱恩·昂扬%拉斐尔比诺%约翰·斯蒂芬%第40届机器学习国际会议论文集%C机器学习研究进展%D 2023年%E安德烈亚斯·克劳斯%艾玛·布伦斯基%E Kyunghyun Cho先生%E芭芭拉·恩格哈特%E西万·萨巴托%E乔纳森·斯佳丽%F pmlr-v202-farhadkhani23a公司%我PMLR%电话：9761-9813%U型https://proceedings.mlr.press/v202/farhadkhani23a.html%202伏%X协作学习算法，如分布式SGD（或D-SGD），容易出现由于软件或硬件错误、有毒数据或恶意行为而偏离其指定算法的故障机器。虽然已经提出了许多解决方案来增强D-SGD对此类机器的鲁棒性，但以前的工作要么依赖于强假设（可信服务器、同质数据、特定噪声模型），要么施加比D-SGD高几个数量级的梯度计算成本。我们提出了一种新的算法MoNNA，该算法（a）在标准假设下是可证明的健壮的，并且（b）在故障机器的分数中具有线性的梯度计算开销，这被认为是紧的。基本上，MoNNA使用Polyak的局部梯度动量进行局部更新，使用最近邻平均（NNA）进行全局混合。虽然MoNNA的实施相当简单，但其分析更具挑战性，并且依赖于两个可能独立感兴趣的关键要素。特别地，我们引入了$（alpha，lambda）$-约化的混合准则来分析非故障机器的非线性混合，并提出了一种控制动量和模型漂移之间张力的方法。我们通过图像分类实验验证了我们的理论，并在https://github.com/LPD-EPFL/robust-collaborative-learning。
亚太地区
Farhadkhani，S.、Guerraoui，R.、Gupta，N.、Hoang，L.、Pinot，R.和Stephan，J.（2023年）。具有线性梯度开销的健壮协作学习。第40届机器学习国际会议论文集，英寸机器学习研究进展202:9761-9813网址：https://proceedings.mlr.press/v202/farhadkhani23a.html。

相关材料