混合固定：异质性下最佳拜占庭ML的配方

优素福·阿洛阿（Youssef Allouah）、萨代赫·法哈德哈尼（Sadegh Farhadkhani
第26届国际人工智能与统计会议论文集，PMLR 206:1232-1300，2023年。

摘要

拜占庭机器学习（ML）旨在确保分布式学习算法对行为失常（或拜占庭）机器的恢复能力。尽管这个问题受到了很大的关注，但以前的工作通常假设机器所保存的数据是同质的，这在实际环境中很少是正确的。数据异构性使得拜占庭ML更具挑战性，因为拜占庭机器很难与非拜占庭异常值区分开来。已经提出了一些解决方案来解决这个问题，但这些方案提供了次优的概率保证，并且在实践中表现不佳。本文缩小了理论差距，实现了最优化，并得出了良好的实证结果。事实上，我们展示了如何通过一种强大的机制，我们称之为最近邻混合（NNM），将现有的（同质）拜占庭ML解决方案自动适应异质环境，该机制增强了任何标准的鲁棒分布式梯度下降变体，以在异质性下产生最佳拜占庭弹性。我们通过在分布式随机重球方法中插入NNM来获得类似的保证（期望），这是分布式梯度下降的一种实用替代方法。我们获得的实证结果明显优于最先进的拜占庭ML解决方案。

引用本文

BibTeX公司
@会议记录{pmlr-v206-allouah23a，title＝{混合固定：异质性下最优拜占庭ML的配方}，author={Allouah、Youssef和Farhadkhani、Sadegh和Guerraoui、Rachid和Gupta、Nirupam和Pinot、Rafael和Stephan、John}，booktitle＝{第26届国际人工智能与统计会议论文集}，页数={1232--1300}，年份={2023}，编辑＝{Ruiz，Francisco和Dy，Jennifer和van de Meent，Jan Willem}，体积={206}，series={机器学习研究论文集}，月={4月25日--27日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v206/allouah23a/allouah23a.pdf},url={https://proceedings.mlr.press/v206/allouah23a.html},abstract={拜占庭机器学习（ML）旨在确保分布式学习算法对错误行为（或拜占庭）的恢复能力机器。尽管这个问题受到了很大的关注，但以前的工作通常假设机器所保存的数据是同质的，这在实际环境中很少是正确的。数据异构性使得拜占庭ML更具挑战性，因为拜占庭机器很难与非拜占庭异常值区分开来。已经提出了一些解决方案来解决这个问题，但这些方案提供了次优的概率保证，并且在实践中表现不佳。本文缩小了理论差距，实现了最优化，并得出了良好的实证结果。事实上，我们展示了如何通过一种强大的机制，即我们称之为最近邻混合（NNM），自动将（同质）拜占庭ML的现有解决方案适应异构环境，该机制增强任何标准的鲁棒分布式梯度下降变量，以在异构环境下产生最佳的拜占庭弹性。我们通过在分布式随机重球方法中插入NNM来获得类似的保证（期望），这是分布式梯度下降的一种实用替代方法。我们获得的实证结果明显优于最先进的拜占庭ML解决方案。}}
尾注
%0会议论文%混合固定T：异质性下最佳拜占庭ML的配方%A Youssef Allouah公司%萨代赫·法哈德哈尼%拉希德·格雷劳伊%尼鲁帕姆·古普塔%拉斐尔比诺%约翰·斯蒂芬%第26届国际人工智能与统计会议论文集%C机器学习研究进展%D 2023年%E弗朗西斯科·鲁伊斯%E詹妮弗·戴伊%E Jan-Willem van de Meent公司%对于pmlr-v206-allouah23a%我PMLR%电话1232-1300%U型https://proceedings.mlr.press/v206/allouah23a.html%第206页%X拜占庭机器学习（ML）旨在确保分布式学习算法对行为失常（或拜占庭）机器的恢复能力。尽管这个问题受到了极大的关注，但先前的工作通常假设机器所持有的数据是同质的，这在实际情况下很少是真的。数据异构性使得拜占庭ML更具挑战性，因为拜占庭机器很难与非拜占庭异常值区分开来。已经提出了一些解决方案来解决这个问题，但这些方案提供了次优的概率保证，并且在实践中表现不佳。本文缩小了理论差距，实现了最优化，并得出了良好的实证结果。事实上，我们展示了如何通过一种强大的机制，即我们称之为最近邻混合（NNM），自动将（同质）拜占庭ML的现有解决方案适应异构环境，该机制增强任何标准的鲁棒分布式梯度下降变量，以在异构环境下产生最佳的拜占庭弹性。我们通过在分布式随机重球方法中插入NNM来获得类似的保证（期望），这是分布式梯度下降的一种实用替代方法。我们获得的实证结果明显优于最先进的拜占庭ML解决方案。
亚太地区
Allouah，Y.、Farhadkhani，S.、Guerraoui，R.、Gupta，N.、Pinot，R.&Stephan，J.（2023）。混合固定：异质性下最佳拜占庭ML的配方。第26届国际人工智能与统计会议论文集，英寸机器学习研究进展206:1223-1300可从https://proceedings.mlr.press/v206/allouah23a.html。

相关材料