联邦渐近：一个比较联邦学习算法的模型

Gary Cheng、Karan Chadha、John Duchi
第26届国际人工智能与统计会议论文集，PMLR 206:10650-106892023年。

摘要

我们开发了一个渐近框架来比较（个性化）联合学习算法的测试性能，其目的是超越算法收敛参数。为此，我们研究了一个高维线性回归模型，以阐明损失最小化器的统计特性（每客户测试误差）。我们的技术和模型可以准确预测联合场景中个性化和信息共享的好处，包括通过简单的客户端微调实现的联合平均化与更复杂的元学习方法具有相同的渐进风险，并且优于朴素的联合平均。我们在EMNIST、CIFAR-100、莎士比亚和堆栈溢出数据集的联邦版本上评估并证实了这些理论预测。

引用本文

BibTeX公司
@会议记录{pmlr-v206-cheng23b，title={联合渐近：比较联合学习算法的模型}，作者={Cheng，Gary and Chadha，Karan and Duchi，John}，booktitle＝{第26届国际人工智能与统计会议论文集}，页数={10650--10689}，年份={2023}，编辑＝{Ruiz，Francisco和Dy，Jennifer和van de Meent，Jan Willem}，体积={206}，series={机器学习研究论文集}，月={4月25日--27日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v206/cheng23b/cheng23b.pdf},url={https://proceedings.mlr.press/v206/cheng23b.html},abstract={我们开发了一个渐近框架来比较（个性化）联合学习算法的测试性能，其目的是超越算法收敛参数。为此，我们研究了一个高维线性回归模型来阐明统计特性（每客户端测试误差）损失最小化。我们的技术和模型可以准确预测联合场景中个性化和信息共享的好处，包括通过简单的客户端微调实现的联合平均化与更复杂的元学习方法具有相同的渐进风险，并且优于朴素的联合平均。我们在EMNIST、CIFAR-100、莎士比亚和堆栈溢出数据集的联邦版本上评估并证实了这些理论预测。}}
尾注
%0会议论文%T联合渐近：一个比较联合学习算法的模型%加里·程%卡兰·查达%约翰·杜奇%第26届国际人工智能与统计会议论文集%C机器学习研究进展%D 2023年%E弗朗西斯科·鲁伊斯%E詹妮弗·戴伊%E Jan-Willem van de Meent公司%对于pmlr-v206-cheng23b%我PMLR%电话：10650--10689%U型https://proceedings.mlr.press/v206/cheng23b.html%第206页%我们开发了一个渐近框架来比较（个性化）联合学习算法的测试性能，其目的是超越算法收敛参数。为此，我们研究了一个高维线性回归模型，以阐明损失最小化者的统计特性（每个客户的测试误差）。我们的技术和模型可以准确预测联合场景中个性化和信息共享的好处，包括通过简单的客户端微调实现的联合平均化与更复杂的元学习方法具有相同的渐进风险，并且优于朴素的联合平均。我们在EMNIST、CIFAR-100、莎士比亚和堆栈溢出数据集的联邦版本上评估并证实了这些理论预测。
亚太地区
Cheng，G.、Chadha，K.和Duchi，J.（2023）。联邦渐近：一个比较联邦学习算法的模型。第26届国际人工智能与统计会议论文集，英寸机器学习研究进展206:10650-10689网址：https://proceedings.mlr.press/v206/cheng23b.html。

相关材料