DENSE：无数据一次性联合学习

的一部分神经信息处理系统进展35（NeurIPS 2022）主要会议轨道

作者

张杰、陈晨、李波、吕玲娟、吴爽、丁寿红、沈春华、吴超

摘要

一拍联合学习（FL）最近成为一种很有前途的方法，它允许中央服务器在单轮通信中学习模型。尽管通信成本较低，但现有的一次性FL方法大多不切实际或面临固有的局限性，例如需要公共数据集，客户的模型是同质的，并且需要上传额外的数据/模型信息。为了克服这些问题，我们提出了一种新的两阶段\textbf{D} ata-fre公司\textbf{E}o\textbf{N} e（电子）-\文本bf{S} 热的，热的联邦l\textbf{E} 阿宁（DENSE）框架，通过数据生成阶段和模型提取阶段训练全局模型。DENSE是一种实用的一次性FL方法，由于以下优点，可以在实际中应用：（1）与其他方法相比，DENSE不需要在客户端和服务器之间传输额外的信息（模型参数除外）；（2） DENSE不需要任何辅助数据集进行训练；（3） DENSE考虑了FL中的模型异构性，即不同的客户端可以有不同的模型架构。在各种真实数据集上的实验证明了我们方法的优越性。例如，在CIFAR10数据集上，DENSE比最佳基线方法Fed-ADI的性能高5.08%。