获取SGD swMATH ID: 34099 软件作者： Daniel Rothchild、Ashwinee Panda、Enayat Ullah、Nikita Ivkin、Ion Stoica、Vladimir Braverman、Joseph Gonzalez、Raman Arora 描述： FetchSGD：沟通-使用草图进行高效的联合学习。由于缺乏客户参与，现有的联合学习方法面临通信瓶颈和收敛问题。在本文中，我们介绍了一种新的算法，称为FetchSGD，以克服这些挑战。FetchSGD使用Count Sketch压缩模型更新，然后利用草图的可合并性合并来自许多工作人员的模型更新。FetchSGD设计中的一个关键见解是，由于计数草图是线性的，因此可以在草图中进行动量和误差累积。这使得该算法能够将动量和误差积累从客户端转移到中央聚合器，克服了稀疏客户端参与的挑战，同时仍然实现了高压缩率和良好的收敛性。我们证明了FetchSGD具有良好的收敛保证，并通过训练两个剩余网络和一个变压器模型证明了其经验有效性。学科： 主页： https://arxiv.org/abs/2007.07682 源代码： https://github.com/dhroth/sketchedsgd 关键词： 机器学习;arXiv_cs。LG公司;arXiv_状态ML 相关软件： 联邦卫生局;脚手架;MNIST公司;专家匹配器;Horovod公司;桨FL;叶子;MXNet公司;EMNIST公司;TensorFlow公司;PyTorch公司;mpi4py;TFF公司;PySyft公司;联邦快递 引用于： 0个文档