周毅;梁应斌;俞耀亮;戴、伟;Eric P.邢。 部分异步计算机集群的分布式近似梯度算法。 （英文） Zbl 1455.90138号 J.马赫。学习。物件。 19，第19号论文，32页（2018年）. 研究了复合极小化问题，其中第一项是描述数据适应度的训练样本上的光滑损失函数，第二项是编码先验信息的非光滑正则化函数。作者提出了一种m-PAPG（model parallel，Partially Asynchronous，Proximal Gradient）算法，它是在具有部分异步通信协议的模型并行系统中实现灵活的近似梯度算法。它关注的是大型模型但数据量适中的情况。因此，在单台机器上实现近似梯度算法不再可行，因此需要进行分布式计算。主要目标是提供m-PAPG的形式化收敛分析。证明了m-PAPG生成的序列的每个极限点都是目标函数的一个临界点。在凸目标函数的附加误差界条件下，证明了m-PAPG生成的函数值呈周期线性衰减。最后，在Kurdyka-Lojasiewicz不等式和充分减缩假设下，证明了满足近似Lipschitz条件的函数的整个m-PAPG序列收敛到单个临界点。结果扩展了[D.P.贝塞卡斯和J.N.齐齐克利斯，并行和分布式计算：数值方法。普伦蒂斯·霍尔（1989；Zbl 1325.65001号)]和[曾荫权（P.Tseng），SIAM J.Optim。第1期，第4期，603–619页（1991年；Zbl 0754.90055号)]允许非光滑和非凸函数。审核人：Ctirad Matonoha（普拉哈） 引用于4文件 MSC公司： 90立方 非线性规划 68瓦10 计算机科学中的并行算法 64岁以下 分布式系统 68问题32 计算学习理论 40A05型 级数和序列的敛散性 关键词：近端梯度;分布式系统;模型并行;部分异步;机器学习;汇聚 引文：Zbl 1325.65001号;兹比尔0754.90055 PDF格式BibTeX公司 XML格式引用 \textit{Y.Zhou}等人，J.Mach。学习。第19号决议，第19号论文，32页（2018年；Zbl 1455.90138） 全文： arXiv公司 链接