阿廷·斯皮里多诺夫;亚历克斯·奥尔舍夫斯基;帕斯卡利迪斯，Ioannis Ch。 鲁棒异步随机梯度推送：强凸函数的渐近最优和网络相关性能。 （英语） Zbl 1499.90140号 J.马赫。学习。物件。 21，第58号论文，47页（2020年）. 摘要：我们考虑函数和分布优化的标准模型\（F（\mathbf{z}）=\sum_{i=1}^nf_i（\mathbf{z{）\），其中网络中的节点\（i\）包含函数\（F_i。我们允许一个苛刻的网络模型，其特征是异步更新、消息延迟、不可预测的消息丢失和节点之间的定向通信。在这种情况下，我们分析了分布式优化的Gradient-Push方法的一种改进，假设（i）节点（i）能够生成其函数（fi（mathbf{z}））的梯度，该函数在每一步都受到零-有界支持加性噪声的破坏，（ii）（f（mathbf{z}）是强凸的，并且（iii）每个（fi\)具有Lipschitz梯度。我们证明了我们提出的方法在集中梯度下降上渐近地执行，并且在每一步都在所有函数（f_1（\mathbf｛z｝），\ldots，f_n（\mathbf｛z｝））的噪声梯度之和的方向上采取步骤。 引用于2文件 MSC公司： 90立方厘米 随机规划 90B18号机组 运筹学中的通信网络 90C25型 凸面编程 90立方厘米 涉及图形或网络的编程 关键词：分布式优化;随机梯度下降 软件：附加输出;HOGWILD公司 PDF格式BibTeX公司 XML格式引用 \textit{A.Spiridonoff}等人，J.Mach。学习。第21号决议，第58号论文，47页（2020年；Zbl 1499.90140） 全文： arXiv公司 链接 参考文献： [1] Alekh Agarwal和John C Duchi。分布式延迟随机优化。神经信息处理系统进展，第873-881页，2011年。 [2] 穆罕默德·阿克巴里（Mohammad Akbari）、巴赫曼·加雷斯法德（Bahman Gharisfard）和塔姆（Tam´as Linder）。时变有向图的分布式在线凸优化。IEEE网络系统控制汇刊，4（3）：417-4282017·Zbl 1507.93085号 [3] Tansu Alpcan和Christian Bauckhage。分布式机器学习框架。在与2009年第28届中国控制会议联合举行的48小时IEEE决策与控制会议（CDC）中，第2546-2551页。IEEE，2009年。 [4] 马哈茂德·阿斯兰（Mahmoud Assran）和迈克尔·拉巴特（Michael Rabbat）。异步次梯度push.arXiv预打印arXiv:1803.089502018。 [5] 佛罗伦萨·B´en´ezit、文森特·布隆德尔、帕特里克·蒂兰、约翰·齐齐克利斯和马丁·维特利。加权八卦：使用非双重随机矩阵进行分布式平均。2010年IEEE信息理论国际研讨会（ISIT），第1753-1757页。IEEE，2010年。 [6] Theodora S Brisimi、Ruidi Chen、Theofanie Mela、Alex Olshevsky、Ioannis Ch Paschalidis和Wei Shi。从联邦电子健康记录中联合学习预测模型。国际医学信息学杂志，112:59-672018。 [7] 张宗慧、洪明义、廖伟成和王向峰。用于大规模优化的异步分布式ADMM第一部分：算法和收敛性分析。IEEE信号处理学报，64（12）：3118-31302016a·Zbl 1414.94106号 [8] 张宗慧、廖伟成、洪明义和王向峰。用于大规模优化的异步分布式ADMM第二部分：线性收敛分析和数值性能。IEEE信号处理学报，64（12）：3131-3144，2016b·Zbl 1414.94107号 [9] 陈建树和阿里H说。自适应网络的学习行为研究Ⅱ：性能分析。IEEE信息理论汇刊，61（6）：3518-35482015·Zbl 1359.68248号 [10] Paolo Di Lorenzo和Gesualdo Scutari。下一篇：网络非凸优化。IEEE网络信号和信息处理汇刊，2（2）：120-1362016。 [11] 亚历杭德罗·多明格斯-加西亚（Alejandro D Dominguez-Garcia）和克里斯托弗罗斯·N·哈吉科斯蒂斯（Christopros N Hadjicostis）。分布式矩阵缩放及其在有向图中平均一致性的应用。IEEE自动控制汇刊，58（3）：667-6812013·Zbl 1369.93021号 [12] 亚历杭德罗·多姆（Alejandro D Dom´´）、恩古兹·格拉奇（nguez-Garc´a）和克里斯托弗罗斯·N·哈吉科斯蒂斯（Christopros N Hadjicostis）。矩阵缩放到双随机形式的分布式算法的收敛速度。第53届IEEE决策与控制会议，第3240-3245页。IEEE，2014年。 [13] 哈米德·雷扎·费兹马达维安（Hamid Reza Feyzmahdavian）、阿尔达·艾特金（Arda Aytekin）和米凯尔·约翰逊（Mikael Johansson）。正则化随机优化的异步小批量算法。IEEE自动控制汇刊，61（12）：3740-37542016·Zbl 1359.90080号 [14] Bahman Gharisfard和Jorge Cort’es。生成加权平衡和双随机有向图的分布式策略。《欧洲控制杂志》，18（6）：539-5572012·Zbl 1291.93290号 [15] Christoforos N Hadjicostis、Nitin H Vaidya和Alejandro D Dom´´。通过交换运行总和实现稳健的分布式平均共识。IEEE自动控制汇刊，61（6）：1492-15072016·Zbl 1359.94979号 [16] Christopros N Hadjicostis，Alejandro D Dom´´nguez-Garc´´）a，Themistokis Charalambous，et al.网络系统中的分布式平均和平衡：在协调和控制中的应用。《基础与趋势漂流系统与控制》，5（2-3）：99-2922018年。 [17] 何世波、申东洪、张俊山、陈继明、孙有仙。摄像机传感器网络中的全视野区域覆盖：降维和近最优解决方案。IEEE车辆技术汇刊，65（9）：7448-74612015。 [18] Mingyi Hong。用于非凸优化的分布式、异步和增量算法：ADMM方法。2017年IEEE网络系统控制交易·Zbl 1511.94018号 [19] David Kempe、Alin Dobra和Johannes Gehrke。基于流言的聚合信息计算。计算机科学基础，2003年。第44届IEEE年会，第482-491页。IEEE，2003年。 [20] 阿纳斯塔西亚·科洛斯科娃（Anastaia Koloskova）、塞巴斯蒂安·乌尔班·斯蒂奇（Sebastian Urban Stich）和马丁·贾吉（Martin Jaggi）。使用压缩通信的分散随机优化和八卦算法。机器学习研究，97（CONF），2019。 [21] Lan Guanghui、Lee Soomin和Yi Zhou。分散和随机优化的通信高效算法。数学规划，第1-48页，2018年·Zbl 1437.90125号 [22] Mu Li、David G Andersen、Jun Woo Park、Alexander J Smola、Amr Ahmed、Vanja Josifovski、James Long、Eugene J Shekita和Bor-Ying Su。使用参数服务器扩展分布式机器学习。第11名｛USENIX｝研讨会操作系统设计与实现({OSDI}14)，第583-598页，2014年。 [23] Lian Xiangru、Huang Yijun、Li Yuncheng和Ji Liu。非凸优化的异步并行随机梯度。《神经信息处理系统进展》，第2737-2745页，2015年。 [24] Lian Xiangru，Ce Zhang，Huan Zhang、Cho-Jui Xieh、Wei Zhang和Ji Liu。分散算法能否优于集中式算法？一个分散并行随机梯度下降的案例研究。《神经信息处理系统进展》，第5330-5340页，2017年。 [25] Lian Xiangru、Wei Zhang、Ce Zhang和Ji Liu。异步分散并行随机梯度下降。2018年国际机器学习会议（ICML），第3043-3052页。 [26] Ilan Lobel和Asuman Ozdaglar。随机网络凸优化的分布式次梯度方法。IEEE自动控制汇刊，56（6）：1291-13062010·Zbl 1368.90125号 [27] Fatemeh Mansoori和Ermin Wei。超线性收敛异步分布式网络牛顿法。2017年IEEE第56届决策与控制年会（CDC），第2874-2879页。IEEE，2017年。 [28] Gemma Morral、Pascal Bianchi、Gersende Fort和J´er´emie Jakubowicz。分布式随机逼近：非双重随机性的代价。InSignals，Systems and Computers（ASILOMAR），2012年第四十六届ASILOMAR会议记录，第1473-1477页。IEEE，2012年。 [29] Gemma Morral、Pascal Bianchi和Gersende Fort。多智能体网络中步长衰减的自适应扩散算法的成败。IEEE信号处理汇刊，65（11）：2798-28132017·Zbl 1414.94423号 [30] 安吉莉娅·内迪奇（Angelia Nedic）。网络上基于异步广播的凸优化。EEE自动控制事务，56（6）：1337-13512011·Zbl 1368.90126号 [31] Angelia Nedic和Alex Olshevsky。时变有向图的分布式优化。IEEE自动控制汇刊，60（3）：601-6152015·兹比尔1360.90262 [32] 安吉莉娅·内迪奇和亚历克斯·奥尔舍夫斯基。时变有向图上强凸函数的随机梯度推。IEEE自动控制汇刊，61（12）：3936-39472016·Zbl 1359.90142号 [33] 安吉莉娅·内迪奇和阿苏曼·奥兹达格勒。多智能体优化的分布式次梯度方法。IEEE自动控制汇刊，54（1）：48-612009·Zbl 1367.90086号 [34] 安吉莉娅·内迪奇、亚历克斯·奥尔舍夫斯基和魏实。时变图上分布式优化的几何收敛。SIAM优化杂志，27（4）：2597-26332017·Zbl 1387.90189号 [35] 安吉莉娅·内迪奇、亚历克斯·奥尔舍夫斯基和迈克尔·拉巴特。分散优化中的网络拓扑和通信计算权衡。IEEE，106（5）：953-9762018年。 [36] 阿卡迪·内米洛夫斯基（Arkadi Nemirovski）、安纳托利·朱迪茨基（Anatoli Juditsky）、兰光辉（Guanghui Lan）和亚历山大·夏皮罗（Alexander Shapiro）。随机规划的稳健随机逼近方法。SIAM优化杂志，19（4）：1574-16092009·Zbl 1189.90109号 [37] 亚历克斯·奥尔舍夫斯基。固定图上的线性时间平均一致性和分布式优化。SIAM控制与优化杂志，55（6）：3990-40142017·Zbl 1386.93015号 [38] Alex Olshevsky、Ioannis Ch Paschalidis和Artin Spiridonoff。具有不断增长的相互通信间隔的完全异步pushsum。美国控制会议，第591-596页，2018年。 [39] Boris N Oreshkin、Mark J Coates和Michael G Rabbat。短节点内存分布式平均的优化和分析。IEEE信号处理汇刊，58（5）：2850-28652010·Zbl 1392.94371号 [40] 彭周华、王军和王丹。基于神经动力学优化和模糊逼近的自主水面车辆分布式机动。IEEE控制系统技术汇刊，26（3）：1083-10902017。 [41] 史普和阿尔弗雷多·加西亚。一种基于群集的分布式随机优化方法。运筹学，66（1）：267-2811917·Zbl 1455.90116号 [42] 史普和安吉莉娅·内迪奇。一种分布式随机梯度跟踪方法。2018年IEEE决策与控制会议（CDC），第963-968页。IEEE，2018年。 [43] Guannan Qu和Na Li。利用平滑度加速分布式优化。2017年IEEE网络系统控制交易·Zbl 1515.93111号 [44] 曲冠南和李娜。加速了Nesterov梯度的分布下降。IEEE自动控制汇刊，2019年。 [45] Alexander Rakhlin，Ohad Shamir，Karthik Sridharan，et al.强凸随机优化的梯度下降优化。在第29届国际机器学习会议（ICML）上，第12卷，第1571-1578页。Citeser，2012年。 [46] S Sundhar Ram、Angelia Nedic和Venugopal V Veeravalli。凸优化的分布式随机次梯度投影算法。优化理论与应用杂志，147（3）：516-5452010·Zbl 1254.90171号 [47] 本杰明·雷克特、克里斯托弗·雷、斯蒂芬·赖特和冯牛。Hogwild：一种并行化随机梯度下降的无锁方法。神经信息处理系统进展，第693-7012011页。 [48] Jason DM Rennie和Nathan Srebro。偏好水平的损失函数：带有离散有序标签的回归。InIJCAI关于偏好处理进展的多学科研讨会，第180-186页。Kluwer Norwell，马萨诸塞州，2005年。 [49] 凯文·斯卡曼（Kevin Scaman）、弗朗西斯·巴赫（Francis Bach）、塞巴斯蒂恩·巴贝克（S’ebastien Bubeck）、尹达·李（Yin Tat Lee）和劳伦特·马苏利（Laurent Massouli’e）。网络中光滑和强凸分布优化的优化算法。第34届国际机器学习会议（ICML）第70卷，第3027-3036页。JMLR公司。组织，2017年。 [50] 魏石、青玲、吴刚和尹沃涛。额外：分散一致优化的精确一阶算法。SIAM优化杂志，25（2）：944-9662015·Zbl 1328.90107号 [51] Benjamin Sirb和Xiaojing Ye。分散网络上具有延迟和随机梯度的一致性优化。2016年IEEE国际大数据会议（Big Data），第76-85页。IEEE，2016年·Zbl 1396.65098号 [52] Kunal Srivastava和Angelia Nedic。分布式异步约束随机优化。IEEE信号处理选定主题杂志，5（4）：772-7902011。 [53] Lili Su和Nitin H Vaidya。容错多智能体优化：最优迭代分布式算法。2016年ACM分布式计算原理研讨会论文集，第425-434页。ACM，2016年a·兹比尔1375.68206 [54] Lili Su和Nitin H Vaidya。拜占庭特工在场下的非拜占庭式学习。在分布式计算国际研讨会上，第414-427页。施普林格，2016年b·Zbl 1393.68157号 [55] Lili Su和Nitin H.Vaidya。通过多跳通信达成近似拜占庭共识。信息与计算，255:352-3682017。ISSN 0890-5401。数字对象标识：https://doi.org/10.1016/j.ic.2016.12.003。统一资源定位地址http://www.sciencedirect.com/科学/文章/pii/S0890540116301262。2015年SSS·Zbl 1371.68029号 [56] 孙莹（Ying Sun）、斯库塔里（Gesualdo Scutari）和帕洛玛（Daniel Palomar）。时变网络上的分布式非凸多智能体优化。InSignals，Systems and Computers，2016年第50届Asilomar会议，第788-794页。IEEE，2016年。 [57] Ye Tian、Ying Sun和Gesualdo Scutari。Asysonata:在分布式异步多智能体优化中实现线性收敛。2018年第56届Allerton通信、控制和计算年会（Allerton），第543-551页。IEEE，2018年。 [58] Konstantinos I Tsianos、Sean Lawlor和Michael G Rabbat。基于共识的分布式优化：大规模机器学习中的实际问题和应用。InCommunication，Control，and Computing（Allerton），2012年第50届Allerton年会，第1543-1550页。IEEE，2012年a。 [59] Konstantinos I Tsianos、Sean Lawlor和Michael G Rabbat。凸优化的推-和分布对偶平均。2012年第51届IEEE决策与控制会议（CDC），第5453-5458页。IEEE，2012年b。 [60] 约翰·齐齐克利斯（John Tsitsiklis）、迪米特里·贝塞卡斯（Dimitri Bertsekas）和迈克尔·阿特汉斯（Michael Athans）。分布式异步确定性和随机梯度优化算法。IEEE自动控制汇刊，31（9）：803-8121986·Zbl 0602.90120号 [61] 吴天宇、袁昆、凌青、尹沃涛和阿里·H·赛义德。具有异步和延迟的分散共识优化。IEEE网络信号和信息处理汇刊，4（2）：293-3072018。 [62] 晨光十一世和乌斯曼·阿汗。右旋糖酐：有向图优化的快速算法。IEEE自动控制汇刊，62（10）：4980-49932017a·Zbl 1390.90553号 [63] 陈光熙和乌斯曼·A·汗。有向图上的分布式次梯度投影算法。IEEE自动控制汇刊，62（8）：3986-39922017b·Zbl 1373.90110号 [64] 陈光熙、冉欣和乌斯曼·A·汗。Add-opt：加速分布式定向优化。IEEE自动控制汇刊，63（5）：1329-13392018·Zbl 1395.90204号 [65] 徐金明、朱善英、杨柴、谢丽华。非协调常数步长下多智能体优化的增广分布梯度方法。2015年第54届IEEE决策与控制会议（CDC），第2055-2060页。IEEE，2015年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。