×
郑祖清;严，于;冯丽萍;杜振元;李华清;王、郑;胡金辉

一种用于分布式优化的具有多步通信的随机平均梯度算法。 （英语） Zbl 1531.93451号

最佳方案。控制应用程序。方法 44，第4期，2208-2226（2023）.
摘要：本文研究无向网络上的分布式凸优化问题，其中所有节点合作以最小化局部目标函数之和。进一步假设每个局部目标函数是几个凸瞬时函数的平均值。通过将随机平均梯度引入分布式一阶原对偶方法，提出了一种多步通信的随机平均梯度算法来解决优化问题。对于每个节点，每次迭代计算一个随机选择的瞬时函数梯度，这有效地降低了算法的计算成本。基于局部瞬时函数的强凸性和Lipschitz连续性条件，保证了该算法的线性收敛速度。对logistic回归问题的数值模拟验证了算法的性能和理论结果的正确性。
©2023 John Wiley&Sons有限公司。

MSC公司：

93E20型 最优随机控制
90C25型 凸面编程
93B70型 网络控制

关键词：

分布式凸优化;线性收敛速度;多步骤通信;随机平均梯度

软件：

UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit｛Z.Zheng｝等人，Optim。控制应用程序。方法44，No.4，2208--2226（2023；Zbl 1531.93451）
全文： 内政部

参考文献：

[1] ChenJ，SayedAH。网络分布式优化和学习的扩散适应策略。IEEE传输信号处理。2012;60(8):4289‐4305. ·Zbl 1391.90601号
[2] PuS、GarciaA、LinZ。通过群居觅食减少噪音。IEEE Trans Automat控制。2016;61(12):4007‐4013. ·兹比尔1359.92119
[3] CohenK、NedicA、SrikantR。关于最小二乘回归加权平均投影随机梯度下降算法。IEEE Trans Automat控制。2017;62(11):5974‐5981. ·Zbl 1390.90404号
[4] NedicA、OlshevskyA、UribeCA。分布式非贝叶斯学习的快速收敛速度。IEEE Trans Automat控制。2017;62(11):5538‐5553. ·Zbl 1458.62116号
[5] KozikR、ChorasM、FiccoM、PalmieriF。边缘计算环境中用于攻击检测的可扩展分布式机器学习方法。J并行分布计算。2018;119:18‐26.
[6] BulloF、CortesJ、MartinezS。机器人网络的分布式控制：运动协调算法的数学方法。普林斯顿大学出版社；2009. ·Zbl 1193.93137号
[7] Zavlanos MM，Lee S。具有函数约束的分散优化的近似投影方法。IEEE Trans Automat控制。2017;63(10):3248‐3260. ·Zbl 1423.90184号
[8] OzdaglarA NedicA公司。多智能体优化的分布式次梯度方法。IEEE Trans Automat控制。2009;54(1):48‐61. ·兹伯利1367.90086
[9] DuchiJ、AgarwalA、WainwrightM。分布式优化的双重平均：收敛分析和网络缩放。IEEE Trans Automat控制。2012;57(3):592‐606. ·Zbl 1369.90156号
[10] 奥兹达格拉·洛贝利。随机网络上分布式次梯度方法的收敛性分析。论文发表于：第46届Allerton通信、控制和计算年会；2008:353‐360.
[11] LiH、HuangC、ChenG、Liax、HuangT。具有时变定向拓扑和量化通信的多代理网络中的分布式一致性优化。IEEE跨网络。2017;47(8):2044‐2057.
[12] 拉巴特·齐亚诺斯克。通信延迟下的分布式共识与优化。论文发表于：第49届Allerton通信、控制和计算年会；2011:974‐982.
[13] OzdaglarA ChenAI。快速分布近端梯度法。论文发表于：第50届Allerton通信、控制和计算年会；2012:601‐608.
[14] JakoveticD、XavierJ、MouraJ。快速分布梯度法。IEEE Trans Automat控制。2014;59(5):1131‐1146. ·Zbl 1360.90292号
[15] 徐杰、朱仕、SohYC、XieL。非协调常数步长下多智能体优化的增广分布梯度方法。论文发表于：第54届IEEE决策与控制年会；2015:2055‐2060.
[16] QuG，LiN.利用平滑度加速分布式优化。IEEE传输控制网络系统。2017;5(3):1245‐1260. ·Zbl 1515.93111号
[17] NedicA、OlshevskyA、ShiW。在时变图上实现分布式优化的几何收敛。SIAM J Optim公司。2017;27(4):2597‐2633. ·兹比尔1387.90189
[18] XiC、XinR、KhanUA。ADD‐OPT：加速分布式定向优化。IEEE Trans Automat控制。2018;63(5):1329‐1339. ·Zbl 1395.90204号
[19] XiC、MaiVS、XinR、AbedE、KhanUA。行随机矩阵有向图优化的线性收敛性。IEEE Trans Automat控制。2018;63(10):3558‐3565. ·Zbl 1423.90192号
[20] XinR、XiC、KhanUA。FROST–具有不协调步长的快速行随机优化。EURASIP J高级信号处理。2019;1:1‐14.
[21] BoydS、ParikhN、ChuE、PeleatoB、EcksteinJ。通过交替方向乘数法进行分布式优化和统计学习。发现趋势马赫学习。2011;3(1):1‐122. ·Zbl 1229.90122号
[22] OzdaglarA WeiE。分布式交替方向乘法器法。论文发表于：第51届IEEE决策与控制会议（CDC）；2012:5445‐5450.
[23] IutzelerF、BianchiP、CiblatP、HachemW。分布式交替方向乘法器方法的显式收敛速度。IEEE Trans Automat控制。2016;61(4):892‐904. ·Zbl 1359.90103号
[24] ShiW、LingQ、YuanK、WuG、YinW。分散一致性优化中ADMM的线性收敛性。IEEE传输信号处理。2014;62(7):1750‐1761. ·Zbl 1394.94532号
[25] MansooriF，WeiE。FlexPD：用于分布式优化的一阶原始对偶算法的灵活框架。IEEE传输信号处理。2021;69:3500‐3512. ·Zbl 07591572号
[26] MansooriF，WeiE。用于分布式优化的精确原始-对偶一阶算法的一般框架。论文发表于：第58届IEEE决策与控制会议（CDC）；2019年9月6386日至6391日。
[27] MuW、JinZ、LiuF、ZhuW、WangW。Omopredictor：分布式流处理中的在线多步骤操作员性能预测框架。论文发表于：2019年IEEE国际应用程序并行与分布式处理、大数据与云计算、可持续计算与通信、社会计算与网络会议（ISPA/BDCloud/SocialCom/SustainCom）；2019:951‐958.
[28] SchmidtM、RouxNL、BachF。用随机平均梯度最小化有限和。数学课程。2017;162(1‐2):83‐112. ·Zbl 1358.90073号
[29] DefazioA、BachF、JulienSL。SAGA：一种支持非强凸复合目标的快速增量梯度方法。高级神经信息处理系统。2014;27:1646‐1654年。
[30] RamSS、NedicA、VeeravalliVV。凸优化的分布式随机次梯度投影算法。最优化理论应用杂志。2010;147(3):516‐545. ·Zbl 1254.90171号
[31] NedicA、OlshevskyA。时变有向图上强凸函数的随机梯度推。IEEE Trans Automat控制。2016;61(12):3936‐3947. ·Zbl 1359.90142号
[32] ShiW、LingQ、WuG、YinW。EXTRA：用于分散一致性优化的精确一阶算法。SIAM J Optim公司。2015;25(2):944‐966. ·Zbl 1328.90107号
[33] 里贝罗·莫赫塔里亚。DSA：分散双随机平均梯度算法。J Mach Learn Res.2016；17:1‐35. ·Zbl 1360.68699号
[34] XinR，KhanUA，KarS。带递归方差减少的快速分散非凸有限和优化。SIAM J Optim公司。2022;32(1):1‐28. ·Zbl 1484.90090号
[35] AssranM、LoizouN、BallasN、RabbatMG。分布式深度学习的随机梯度推送。论文发表于：第36届机器学习国际会议，第97卷；2019:344‐353.
[36] SpiridonoffA、OlshevskyA、PaschalidisIC。鲁棒异步随机梯度推送：强凸函数的渐近最优和网络无关性能。马赫学习研究杂志2020；21（58）：1‐47·Zbl 1499.90140号
[37] 拉巴特·齐亚诺斯克。分布式强凸优化。论文发表于：第50届Allerton通信、控制和计算年会；2012:593‐600.
[38] TowficZJ、ChenJ、SayedAH。分布式随机学习者的过度风险。IEEE Trans-Inf理论。2016;62(10):5753‐5785. ·Zbl 1359.94184号
[39] Yuan D、Hong Y、HoDWC、JiangG。强凸优化的最优分布式随机镜像下降。自动化。2018;90:196‐203. ·Zbl 1387.93190号
[40] VanliND、SayinMO、KozatSS。分布式网络上强凸优化的随机次梯度算法。IEEE Trans-New Sci Eng.2017；4(4):248‐260.
[41] XinR，SahuA，KhanU，KarS。强连接网络上带梯度跟踪的分布式随机优化。论文发表于：第58届IEEE会议决策与控制（CDC）；2019:8353‐8358.
[42] 库雷希米、辛尔、卡尔、坎纳。Push‐SAGA：一种在有向图上减少方差的分散随机算法。IEEE控制系统通讯。2021;6:1202‐1207.
[43] DaneshmandA，FacchineiF，KungurtsevV，ScutariG。凸和非凸大数据优化的混合随机/确定性并行算法。IEEE传输信号处理。2015;63(15):3914‐3929. ·Zbl 1394.94146号
[44] LiH、ZhengL、WangZ、YanY、FengL、GuoJ。S‐DIGing：一种用于分布式优化的随机梯度跟踪算法。IEEE Trans-Emerg主题计算智能。2020;6(1):53‐65.
[45] 格拉夫·杜阿德。UCI机器学习库。信息与计算机科学学院。加利福尼亚大学；2017.【在线】。可用：网址：https://archive.ics.uci.edu/
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。