×

EFIX:用于分布式优化的精确不动点方法。 (英语) Zbl 1515.90100号

摘要:我们考虑连通网络上的强凸分布一致性优化。提出的EFIX方法是使用二次惩罚方法推导出来的。更详细地说,我们使用标准的重新公式(将原始问题转换为高维空间中的约束问题)来定义一系列具有递增惩罚参数的合适的二次惩罚子问题。对于二次目标,相应的序列由二次惩罚子问题组成。对于一般强凸情形,目标函数用二次模型近似,因此所得惩罚子问题的序列再次是二次的。然后通过不动点(R)-线性求解器求解每个二次惩罚子问题,例如Jacobi过松弛方法,导出EFIX。证明了二次情形的精确收敛性以及阶\({{\mathcal{O}}}}(ε^{-1})\)的最坏情形复杂性。在强凸泛函的情况下,得到了惩罚方法的标准结果。数值结果表明,该方法与最新的精确一阶方法具有很强的竞争力,需要较小的计算和通信工作量,并且对算法参数的选择具有鲁棒性。

MSC公司:

90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Baingana,B。;Giannakis,GB,《动态网络中的联合社区和异常跟踪》,IEEE Trans。信号处理。,64, 8, 2013-2025 (2016) ·Zbl 1414.94768号 ·doi:10.1109/TSP.2015.2510971
[2] Berahas,AS;博拉普拉加达,R。;Keskar,NS;Wei,E.,在分布式优化中平衡通信和计算,IEEE Trans。自动。控制,64,8,3141-3155(2019)·Zbl 1482.90146号 ·doi:10.1109/TAC.2018.2880407
[3] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.,《通过交替方向乘数法进行分布式优化和统计学习》,《机器学习的基础和趋势》,3,1,1-122(2011)·兹比尔1229.90122 ·doi:10.1561/220000016
[4] Cattivelli,F。;AH,分布式估计的扩散LMS策略,IEEE Trans。信号处理。,58, 3, 1035-1048 (2010) ·兹比尔1392.94123 ·doi:10.1109/TSP.2009.2033729
[5] 因果工作台团队,营销数据集,http://www.causality.inf.ethz.ch/data/CINA.html
[6] Di Lorenzo,P.,Scutari,G.:网络上的分布式非凸优化。摘自:IEEE多传感器自适应处理计算进展国际会议(CAMSAP),第229-232页(2015)
[7] Fodor,L.,Jakovetić,D.,Krejić,N.,Krklec Jerinkić,N,Skrbić,S.:稀疏通信分布式多智能体优化算法的性能评估和分析。EURASIP信号处理进展杂志,2021,25(2021),doi:10.1186/s13634-021-00736-4
[8] Greenbaum,A.:求解线性系统的迭代方法,SIAM(1997)·兹伯利0883.65022
[9] Jakovetić,D.,精确分布一阶方法的统一和推广,IEEE网络信号和信息处理汇刊,5,1,31-46(2019)·doi:10.1109/TSIPN.2018.2846183
[10] Jakovetić,D.,Krejić,N.,Krklec Jerinkić,N.,Malaspina,G.,Micheletti,A.:求解线性代数方程组的分布式不动点方法,arXiv:2001.03968,(2020)
[11] Jakovetić,D。;泽维尔,J。;Moura,JMF,快速分布梯度法,IEEE Trans。自动。控制,59,5,1131-1146(2014)·Zbl 1360.90292号 ·doi:10.1109/TAC.2014.2298712
[12] Jakovetić,D。;Krejić,N。;Krklec Jerinkić,N.,分布式优化的精确类谱梯度方法,计算机。最佳方案。申请。,74, 703-728 (2019) ·Zbl 1427.90217号 ·doi:10.1007/s10589-019-00131-8
[13] Lee,J.M.、Song,I.、Jung,S.、Lee,J:多载波DS/CDMA系统的速率自适应卷积编码方法,MILCOM 2000《21世纪军事通信学报》。信息优势架构和技术(分类号00CH37155),加利福尼亚州洛杉矶,第932-936页(2000)
[14] 李,H。;方,C。;尹,W。;Lin,Z.,带递增惩罚参数的分散加速梯度法,IEEE Trans。信号处理。,68, 4855-4870 (2020) ·Zbl 07591075号 ·doi:10.1109/TSP.2020.3018317
[15] Li,H.,Fang,C.,Lin,Z.:二次罚函数法的收敛速度分析及其在分散分布优化中的应用,arxiv预印本,arxiv:1711.10802,(2017)
[16] 莫塔,J。;泽维尔,J。;Aguiar,P。;Püschel,M.,《局部域的分布式优化:MPC和网络流中的应用》,IEEE Trans。自动。控制,60,72004-2009(2015)·Zbl 1360.90053号 ·doi:10.1109/TAC.2014.2365686
[17] Nedic,A.,Olshevsky,A.,Shi,W.,Uribe,C.A.:具有不协调步长的几何收敛分布式优化,2017年美国控制会议(ACC),华盛顿州西雅图,第3950-3955页,doi:10.23919/ACC.2017.7963560(2017)
[18] Nedić,A。;Ozdaglar,A.,多智能体优化的分布式次梯度方法,IEEE Trans。自动。控制,54,1,48-61(2009)·Zbl 1367.90086号 ·doi:10.1109/TAC.2008.2009515
[19] Nocedal,J.、Wright,S.J.:数值优化。斯普林格。纽约施普林格出版社(1999年)·Zbl 0930.65067号
[20] 离群检测数据集(ODDS)http://odds.s.stonybrook.edu/mest-dataset/
[21] Qu,G。;Li,N.,利用平滑度加速分布式优化,IEEE网络系统控制汇刊,5,3,1245-1260(2018)·Zbl 1515.93111号 ·doi:10.1109/TCNS.2017.2698261
[22] Saadatniaki,F。;Xin,R。;Khan,UA,带行和列随机矩阵的时变有向图的分散优化,IEEE自动控制汇刊,65,11,4769-4780(2018)·Zbl 07320050号 ·doi:10.1109/TAC.2020.2969721
[23] Scutari,G.,Sun,Y.:大数据优化的并行和分布式逐次凸逼近方法,arXiv:1805.06963,(2018)
[24] 斯库塔里,G。;Sun,Y.,时间可变有向图上的分布式非凸约束优化,数学。程序。,176, 1-2, 497-544 (2019) ·Zbl 1415.90130号 ·doi:10.1007/s10107-018-01357-w
[25] Shi,W。;凌,Q。;Wu,G。;Yin,W.,EXTRA:分散一致性优化的精确一阶算法,SIAM J.Optim。,2, 25, 944-966 (2015) ·Zbl 1328.90107号 ·数字对象标识码:10.1137/14096668X
[26] Shi,G.,Johansson,K.H.:分布式平均和最大化算法的有限时间和渐近收敛,arXiv:1205.1733(2012)
[27] Srivastava,P.,Cortés,J.:基于连续可微精确惩罚法的网络优化分布式算法。2018年IEEE决策与控制会议(CDC),佛罗里达州迈阿密海滩,第975-980页(2018)
[28] Sun,Y.,Daneshmand,A.,Scutari,G.:基于梯度跟踪的分布式优化算法的收敛速度,arXiv:1905.02637(2019)·Zbl 07510407号
[29] Sundararajan,A.,Van Scoy,B.,Lessard,L.:时变图上一阶分布式优化算法的分析与设计,arXiv:1907.05448(2019)·兹伯利07583228
[30] 田,Y。;孙,Y。;Scutari,G.,《在分布式异步多智能体优化中实现线性收敛》,IEEE Trans。关于自动控制,65,5264-5279(2020)·Zbl 07320098号 ·doi:10.1109/TAC.2020.2977940
[31] Tian,Y.、Sun,Y.和Scutari,G.:异步分散逐次凸逼近,arXiv:1909.10144(2020)
[32] UCI机器学习博览会,https://archive.ics.uci.edu/ml/datasets/Mushroom网站
[33] Xiao,L.,Boyd,S.,Lall,S.:具有时变大都会权重的分布式平均一致性,Automatica(2006)。未发表的手稿,https://web.stanford.edu/boyd/papers/avg_metropolis.html
[34] Xin,R。;Khan,UA,《分布式重球:梯度跟踪一阶方法的推广和加速》,IEEE Trans。自动。控制,65,6,2627-2633(2020)·Zbl 07256374号 ·doi:10.1109/TAC.2019.2942513
[35] Xin,R。;Xi,C。;Khan,UA,《信号处理进展EURASIP期刊》,《网络优化、学习和适应专刊》,FROST-步长不协调的快速行随机优化,65,12,1-14(2019)
[36] Xu,J.,Tian,Y.,Sun,Y.,Scutari,G.:网络上分布式光滑凸优化的加速原对偶算法。国际人工智能和统计会议,PMLR,第2381-2391页(2020年)
[37] Xu,J.,Tian,Y.,Sun,Y.和Scutari G.:复合优化的分布式算法:统一框架和收敛分析,arXiv:2002.11534(2020)·Zbl 07591576号
[38] 袁,K。;凌,Q。;Yin,W.,关于分散梯度下降的收敛性,SIAM J.Optim。,26, 3, 1835-1854 (2016) ·Zbl 1345.90068号 ·数字对象标识代码:10.1137/130943170
[39] Yousefian,F。;Nedić,A。;Shanbhag,UV,关于自适应步长序列的随机梯度和次梯度方法,Automatica,48,1,56-67(2012)·Zbl 1244.93178号 ·doi:10.1016/j.automatica.2011.09.043
[40] 周,H。;曾,X。;Hong,Y.,约束分布式优化的自适应精确惩罚设计,IEEE Trans。自动。控制,64,11,4661-4667(2019)·Zbl 1482.90163号 ·doi:10.1109/TAC.2019.2902612
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。