×
Mai、Van Sy；艾亚德·阿贝德。

具有行随机性和约束正则性的有向图的分布式优化。 （英语） Zbl 1415.93294号

Automatica公司 102, 94-104 (2019)。
摘要：本文讨论了一个代理网络上的优化问题，其中成本函数是代理的单个（可能是非光滑的）目标之和，约束集是局部约束的交集。大多数采用次梯度和一致性步骤解决此问题的现有方法要求与网络相关的权重矩阵是列随机的，甚至是双重随机的，这些条件在有向网络中很难安排。此外，分布式次梯度方法的已知收敛性分析因问题是无约束的还是有约束的，以及局部约束集是相同的还是不相同的且紧而不同。本文的主要目标是：（i）消除常见的列随机性要求；（ii）放宽紧性假设，以及（iii）提供统一的收敛性分析。具体地说，假设通信图是固定的、强连通的，权重矩阵是行随机的，提出了一种分布式投影次梯度算法，并对该算法进行了改进，以解决凸且Lipschitz连续的代价函数问题。算法的关键部分是通过估计每个代理在权重矩阵的归一化左Perron特征向量中对应的条目来调整其次梯度。这些估计是通过使用同一行随机权重矩阵的增广一致性迭代局部获得的，并且需要非常有限的网络全局信息。此外，基于对局部约束集的正则性假设，给出了一种统一的分析方法，该方法既适用于无约束问题，也适用于约束问题，并且不需要假设约束集的紧性或它们的交点的内点。此外，我们还建立了在非递增步长序列下，在每个代理的可用局部估计下评估的绝对客观误差的上界。这个界允许我们分析两种算法的收敛速度。

引用于12文件

MSC公司：

93E20型 最优随机控制
05C90年 图论的应用
90B18号机组 运筹学中的通信网络

关键词：

分布式优化；次梯度法；多智能体系统；通信网络；有向图

软件：

DEXTRA公司；额外推送；CVX公司
PDF格式BibTeX公司 XML格式引用
\textit{V.S.Mai}和\textit{E.H.Abed}，Automatica 102，94-104（2019；Zbl 1415.93294）
全文： 内政部 arXiv公司

参考文献：

[1] 阿克巴里，M。；Gharesifard，B。；Linder，T.，时变有向图上的分布式在线凸优化，IEEE网络系统控制汇刊，4，3，417-428（2017）·Zbl 1507.93085号
[2] Bajović，D。；Jakovetić，D。；Krejić，N。；Jerinkić，N.K.，分布式优化中带对角校正的类牛顿法，SIAM优化杂志，27，2，1171-1203（2017）·Zbl 1371.90100号
[3] Bauschke，H.H。；Borwein，J.M.，《关于求解凸可行性问题的投影算法》，SIAM Review，38，3，367-426（1996）·Zbl 0865.47039号
[4] Bertsekas，D.P.，《非线性规划》（1999），雅典娜科学出版社·Zbl 1015.90077号
[5] Bertsekas，D.P。；Tsitsiklis，J.N.，《并行和分布式计算：数值方法》（1989），Prentice-Hall，Inc·Zbl 0743.65107号
[6] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，《机器学习的基础和趋势》，3，1，1-122（2011）·Zbl 1229.90122号
[7] 博伊德，S。；肖，L。；Mutapcic，A.，Subgradient methods，（EE392o（2003）讲稿，斯坦福大学：斯坦福大学秋季学期）
[8] Charalambous，T。；拉巴特，M。；约翰逊，M。；Hadjicostis，C.，有向图参数的分布式有限时间计算：左特征向量、出度和频谱，IEEE网络系统控制事务，3，2，137-148（2016）·兹比尔1372.65104
[9] Chen，I.A.，《快速分布一阶方法》（2012），麻省理工学院，（硕士论文）
[10] Chung，F.，Laplacians和有向图的Cheeger不等式，组合数学年鉴，9，1，1-19（2005）·Zbl 1059.05070号
[11] 杜奇，J.C。；阿加瓦尔，A。；Wainwright，M.J.，《分布式优化的双重平均：收敛分析和网络缩放》，IEEE自动控制汇刊，57，3，592-606（2012）·Zbl 1369.90156号
[12] Godsil，C。；Royle，G.，代数图论（2001），Springer-Verlag:Springer-Verlag纽约·Zbl 0968.05002号
[13] Grant，M.和Boyd，S.（2014）。CVX:用于严格凸编程的Matlab软件，2.1版。；Grant，M.和Boyd，S.（2014）。CVX:用于严格凸编程的Matlab软件，2.1版。
[14] 霍夫曼，A.，阿明·霍夫曼（Armin Hoffmann）：两个凸集到交集的距离，用到每个凸集的距离表示，Mathematische Nachrichten，157，1，81-98（1992）·Zbl 0773.5202号
[15] 霍恩，R.A。；Johnson，C.R.，矩阵分析（1985），剑桥大学出版社·Zbl 0576.15001号
[16] Jakovetić，D。；J.M.F.莫拉。；Xavier，J.，一类分布式增广拉格朗日算法的线性收敛速度，IEEE自动控制汇刊，60，4，922-936（2015）·Zbl 1360.90199号
[17] Johnsson，B.、Keviczky，T.、Johansson，M.和Johansso，K.H.（2008）。求解凸优化问题的次梯度方法和一致性算法。在：第47届IEEE决策与控制会议记录; Johansson，B.、Keviczky，T.、Johansson，M.和Johansson，K.H.（2008年）。求解凸优化问题的次梯度方法和一致性算法。在：第47届IEEE决策与控制会议记录
[18] Kempe，D.、Dobra，A.和Gehrke，J.（2003）。基于流言的聚合信息计算。在：第44届IEEE计算机科学基础年会论文集; Kempe，D.、Dobra，A.和Gehrke，J.（2003年）。基于流言的聚合信息计算。在：第44届IEEE计算机科学基础年会论文集
[19] Lee，S。；Nedic，A.，用于凸优化的分布式随机投影算法，IEEE信号处理选定主题期刊，7，2，221-229（2013）
[20] Lee，S。；Nedić，A.，《基于网络的异步闲聊随机投影算法》，IEEE自动控制汇刊，61,4953-968（2016）·Zbl 1359.68020号
[21] 林，P。；Ren，W.，具有非均匀无界凸约束集和非均匀步长的分布式优化（2017），arXiv预印本arXiv:1703.08898
[22] 林，P。；Ren，W。；Song，Y.，《受不相同约束和通信延迟影响的分布式多智能体优化》，Automatica，65，120-131（2016）·兹比尔1328.93024
[23] Lobel，I。；Ozdaglar，A.，随机网络凸优化的分布式次梯度方法，IEEE自动控制汇刊，56，6，1291-1306（2011）·Zbl 1368.90125号
[24] Lobel，I。；Ozdaglar，A。；Feijer，D.，带状态相关通信的分布式多智能体优化，数学规划，129，2，255-284（2011）·Zbl 1229.90201号
[25] Mai，V.S.，&Abed，E.（2016）。使用行随机矩阵对加权有向图进行分布式优化。In:2016年美国控制会议记录; Mai，V.S.，&Abed，E.（2016）。使用行随机矩阵对加权有向图进行分布式优化。In:2016年美国控制会议记录
[26] Makhdoumi，A.和Ozdaglar，A.（2015）。有向图上分布式次梯度方法的图平衡。在：第54届IEEE决策与控制会议记录; Makhdoumi，A.和Ozdaglar，A.（2015）。有向图上分布式次梯度方法的图平衡。在：第54届IEEE决策与控制会议记录
[27] Makhdoumi，A。；Ozdaglar，A.，《网络上分布式admm的收敛速度》，IEEE自动控制汇刊，62，10，5082-5095（2017）·Zbl 1390.90551号
[28] 马泰，I。；Baras，J.S.，《两种基于共识的分布式优化算法性能上限的比较》，IFAC会议论文集，45，26，168-173（2012）
[29] Nedic，A。；Olshevsky，A.，时变有向图的分布式优化，IEEE自动控制汇刊，60，3，601-615（2015）·Zbl 1360.90262号
[30] Nedic，A。；奥尔谢夫斯基，A。；Shi，W.，时变图上分布式优化的几何收敛性，SIAM优化杂志，27，4，2597-2633（2017）·Zbl 1387.90189号
[31] Nedic，A。；Ozdaglar，A.，多智能体优化的分布式次梯度方法，IEEE自动控制事务，54，1，48-61（2009）·Zbl 1367.90086号
[32] Nedic，A。；Ozdaglar，A。；Parrilo，P.A.，《多智能体网络中的约束共识和优化》，IEEE自动控制事务，55，4，922-938（2010）·Zbl 1368.90143号
[33] Nesterov，Y.，凸优化入门讲座，第87卷（2004），Springer Science&Business Media·兹比尔1086.90045
[34] Olshevsky，A.，《固定图上的线性时间平均共识以及分散优化和多智能体控制的含义》（2016），arXiv预印本arXiv:1411.4186v6
[35] Priolo，A.、Gasparri，A.、Montijano，E.和Sagues，C.（2013）。一种平衡强连通加权有向图的分散算法。在：2013年美国控制会议记录; Priolo，A.、Gasparri，A.、Montijano，E.和Sagues，C.（2013）。一种平衡强连通加权有向图的分散算法。在：2013年美国控制会议记录
[36] Qu，Z.、Li，C.和Lewis，F.（2011）。基于网络连通性分布式估计的协同控制。在：2011年美国控制会议记录; Qu，Z.、Li，C.和Lewis，F.（2011）。基于网络连通性分布式估计的协同控制。在：2011年美国控制会议记录
[37] Rabbat，M.和Nowak，R.（2004）。传感器网络中的分布式优化。在：第三届传感器网络信息处理国际研讨会论文集; Rabbat，M.和Nowak，R.（2004）。传感器网络中的分布式优化。在：第三届传感器网络信息处理国际研讨会论文集
[38] 拉姆，S.S。；Nedić，A。；Veeravalli，V.V.，凸优化的分布式随机次梯度投影算法，优化理论与应用杂志，147，3，516-545（2010）·Zbl 1254.90171号
[39] 罗宾斯，H。；Siegmund，D.，非负几乎超鞅的收敛定理及其应用，（统计学中的优化方法（1971），爱思唯尔），233-257·Zbl 0286.60025号
[40] Shi，W。；凌，Q。；吴，G。；Yin，W.，EXTRA:分散一致性优化的精确一阶算法，SIAM优化杂志，25，2，944-966（2015）·Zbl 1328.90107号
[41] Tsianos，K.I.、Lawlor，S.和Rabbat，M.G.（2012年）。基于共识的分布式优化：大规模机器学习中的实际问题和应用。在：第50届Allerton通信、控制和计算年会会议记录; Tsianos，K.I.、Lawlor，S.和Rabbat，M.G.（2012年）。基于共识的分布式优化：大规模机器学习中的实际问题和应用。在：第50届Allerton通信、控制和计算年会会议记录
[42] 齐亚诺斯，K.I。；Rabbat，M.G.，通信延迟下凸优化的分布式双重平均，（2012年美国控制会议论文集（2012），IEEE），1067-1072
[43] 齐齐克利斯，J。；Bertsekas，D。；Athans，M.，分布式异步确定性和随机梯度优化算法，IEEE自动控制汇刊，31，9803-812（1986）·Zbl 0602.90120号
[44] Wang，J.和Elia，N.（2010年）。分布式优化的控制方法。在：第48届Allerton通信、控制和计算年会会议记录; Wang，J.和Elia，N.（2010年）。分布式优化的控制方法。在：第48届阿勒顿通信、控制和计算年会论文集
[45] Wang，J.和Elia，N.（2011年）。集中式和分布式凸优化的控制观点。在：第50届IEEE决策与控制会议记录; Wang，J.和Elia，N.（2011年）。集中式和分布式凸优化的控制观点。在：第50届IEEE决策与控制会议记录
[46] Xi，C。；Khan，U.A.，DEXTRA：有向图优化的快速算法，IEEE自动控制事务，62，10，4980-4993（2017）·Zbl 1390.90553号
[47] Xi，C。；Mai，V.S。；Abed，E.H。；Khan，U.A.，行-随机矩阵定向优化中的线性收敛，IEEE自动控制汇刊，63，10，3558-3565（2018）·Zbl 1423.90192号
[48] 曾杰。；Yin，W.，有向网络上凸光滑分散优化的Extrapush，计算数学杂志，35，4，381-394（2017）·Zbl 1413.90211号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。