×

兹马思-数学第一资源

有向网络上分散组合优化的一种快速近似梯度算法。(英语) Zbl 1376.93038号
摘要:本文提出了一种快速分散算法,用于求解定义在有向网络化多智能体系统中的一致性优化问题,该问题的局部目标函数具有光滑的非光滑组合形式,并且可能是非凸的。这类问题的例子包括分散压缩感知和约束二次规划问题,以及许多分散正则化问题。我们将已有的PG-EXTRA和ExtraPush算法扩展到一个新的PG-ExtraPush算法,用于有向网络上的复合一致性优化。该算法利用PG-EXTRA中的邻近算子来处理非光滑项,并采用ExtraPush中的推和协议来解决有向网络带来的偏差。在适当的步长下,我们证明了PG-ExtraPush在一定的规则假设下以线性速率收敛到一个最优解。我们进行了一系列的数值实验,以验证该算法的有效性。具体地说,在适当的步长下,PG ExtraPush在大多数情况下(甚至在一些非凸的情况下)执行线性速率,并且比次梯度推(即使后者使用手动优化的步长)快得多。数值结果也验证了所建立的理论结果。

理学硕士:
93B40型 系统理论中的计算方法(MSC2010)
93A14型 分散系统
68T42型 Agent技术与人工智能
90度C20 二次规划
软件:
外推
PDF格式 BibTeX公司 XML 引用
参考文献:
[1] Lopuhaa,H.;Rousseeuw,P.,《多元位置和协方差矩阵的仿射等变估计的分解点》,神经网络。统计师,19,1229-248,(1991年)·Zbl 0733.62058
[2] Ling,Q.;Tian,Z.,压缩睡眠无线传感器网络的分散稀疏信号恢复,IEEE Trans。信号处理,58,7,3816-3827,(2010)·Zbl 1392.94311
[3] Mateos,G.;Bazerque,J.;Giannakis,G.,《分布式稀疏线性回归》,IEEE Trans。信号处理,58,10,5262-5276,(2010)·Zbl 1391.62133
[四] Chang,T.;Hong,M.;Wang,X.,《基于不精确共识的多智能体分布式优化ADMM》,IEEE Trans。信号处理,63,2482-497,(2015)·Zbl 1393.90124号
[5] Lee,S.;Nedic,A.,凸优化的分布式随机投影算法,IEEE J.Sel。顶部。信号处理,7,221-229,(2013年)
[6] Schizas,I.;Ribeiro,A.;Giannakis,G.,《带噪声链路的自组织无线传感器网络的共识第1部分:确定性信号的分布式估计》,IEEE Trans。信号处理,56,1350-364,(2008)·Zbl 1390.94395
[7] Shi,W.;Ling,Q.;Yuan,K.;Wu,G.;Yin,W.,《分散共识优化中ADMM的线性收敛性》,IEEE Trans。信号处理,6271750-1761,(2014)·Zbl 1394.94532
[8] Nedic,A.;Ozdaglar,A.,《多智能体优化的分布式次梯度方法》,IEEE Trans。自动装置。对照组,54,48-61,(2009年)·Zbl 1367.90086
[9] Chen,I.,快速分布式一阶方法(2012),麻省理工学院电气工程与计算机科学系,硕士论文
[10] J、 曾文茵,论非凸分散梯度下降,2016,arXiv:1608.05766。·Zbl 1414.90295
[11] Ravazzi,C.;Fosson,S.;Magli,E.,《正则化线性反问题的分布式迭代阈值法》,IEEE Trans。通知。理论,6142081-2100,(2015)·Zbl 1359.94161
[12] Shi,W.;Ling,Q.;Wu,G.;Yin,W.,分散复合优化的近端梯度算法,IEEE Trans。过程信号(6013,6023,2015)·Zbl 1394.94531号
[13] Shi,W.;Ling,Q.;Wu,G.;Yin,W.,EXTRA:分散一致优化的精确一阶算法,SIAM J.Optim.,25,2944-966,(2015)·Zbl 1328.90107
[14] Tsianos,K.;Lawlor,S.;Rabbat,M.,《基于共识的分布式优化:大规模机器学习中的实际问题和应用》(Proc。第50阿勒顿社区会议。控制,公司,2012年),1543-1550
[15] Tsianos,K.;Lawlor,S.;Rabbat,M.,《凸优化的推和分布对偶平均法》,(Proc。IEEE Conf.决策控制,(2012年),5453-5458
[16] Tsianos,K.,《网络在分布式优化算法中的作用:收敛速度、可伸缩性、通信/计算权衡和通信延迟》(2013),电子部。比较。加拿大蒙特利尔麦吉尔大学,博士论文
[17] Kempe,D.;Dobra,A.;Gehrke,J.,《基于八卦的聚合信息计算》,(第44届IEEE计算机科学基础年会(2003)),482-491
[18] Nedic,A.;Olshevsky,A.,《时变有向图上的分布式优化》,IEEE Trans。自动装置。控制,60,3601-615,(2015年)·Zbl 1360.90262
[十九] Zeng,J.;Yin,W.,有向网络上凸光滑分散优化的Extrapush,J.Comput。数学,35381-394,(2017年)·Zbl 1413.90211
[20] C、 Xi,U.Khan,有向图上分布式优化的线性收敛性,2015,预印本,arXiv:1510.02149。
[21] A、 Nedic,A.Olshevsky,W.Shi.在时变图上实现分布式优化的几何收敛性,2016,arXiv:1607.03218。·Zbl 1387.90189
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。