×
徐翠霞;朱俊龙;尚有林;吴庆涛

一种基于网络的分布式共轭梯度在线学习方法。 （英语） Zbl 1435.90110号

复杂性 2020年，文章ID 1390963，13 p.（2020）。
摘要：在无向多智能体网络上具有凸约束集的分布式在线优化问题中，局部目标函数是凸的且随时间变化。现有的解决该问题的方法大多基于最快梯度下降法。然而，这些方法的收敛速度随着迭代次数的增加而降低。为了加快算法的收敛速度，我们提出了一种不同于梯度法的分布式在线共轭梯度算法，其中搜索方向是一组相互共轭的向量，步长是通过精确的线搜索获得的。我们从理论上分析了算法的收敛性，得到了一个遗憾界\（O\ left（\sqrt{T}\ right）\），其中\（T\）是迭代次数。最后，在传感器网络上进行的数值实验验证了该算法的性能。

MSC公司：

90C25型 凸面编程
90摄氏52度 减少梯度类型的方法
68T05型 人工智能中的学习和自适应系统
68周27 在线算法；流式算法
64岁以下 分布式系统
PDF格式BibTeX公司 XML格式引用
\textit{C.Xu}等人，《复杂性2020》，文章ID 1390963，13 p.（2020；Zbl 1435.90110）
全文： 内政部
OA许可证

参考文献：

[1] Bertsekas，D.P。；Tsitsiklis，J.N.，《并行和分布式计算：数值方法》（1989年），美国新泽西州上鞍河：Prentice-Hall，Inc.，新泽西州上鞍河·兹比尔074365107
[2] 查罗，B。；Michael，N。；Kumar，V.，用于无线源定位的多机器人协作估计和控制，《国际机器人研究杂志》，33，4，569-580（2014）·doi:10.1177/0278364913500542
[3] Lesser，V。；奥尔蒂斯，C。；Tambe，M.，《分布式传感器网络：多代理视角》，9（2003），荷兰多德雷赫特：Kluwer学术出版社，荷兰多德雷赫特·Zbl 1033.68009号
[4] 拉巴特，M。；Nowak，R.，传感器网络中的分布式优化，第三届传感器网络信息处理国际研讨会论文集
[5] 李，D。；Wong，K。；胡，Y。；Sayed，A.，分布式传感器网络中目标的检测、分类和跟踪，IEEE信号处理杂志，19，2，17-29（2002）
[6] 博图，L。；柯蒂斯，F.E。；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Review，60，2（2018）·Zbl 1397.65085号 ·doi:10.1137/16m1080173
[7] 科佩尔，A。；Jakubiec，F.Y。；Ribeiro，A.，网络在线凸优化的鞍点算法，IEEE信号处理汇刊，63，19，5149-5164（2015）·Zbl 1394.94285号 ·doi:10.1109/tsp.2015.2449255
[8] Bianchi，P。；Hachem，W。；Iutzeler，F.，坐标下降原对偶算法及其在分布式异步优化中的应用，IEEE自动控制汇刊，61，10，2947-2957（2016）·Zbl 1359.90090号 ·doi:10.1109/tac.2015.2512043
[9] Pu，S。；Nedić，A.，分布式随机梯度跟踪方法（2019），http://arxiv.org/abs/1805.11454
[10] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，《机器学习的基础和趋势》，3，1，1-122（2010）·Zbl 1229.90122号 ·doi:10.1561/220000016
[11] Bertsekas，D.P.，网络优化和扩展的集中式和分布式牛顿方法，数学，3，3，5917-5922（2015）
[12] 杜奇，J.C。；阿加瓦尔，A。；Wainwright，M.J.，《分布式优化的双重平均：收敛分析和网络缩放》，IEEE自动控制汇刊，57，3，592-606（2012）·Zbl 1369.90156号 ·doi:10.10109/tac.2011.2161027
[13] Jakoveti博士。；泽维尔，J。；Moura，J.M.F.，快速分布梯度法，IEEE自动控制汇刊，59，5，1131-1146（2014）·Zbl 1360.90292号 ·doi:10.1109/tac.2014.2298712
[14] Nedic，A。；Ozdaglar，A.，多智能体优化的分布式次梯度方法，IEEE自动控制事务，54，1，48-61（2009）·Zbl 1367.90086号 ·doi:10.1109/tac.2008.2009515
[15] 朱，J。；谢鹏。；张，M。；郑，R。；Xing，L。；Wu，Q.，基于权值平衡的时变有向图分布式随机次梯度投影算法，复杂性，2019（2019）·Zbl 1429.90048号 ·doi:10.1155/2019/8030792
[16] Gokcesu，H。；Kozat，S.S.，具有自适应极小极大最优动态后悔的高效在线凸优化（2019），http://arxiv.org/abs/1907.00497
[17] Mateos-Nunez，D。；Cortes，J.，联合连通有向图上的分布式在线凸优化，IEEE网络科学与工程学报，1，1，23-37（2014）·doi:10.1109/tnse.2014.2363554
[18] 侯赛尼，S。；查普曼，A。；Mesbahi，M.，动态网络上的在线分布式凸优化，IEEE自动控制汇刊，61，11，3545-3550（2016）·Zbl 1359.90094号 ·doi:10.1109/tac.2016.2525928
[19] 侯赛尼，S。；查普曼，A。；Mesbahi，M.，通过双重平均进行在线分布式优化，第二届IEEE决策和控制会议论文集·doi:10.1109/cdc.2013.6760092
[20] Yan，F。；Sundaram，S。；Vishwanathan，S.V.N。；Qi，Y.，《分布式自主在线学习：遗憾与内在隐私保护属性》，IEEE知识与数据工程学报，25，11，2483-2493（2013）·doi:10.1109/tkde.2012.191
[21] Raginsky，M。；Kiarashi，N。；Willett，R.，带局部信息的分散在线凸规划，2011年美国控制会议论文集
[22] 阿克巴里，M。；Gharisfard，B。；Linder，T.，时变有向图上的分布式在线凸优化，IEEE网络系统控制汇刊，4，3，417-428（2017）·Zbl 1507.93085号 ·doi:10.1109/tcns.2015.2505149
[23] 袁，D。；Ho，D.W.C。；蒋国平，在线分布式约束优化的自适应原对偶次梯度算法，IEEE控制论汇刊，48，11，3045-3055（2018）·doi:10.1109/tcyb.2017.2755720号文件
[24] Sayed，A.H.，自适应网络，IEEE会议录，102，4，460-497（2014）·doi:10.1109/jproc.2014.2306253
[25] 朱，J。；徐，C。；关，J。；Wu，D.O.，时变定向网络上的不同私有分布式在线算法，IEEE网络信号和信息处理汇刊，4，1，4-17（2018）·doi:10.1109/tsipn.2018.2797806
[26] 徐，C。；朱，J。；Wu，D.O.，基于权值平衡的时变有向图分散在线学习方法，IEEE计算智能新兴主题汇刊，1-13（2019）·doi:10.10109/tetci.2018.2808071
[27] Yi，X。；李，X。；谢林。；Karl，H.J.，带时变耦合不等式约束的分布式在线凸优化（2019），http://arxiv.org/abs/1903.04277
[28] 张，M。；Quan，W。；Cheng，N.，用于物联网优化的分布式条件梯度在线学习，IEEE物联网杂志（2019）·doi:10.1109/JIOT.2019.2919562
[29] Powell，M.J.D.，非线性优化算法的收敛性，SIAM Review，28，4，487-500（1986）·Zbl 0624.90091号 ·doi:10.1137/1028154
[30] 法拉马齐，P。；Amini，K.，一种具有全局收敛性的改进谱共轭梯度法，优化理论与应用杂志，182,2667-690（2019）·兹比尔1422.90053 ·doi:10.1007/s10957-019-01527-6
[31] Yuan，G.，大型优化问题具有充分下降性的改进非线性共轭梯度法，《优化快报》，3，1，11-21（2009）·Zbl 1154.90623号 ·doi:10.1007/s11590-008-0086-5
[32] Charalambous，C.，用于有效训练人工神经网络的共轭梯度算法，IEE Proceedings G Circuits，Devices and Systems，139，3，301-310（1992）·doi:10.1049/ip-g-2.1992.0050
[33] Al-Baali，M。；Y.Narushima。；Yabe，H.，无约束优化的一类具有充分下降性的三项共轭梯度法，计算优化与应用，60，1，89-110（2015）·Zbl 1315.90051号 ·doi:10.1007/s10589-014-9662-z
[34] Rodi，W。；Mackie，R.L.，二维大地电磁反演的非线性共轭梯度算法，地球物理学，66，1，174-187（2001）·数字对象标识代码：10.1190/1.1444893
[35] 李·G。；唐，C。；Wei，Z.，无约束优化的新共轭条件及相关新共轭梯度法，计算与应用数学杂志，202,2523-539（2007）·Zbl 1116.65069号 ·doi:10.1016/j.cam.2006.03.005
[36] 吉尔伯特，J.C。；Nocedal，J.，共轭梯度优化方法的全局收敛性，SIAM优化杂志，2，1，21-42（1992）·Zbl 0767.90082号 ·doi:10.1137/0802003年
[37] Chen，B.，《优化理论与算法》（2015），中国北京：清华大学出版社，中国北京
[38] 博伊德，S。；Vandenberghe，L.，《凸优化》（2004），英国剑桥：剑桥大学出版社，英国剑桥·Zbl 1058.90049号
[39] Hiriart-Urruti，J。；Lemarechal，C.，凸分析和最小化算法I（1996），德国柏林：施普林格，德国柏林
[40] Nesterov，Y.，《凸优化导论》（2004），荷兰多德雷赫特：Kluwer学术出版社，荷兰多德雷赫特·Zbl 1086.90045号
[41] 霍恩，R.A。；Johnson，C.R.，矩阵分析（1985），美国纽约：剑桥大学出版社，美国纽约·Zbl 0576.15001号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。