×
姜新瑞;秦、司天;薛小平;刘新志

分布式凸优化的二阶加速神经动力学方法。 （英语） Zbl 1522.90096号

神经网络。 146, 161-173 (2022).
摘要：基于惯性系统理论，设计了一种二阶加速神经动力学方法来求解带有不等式和集合约束的分布式凸优化问题。现有的求解分布式凸优化问题的方法大多是一阶方法，通常很难分析这些一阶方法的状态解的收敛速度。由于加速度的控制设计，二阶神经动力学方法通常可以实现更快的收敛速度。此外，现有的二阶方法大多设计用于求解无约束分布式凸优化问题，不适合求解约束分布式凸最优化问题。结果表明，本文设计的神经动力学方法的状态解收敛于所考虑的分布式凸优化问题的最优解。证明所设计神经动力学方法性能的误差函数具有超二次收敛性。文中给出了几个数值例子来说明所提出的二阶加速神经动力学方法的有效性。

引用于9文件

MSC公司：

90C25型 凸面编程

关键词：

二阶神经动力学方法;惯性系统;收敛速度
PDF格式BibTeX公司 XML格式引用
\textit{X.Jiang}等人，神经网络。146161--173（2022年；Zbl 1522.90096）
全文： 内政部

参考文献：

[1] Attouch，H。；查巴尼，Z。；Peypouquet，J。；Redont，P.，《具有渐近消失粘性的惯性动力学和算法的快速收敛》，《数学规划》，168123-175（2018）·Zbl 1395.34068号
[2] Aubin，J.P。；Cellina，A.，《差异包裹体》（1984），施普林格-弗拉格：德国柏林施普林格·Zbl 0538.34007号
[3] 布拉特·D。；英雄A.O。；Gauchman，H.，恒定步长的收敛增量梯度法，SIAM优化杂志，18，1，29-51（2007）·Zbl 1154.90015号
[4] 布洛特，M。；Picard，D。；托姆，N。；Cord，M.，《利用闲聊交流进行深度学习的分布式优化》，神经计算，330，287-296（2019）
[5] 布洛，F。；科尔特斯，J。；Martinez，S.，《机器人网络的分布式控制：运动协调算法的数学方法》（2009），普林斯顿大学出版社：普林斯顿大学出版，新泽西州普林斯顿·兹比尔1193.93137
[6] Che，H。；Wang，J.，用于全局和组合优化的协作神经动力学方法，神经网络，114，15-27（2019）·Zbl 1444.90095号
[7] Clarke，F.，《优化与非光滑分析》（1983），威利出版社：威利纽约·Zbl 0582.49001号
[8] 邓，Z。；Hong，Y.，自治拉格朗日系统的多智能体优化设计，无人系统，4，1，5-13（2016）
[9] 邓，Z。；Liang，S。；Yu，W.，二阶多智能体系统的分布式最优资源分配，鲁棒与非线性控制国际期刊，28，4246-4260（2018）·Zbl 1490.93009号
[10] 邓，Z。；Wang，L.，二阶多智能体系统最优资源分配的分布式事件触发算法，IET控制理论与应用，14，14，1937-1946（2020）
[11] 郭毅。；Wu，Y。；Gui，W.，通过逻辑动态生成器和基于STP的混合状态合并在限制切换下离散时间系统的稳定性，IEEE自动控制汇刊（2021）
[12] 海德尔，A。；张，C。；Kreyssig，F.L。；Woodland，P.C.，将自然梯度与无hessian相结合的分布式优化框架，用于区分序列训练，神经网络（2021），https://doi.org/10.1016/j.neunet.2021.05.011 ·Zbl 1521.68122号
[13] 贾伟。；秦，S。；Xue，X.，带不等式约束的分布式非光滑优化的广义神经网络，神经网络，119，46-56（2019）
[14] 蒋，X。；秦，S。；Xue，X.，约束非光滑分布凸优化的类惩罚神经动力学方法，神经计算，377225-233（2020）
[15] 起亚汽车股份有限公司。；科尔特斯，J。；Martinez，S.，《通过离散时间通信的连续时间协调算法实现分布式凸优化》，Automatica，55，254-264（2015）·Zbl 1377.93018号
[16] 李，H。；卢奇。；陈，G。；黄，T。；Dong，Z.，非平衡定向网络上分布式加速算法的收敛性，IEEE系统、人与控制论汇刊：系统，51，8，5153-5164（2021）
[17] 李，H。；卢奇。；陈，G。；黄，T。；Dong，Z.，使用基于异步广播的算法对非平衡定向网络进行分布式约束优化，IEEE自动控制汇刊，66，3，1102-1115（2021）·Zbl 07352060号
[18] Liang，S。；Wang，L.Y。；Yin，G.，无强凸性分布原对偶凸优化算法的指数收敛性，Automatica，105，298-306（2019）·Zbl 1429.93009号
[19] 刘，Q。；Yang，S。；Wang，J.，分布式约束优化的集体神经动力学方法，IEEE神经网络与学习系统汇刊，28，8，1747-1758（2017）
[20] 马，L。；Bian，W.，约束分布式凸优化的新型多智能体神经动力学方法，IEEE控制论汇刊，51，3，1322-1333（2021）
[21] Mishchenko，K。；Iutzeler，F。；Malick，J.，《分布式灵活容错延迟近端梯度算法》，SIAM优化杂志，30，1933-959（2020）·Zbl 1441.90120号
[22] Nedic，A。；Ozdaglar，A。；Parrilo，P.A.，多智能体网络中的约束一致性和优化，IEEE自动控制汇刊，55，4922-938（2010）·Zbl 1368.90143号
[23] Pu，Y。；Zeilinger，M.N。；Jones，C.N.，分布式优化的量化设计，IEEE自动控制汇刊，62，5，2107-2120（2017）·Zbl 1366.90164号
[24] 秦，S。；刘，Y。；薛，X。；Wang，F.，一般约束凸优化问题的神经动力学方法，神经网络，84，113-124（2016）·Zbl 1428.90125号
[25] 苏·W。；博伊德，S。；Candes，E.J.，《建模Nesterov加速梯度法的微分方程：理论与见解》，《机器学习研究杂志》，17，1，5312-5354（2016）·兹比尔1391.90667
[26] 田，Y。；Li，C.，具有脉冲效应的二阶非线性多智能体系统的有限时间一致性，《现代物理快报》B，34，35，第2050406页，（2020）
[27] Tran，N.-T.公司。；王永伟。；刘晓光（Liu，X.-K.）。；肖，J.-W。；Lei，Y.，具有事件触发和时间触发通信的二阶多智能体系统的分布式优化问题，富兰克林研究所杂志，356，17，10196-10215（2019）·Zbl 1425.93023号
[28] Tran，N.-T.公司。；Wang，Y.W。；Yang，W.，存在外部扰动的双积分系统的分布式优化问题，神经计算，272386-395（2018）
[29] 王，D。；陈，M。；Wang，W.，分布式极值寻求最优资源分配及其在智能电网经济调度中的应用，IEEE神经网络与学习系统汇刊，30，10，3161-3171（2019）
[30] Wang，J。；何，X。；黄，J。；Chen，G.，非凸经济排放调度的递归神经网络，现代电力系统与清洁能源杂志，9，1，46-55（2021）
[31] Wang，T。；何，X。；黄，T。；李，C。；Zhang，W.，微电网中考虑阀点效应的经济排放调度问题的集体神经动力学优化，神经网络，93，126-136（2017）·Zbl 1431.91286号
[32] Wang，Y。；林，P。；Hong，Y.，多智能体网络中不完全数据的分布式回归估计，中国信息科学，61，9，Article 092202 pp.（2018）
[33] 文，X。；卢安，L。；Qin，S.，多智能体系统上分布式凸优化的连续时间神经动力学方法及其离散化，神经网络，143，52-65（2021）·Zbl 07743520号
[34] Wu，Y。；郭毅。；丰田章男，概率布尔网络无限时域平均最优控制的策略迭代方法，IEEE神经网络和学习系统汇刊，32，7，2910-2924（2021）
[35] 薛，X。；Bian，W.，非光滑凸优化问题的基于子梯度的神经网络，IEEE电路与系统汇刊。I.常规论文，55，8，2378-2391（2008）
[36] 严，J。；曹，J。；Cao，Y.，交换通信拓扑上经济调度问题的分布式连续时间算法，IEEE电路与系统学报II：快讯，68，62002006（2021）
[37] Yi，P。；Y.Hong。；Liu，F.，应用于电力系统负荷分担的约束优化分布式梯度算法，《系统与控制快报》，83，711，45-52（2015）·Zbl 1327.93033号
[38] 曾，X。；Lei，J。；Chen，J.，动态原对偶加速方法及其在网络优化中的应用（2019），arXiv预印本arXiv:1912.03690
[39] Zhang，Y。；邓，Z。；Hong，Y.，《多个异构Euler-Lagrangian系统的分布式优化协调》，Automatica，79，207-213（2017）·Zbl 1371.93025号
[40] 张杰。；你，K。；Basar，T.，仅使用相对状态符号的多代理网络中的分布式离散时间优化，IEEE自动控制事务，64，6，2352-2367（2019）·Zbl 1482.90162号
[41] Zhao，Y。；Liu，Q.，基于集体神经动力学系统的一致性算法，用于具有线性和有界约束的分布式优化，神经网络，122144-151（2019）·Zbl 1440.90050
[42] 周，H。；曾，X。；Hong，Y.，约束分布式优化的自适应精确惩罚设计，自动控制事务，64，11，4661-4667（2019）·Zbl 1482.90163号
[43] 朱，Y。；于伟（Yu，W.）。；文，G。；Chen，G.，分布式约束非光滑凸优化的投影原对偶动力学，IEEE控制论汇刊，50，4，1776-1782（2020）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。