×
哈桑·莫哈达姆，塞皮德;Jovanović，Mihailo R。

近似梯度流和Douglas-Rachford分裂动力学：通过积分二次约束的全局指数稳定性。 （英语） Zbl 1461.93433号

Automatica公司 123，文章ID 109311，第7页（2021）.
摘要：许多大规模分布式优化问题可以转化为一种复合形式，其中目标函数由光滑项和非光滑正则化子之和给出。这些问题可以通过近似梯度方法及其变体来解决，从而将梯度下降推广到非光滑设置。在本文中，我们将近似算法视为动态系统，并利用控制理论中的技术来研究其全局特性。特别地，对于具有强凸目标函数的问题，我们利用积分二次约束理论证明了控制近端梯度和Douglas-Rachford分裂流演化的微分方程平衡点的全局指数稳定性。在我们的分析中，我们利用了这样一个事实，即这些算法可以被解释为适当包络上的可变度量梯度方法，并利用了非线性项的结构特性，这些非线性项是由目标函数的光滑部分的梯度和与非光滑正则化器相关联的近端算子产生的。我们还证明了这些包络可以从与原始非光滑问题相关联的增广拉格朗日方程中获得，并建立了即使在没有强凸性的情况下全局指数收敛的条件。

引用于5文件

MSC公司：

93D23型 指数稳定性
49J05型 单自变量自由问题的存在性理论

关键词：

优化控制;前后向信封;Douglas-Rachford分裂;全局指数稳定性;积分二次约束;非线性动力学;非光滑优化;近似算法;原对偶方法;近端增广拉格朗日函数
PDF格式BibTeX公司 XML格式引用
\textit{S.Hassan-Moghaddam}和\textit{M.R.Jovanović}，Automatica 123，文章编号109311，7 p.（2021；Zbl 1461.93433）
全文： 内政部 arXiv公司

参考文献：

[1] 阿罗，K.J。；Hurwicz，L。；Uzawa，H.，线性和非线性规划研究（1958）·兹比尔0091.16002
[2] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM成像科学杂志，2，1，183-202（2009）·Zbl 1175.94009号
[3] A.布朗。；Bartholomew-Biggs，M.，基于常微分方程组解的无约束优化的一些有效方法，优化理论与应用杂志，62，2，211-224（1989）·Zbl 0651.90067号
[4] Cherukuri，A。；Mallada，E。；Cortés，J.，约束原对偶动力学的渐近收敛，《系统与控制快报》，87，10-15（2016）·Zbl 1327.49057号
[5] Cherukuri，A。；Mallada，E。；低，S。；Cortes，J.，凸性在鞍点动力学中的作用：Lyapunov函数和鲁棒性，IEEE自动控制汇刊，63，8，2449-2464（2018）·Zbl 1423.93343号
[6] 新罕布什尔州丁格拉。；孔，S.Z。；Jovanović，M.R.，非光滑凸组合优化的二阶原对偶方法（2017），arXiv:1709.01610
[7] 新罕布什尔州丁格拉。；孔，S.Z。；Jovanović，M.R.，非光滑组合优化的近端增广拉格朗日方法，IEEE自动控制汇刊，64，7，2861-2868（2019）·Zbl 1482.90168号
[8] Ding，D.、Hu，B.、Dhingra，N.K.和Jovanović，M.R.（2018年）。非光滑复合极小化的指数收敛原对偶算法。第57届IEEE决策与控制会议记录（第4927-4932页）。佛罗里达州迈阿密。
[9] 道格拉斯，J。；Rachford，H.，《关于两个和三个空间变量中热传导问题的数值解》，《美国数学学会学报》，82，2，421-439（1956）·Zbl 0070.35401号
[10] 埃克斯坦，J。；Bertsekas，D.P.，关于最大单调算子的Douglas-Rachford分裂方法和近点算法，数学规划，55，1-3，293-318（1992）·Zbl 0765.90073号
[11] 法兹利亚布，M。；里贝罗，A。；莫拉里，M。；Preciado，V.M.，通过积分二次约束分析优化算法：非强凸问题，SIAM优化杂志，28，3，2654-2689（2018）·Zbl 1406.90089号
[12] Feijer，D。；Paganini，F.，原对偶梯度动力学的稳定性及其在网络优化中的应用，Automatica，46，121974-1981（2010）·兹比尔1205.93138
[13] França，G。；罗宾逊，D。；Vidal，R.，ADMM和加速ADMM作为连续动力系统（2018），arXiv:1805.06579
[14] Gabay，D.，乘子方法在变分不等式中的应用，（数学及其应用研究，第15卷（1983年）），299-331
[15] Giselsson，P。；Boyd，S.，Douglas-Rachford分裂和ADMM的线性收敛和度量选择，IEEE自动控制汇刊，62，2，532-544（2017）·兹比尔1364.90256
[16] Hassan-Moghaddam，S.和Jovanović，M.R.（2018年）。非光滑组合优化的分布式近端增广拉格朗日方法。《2018年美国控制会议记录》（第2047-2052页）。威斯康星州密尔沃基。
[17] Hassan-Moghaddam，S.和Jovanović，M.R.（2018年）。近端梯度流算法的指数收敛速度。第57届IEEE决策与控制会议记录（第4246-4251页）。佛罗里达州迈阿密。
[18] Hu，B.和Lessard，L.（2017）。内斯特罗夫加速方法的耗散理论。第34届国际机器学习会议记录（第1549-1557页）。
[19] 胡，B。；Seiler，P.，使用积分二次约束的不确定线性系统的指数衰减率条件，IEEE自动控制汇刊，61，11，3631-3637（2016）·Zbl 1359.93392号
[20] Hu，B.、Seiler，P.和Rantzer，A.（2017年）。使用跳跃系统理论和二次约束对随机优化方法进行统一分析。2017年学习理论会议记录（第1157-1189页）。
[21] 卡里米，H。；Nutini，J。；Schmidt，M.，Polyak-Lojasiewicz条件下梯度和近似粒度方法的线性收敛，（数据库机器学习和知识发现联合欧洲会议（2016）），795-811
[22] 拉塔法特，P。；Freris，N。；Patrinos，P.，一种新的用于分布式优化的随机块坐标原始-对偶近似算法，IEEE自动控制汇刊（2019）·Zbl 1482.90152号
[23] Latafat，P.、Stella，L.和Patrinos，P.（2016）。用于分布式优化的新的原始-对偶近似算法。第55届IEEE决策与控制会议记录（第1959-1964页）。
[24] Lessard，L。；Recht，B。；Packard，A.，通过积分二次约束分析和设计优化算法，SIAM优化期刊，26，1，57-95（2016）·兹比尔1329.90103
[25] Megretski，A。；Rantzer，A.，通过积分二次约束进行系统分析，IEEE自动控制事务，42，6，819-830（1997）·Zbl 0881.93062号
[26] Michalowsky，S。；谢勒，C。；Ebenbauer，C.，《稳健和结构利用优化算法：积分二次约束方法》（2019），arXiv:1905.00279
[27] Mohammadi，H.、Razaviyayn，M.和Jovanović，M.（2018）。强凸二次优化问题一阶加速算法的方差放大。第57届IEEE决策与控制会议记录（第5753-5758页）。佛罗里达州迈阿密。
[28] Mohammadi，H.、Razaviyayn，M.和Jovanović，M.R.（2019年）。强凸优化问题中带噪Nesterov加速方法的性能。《2019年美国控制会议记录》（第3426-3431页）。宾夕法尼亚州费城。
[29] Mohammadi，H。；拉扎维亚因，M。；Jovanović，M.R.，强凸优化问题加速一阶算法的鲁棒性，IEEE自动控制汇刊（2020）
[30] Muehlebach，M。；Jordan，M.I.，关于Nesterov加速度的动力学系统观点（2019），arXiv:1905.07436
[31] Nedić，A。；Ozdaglar，A.，多智能体优化的分布式次梯度方法，IEEE自动控制汇刊，54，1，48-61（2009）·Zbl 1367.90086号
[32] Nesterov，Y.，《凸优化导论：基础课程》，87（2013）
[33] 北卡罗来纳州帕里赫。；Boyd，S.，Proximal algorithms，Foundations and Trends®in Optimization，1,3123-231（2013年）
[34] 帕特里诺斯，P。；斯特拉·L。；Bempoad，A.，凸组合优化的前向截断牛顿法（2014），arXiv:1402.6655
[35] Polyak，B.T.，最小化泛函的梯度方法，Zhurnal Vychislitel’noi Matematiki i Matematicheskoi Fiziki，3，4，643-653（1963）·Zbl 0196.47701号
[36] Poveda，J.I。；Li，N.，通过混合正则化在时变加速优化动力学中诱导一致渐近稳定性（2019），arXiv:1905.12110
[37] Qu，G。；Li，N.，关于原-对偶梯度动力学的指数稳定性，IEEE控制系统快报，3，1，43-48（2018）
[38] 施洛普，J。；Singer，I.，约束最小化的动力系统方法，数值泛函分析与优化，21，3-4，537-551（2000）·兹伯利1017.90106
[39] 塞德曼，J。；法兹利亚布，M。；普雷西亚多，V。；Pappas，G.，Douglas-Rachford分裂分析和参数选择的控制理论方法（2019），arXiv:1903.11525
[40] Shi，B。；杜，S。；M.I.乔丹。；Su，W.，通过高分辨率微分方程理解加速度现象（2018），arXiv:1810.08907
[41] 斯特拉·L。；Themelis，A。；Patrinos，P.，非光滑优化问题的正向准Newton方法，计算优化与应用，67，3，443-487（2017）·Zbl 1401.90226号
[42] 苏，W。；博伊德，S。；Candes，E.，《建模Nesterov加速梯度法的微分方程：理论与见解》，《机器学习研究杂志》，17，1-43（2016）·Zbl 1391.90667号
[43] Themelis，A。；斯特拉·L。；Patrinos，P.，两个非凸函数之和的前向背向包络：进一步的性质和非单调线搜索算法，SIAM优化杂志，28，3，2274-2303（2018）·Zbl 1404.90106号
[44] Wang，J.和Elia，N.（2011年）。集中式和分布式凸优化的控制观点。第50届IEEE决策与控制会议记录（第3800-3805页）。
[45] Wibisono，A。；A.C.威尔逊。；Jordan，M.I.，《优化中加速方法的变分观点》，《美国国家科学院学报》，113，47，E7351-E7358（2016）·Zbl 1404.90098号
[46] 张杰。；莫赫塔里，A。；Sra，S。；Jadbabaie，A.，直接Runge-Kutta离散化实现了加速，（神经信息处理系统进展（2018）），3900-3909
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。