×

具有渐近消失阻尼的原对偶动力系统的时间尺度。 (英语) 兹比尔1522.37097

小结:在这项工作中,我们通过一个具有渐近消失阻尼项的二阶动力系统来研究线性等式约束下连续可微凸函数的最小化问题。考虑中的系统是以前在文献中发现的另一个系统的时间尺度版本。我们证明了原对偶间隙、可行性测度和目标函数值沿生成轨迹的快速收敛性。这些收敛速度现在取决于缩放参数,因此可以通过适当选择所述参数来提高。当目标函数具有Lipschitz连续梯度时,我们证明了原-对偶轨迹渐近收敛到潜在极小化问题的原对偶最优解。我们还展示了沿着原始轨迹的梯度和沿着对偶轨迹的相应线性算子的伴随的收敛速度的改进。我们说明了理论结果,并通过数值实验与其他类型的动力系统进行了比较。

MSC公司:

37号40 最优化和经济学中的动力系统
37M99型 动力系统的逼近方法和数值处理
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用
65K10码 数值优化和变分技术
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿巴斯,B。;Attouch,H。;Svaiter,BF,Hilbert空间中结构化单调包含的类牛顿动力学和前向支持方法,J.Optim。理论应用。,161, 2, 331-360 (2014) ·Zbl 1339.47080号 ·doi:10.1007/s10957-013-0414-5
[2] Alvarez,F.,关于Hilbert空间中二阶耗散系统的极小化性质,SIAM J.控制优化。,38, 4, 1102-1119 (2000) ·Zbl 0954.34053号 ·doi:10.1137/S0363012998335802
[3] Attouch,H。;狗豆,X。;Redont,P.,带摩擦的重球方法,I.连续动力系统:通过耗散动力系统Commun的渐近分析对实值函数局部极小值的全局探索。康斯坦普。数学。,02, 1, 1-34 (2000) ·Zbl 0983.37016号 ·doi:10.1142/S02199700000025
[4] 阿尔瓦雷斯,F。;Attouch,H。;博尔特,J。;Redont,P.,《具有Hessian驱动阻尼的二阶梯度型耗散动力系统:在优化和力学中的应用》,J.Math。Pures应用。,81, 8, 747-779 (2002) ·Zbl 1036.34072号 ·doi:10.1016/S0021-7824(01)01253-3
[5] Attouch,H。;查巴尼,Z。;Riahi,H.,将凸优化的快速惯性动力学与Tikhonov正则化相结合,J.Math。分析。申请。,457, 2, 1065-1094 (2018) ·Zbl 1375.65080号 ·doi:10.1016/j.jmaa.2016.12.017
[6] Attouch,H。;查巴尼,Z。;Peypouquet,J。;Redont,P.,《惯性动力学和渐近消失粘性算法的快速收敛》,数学。程序。,168, 1, 123-175 (2018) ·Zbl 1395.34068号 ·doi:10.1007/s10107-016-0992-8
[7] Attouch,H。;查巴尼,Z。;Riahi,H.,通过阻尼惯性动力学的时间标度的快速近端方法,SIAM J.Optim。,29, 3, 2227-2256 (2019) ·Zbl 07105235号 ·doi:10.1137/18M1230207
[8] Attouch,H.,Chbani,Z.,Riahi,H.:Nesterov加速梯度法在亚临界情况下的收敛速度(α3)。ESAIM控制优化。计算变量(2019)。doi:10.1051/cocv/2017083·Zbl 1437.49045号
[9] Attouch,H。;查巴尼,Z。;Riahi,H.,通过阻尼惯性梯度动力学的时间尺度进行快速凸优化,Pure Appl。功能。分析。,6, 6, 1081-1117 (2021) ·Zbl 1489.37095号
[10] Attouch,H。;查巴尼,Z。;法迪利,J。;Riahi,H.,通过阻尼惯性动力学的时间标度实现动态ADMM的快速收敛,J.Optim。理论应用。,193, 1, 704-736 (2022) ·Zbl 1497.37122号 ·doi:10.1007/s10957-021-01859-2
[11] Attouch,H。;查巴尼,Z。;法迪利,J。;Riahi,H.,通过带有Hessian驱动阻尼的惯性系统的一阶优化算法,数学。程序。,193, 1, 113-155 (2022) ·Zbl 1497.37121号 ·doi:10.1007/s10107-020-01591-1
[12] Attouch,H。;查巴尼,Z。;Riahi,H.,《通过三阶时间演化方程实现快速凸优化》,《优化》,71,5,1275-1304(2022)·Zbl 1489.90110号 ·doi:10.1080/02331934.2020.1764953
[13] Attouch,H。;Peypouquet,J.,Nesterov的加速前向后退方法的收敛速度实际上比\(1/k^2)更快,SIAM J.Optim。,26, 3, 1824-1834 (2016) ·Zbl 1346.49048号 ·数字对象标识代码:10.1137/15M1046095
[14] Bauschke,H.H.,Combettes,P.L.:希尔伯特空间中的凸分析和单调算子理论。CMS数学书籍。施普林格,纽约(2011)。doi:10.1007/978-1-4419-9467-7·Zbl 1218.47001号
[15] 贝克,A。;Teboulle,M.,线性反问题的快速迭代收缩阈值算法,SIAM J.成像科学。,2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[16] Boţ,R.I.:凸优化中的共轭对偶,第637卷。经济学和数学系统的课堂讲稿。施普林格,柏林(2010)。doi:10.1007/978-3642-04900-2·Zbl 1190.90002号
[17] 博伊,RI;Nguyen,D-K,具有消失阻尼的原对偶动力系统的改进收敛速度和轨迹收敛,J.Differ。Equ.、。,303, 369-406 (2021) ·Zbl 1481.37072号 ·doi:10.1016/j.jde.2021.09.021
[18] 博伊,RI;塞特内克,ER;László,SC,结构凸最小化问题的原对偶动力学方法,J.Differ。Equ.、。,269, 12, 10717-10757 (2020) ·Zbl 1452.37095号 ·doi:10.1016/j.jde.2020.07.039
[19] 博伊,RI;塞特内克,ER;Nguyen,D-K,凸区域中迭代收敛保证的快速增广拉格朗日方法,Math。程序。(2022) ·Zbl 1519.37068号 ·doi:10.1007/s10107-022-01879-4
[20] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.,《通过交替方向乘数法进行分布式优化和统计学习》,Found。趋势马赫数。学习。,3, 1, 1-122 (2010) ·兹比尔1229.90122 ·doi:10.1561/220000016
[21] 卡博特。;恩格尔,H。;Gadat,S.,具有渐近小耗散和分段平坦势的二阶微分方程,电子。J.差异。Equ.、。,2009, 17, 33-38 (2009) ·Zbl 1171.34323号
[22] 卡博特。;恩格尔,H。;Gadat,S.,关于具有渐近小耗散的二阶微分方程的长时间行为,Trans。美国数学。Soc.,361,11,5983-6017(2009)·Zbl 1191.34078号 ·doi:10.1090/S002-9947-09-04785-0
[23] Chambolle,A。;Dossal,C.,关于“快速迭代收缩/阈值算法”迭代的收敛性,J.Optim。理论应用。,166, 3, 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4
[24] 加贝,D。;Mercier,B.,通过有限元近似解非线性变分问题的对偶算法,计算。数学。申请。,2, 1, 17-40 (1976) ·Zbl 0352.65034号 ·doi:10.1016/0898-1221(76)90003-1
[25] Goldstein,T。;奥多诺休,B。;塞泽尔,S。;Baraniuk,R.,快速交替方向优化方法,SIAM J.成像科学。,7, 3, 1588-1623 (2014) ·Zbl 1314.49019号 ·doi:10.1137/120896219
[26] Güler,O.,凸极小化的新近点算法,SIAM J.Optim。,2, 4, 649-664 (1992) ·Zbl 0778.90052号 ·doi:10.1137/0802032年
[27] 何,X。;胡,R。;Fang,YP,可分离凸优化问题的惯性原对偶动力方法的收敛速度,SIAM J.控制优化。,59, 5, 3278-3301 (2021) ·Zbl 1479.34088号 ·数字对象标识码:10.1137/20M1355379
[28] 何,X。;胡,R。;Fang,Y-P,线性约束凸优化问题的基于动力系统的快速原对偶算法,Automatica,146(2022)·Zbl 1504.93281号 ·doi:10.1016/j.automatica.2022.110547
[29] 何,X。;胡,R。;Fang,Y-P,线性等式约束凸优化问题的惯性加速原对偶方法,数值。算法,90,4,1669-1690(2022)·Zbl 1496.90056号 ·doi:10.1007/s11075-021-01246-y
[30] He,X.,Hu,R.,Fang,Y.-P.:线性约束凸优化问题的带阻尼和缩放的惯性原对偶动力学。适用分析。(2022). doi:10.1080/00036811.2022.2104260·Zbl 1520.34053号
[31] 林,Z。;李,H。;Fang,C.,《机器学习的加速优化:一阶算法》(2020),新加坡:Springer,新加坡·Zbl 1434.68008号 ·doi:10.1007/978-981-15-2910-8
[32] 马丹,R。;Lall,S.,无线传感器网络中最大寿命路由的分布式算法,IEEE Trans。Wirel公司。社区。,5, 8, 2185-2193 (2006) ·doi:10.1109/TWC.2006.1687734
[33] May,R.,具有凸势和消失阻尼项的二阶发展方程的渐近性,Turk.J.Math。,41, 3, 681-685 (2017) ·Zbl 1424.34186号 ·doi:10.3906/mat-1512-28
[34] Nesterov,Y.,求解具有收敛速度的凸规划问题的一种方法(\cal{O}(1/k^2)),Proc。苏联学院。科学。,269, 543-547 (1983)
[35] Nesterov,Y.:凸优化入门讲座,第87卷。应用优化。斯普林格,波士顿(2004)。doi:10.1007/978-1-4419-8853-9·Zbl 1086.90045号
[36] Opial,Z.,非扩张映射连续逼近序列的弱收敛性,Bull。美国数学。Soc.,73,41591-597(1967年)·Zbl 0179.19902号 ·doi:10.1090/S0002-9904-1967-11761-0
[37] Polyak,BT,《加速迭代法收敛的一些方法》,苏联计算机。数学。数学。物理。,4, 5, 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553(64)90137-5
[38] Polyak,B.T.:优化导论。数学与工程翻译丛书。优化软件,出版部,纽约(1987)·Zbl 0708.90083号
[39] Rockafellar,RT,增广拉格朗日和近点算法在凸规划中的应用,数学。操作。第1、2、97-116号决议(1976年)·Zbl 0402.90076号 ·doi:10.1287/门1.2.97
[40] Shi,G。;Johansson,KH,《多智能体系统的随机最优共识》,Automatica,48,12,3018-3030(2012)·Zbl 1256.93012号 ·doi:10.1016/j.automatica.2012.08.018
[41] 苏·W。;博伊德,S。;坎迪斯,EJ,《模拟内斯特罗夫加速梯度法的微分方程:理论和见解》,J.Mach。学习。决议,17,1,5312-5354(2016)·Zbl 1391.90667号
[42] Yi,P。;Y.Hong。;Liu,F.,约束优化的分布式梯度算法及其在电力系统负荷分配中的应用,系统。控制信函。,83, 45-52 (2015) ·Zbl 1327.93033号 ·doi:10.1016/j.sysconle-2015.06.006
[43] Yi,P。;Y.Hong。;Liu,F.,具有可行性约束的最优资源分配的无初始化分布式算法及其在电力系统经济调度中的应用,Automatica,74,259-269(2016)·Zbl 1348.93024号 ·doi:10.1016/j.automatica.2016.08.007
[44] 曾,X。;Yi,P。;Y.Hong。;Xie,L.,非光滑扩展单变量优化问题的分布式连续时间算法,SIAM J.控制优化。,56, 6, 3973-3993 (2018) ·Zbl 1411.90270号 ·doi:10.1137/17M1118609
[45] Zeng,X.,Lei,J.,Chen,J.:动态原对偶加速方法及其在网络优化中的应用。IEEE传输。自动。控制(2022)。doi:10.1109/TAC.2022.3152720号文件
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。