×

通过具有闭环阻尼的惯性动力学进行快速优化。 (英语) Zbl 1523.37103号

摘要:在真实的希尔伯特空间(\mathcal{H})中,为了开发快速优化方法,我们分析了一大类自治耗散惯性连续动力学在时间(t)趋于无穷大时的渐近行为。要最小化(不一定是凸的)的函数\(f:\mathcal{H}\to\mathbb{R}\)通过其梯度进入动态,该梯度被假定为在\(\mathcal{H}\)的有界子集上Lipschitz连续。这导致了具有非线性阻尼和非线性驱动力的自治动力系统。我们首先考虑阻尼项作为速度的闭环控制的情况。阻尼电势\(\phi:\mathcal{H}\to\mathbb{右}_+\)是一个凸连续函数,在原点处达到最小值。我们证明了相关柯西问题整体解的存在唯一性。我们分析了由该系统生成的轨迹的渐近收敛性和收敛速度。为此,我们使用了优化、控制理论和偏微分方程的技术:基于类能量函数递减性质的Lyapunov分析、准粒度和Kurdyka-Łojasiewicz理论以及类波方程的单调算子理论。收敛速度是基于数据(f)和(phi)的几何性质获得的。我们提出了保证轨迹收敛的阻尼势(φ)的最小假设,从而显示了强阻尼和弱阻尼之间的分界线。当(f)为强凸时,我们给出了阻尼势(φ)的一般条件,它提供了指数收敛速度。然后,我们将结果推广到附加Hessian驱动阻尼进入动力系统的情况,从而减少振动。最后,我们考虑一个新的惯性系,其中阻尼联合涉及速度(点{x}(t))和梯度(nabla f(x(t)。这项研究自然导致了通过时间离散化获得的近似粒度算法的类似结果;本文对其中一些问题进行了研究。除了其原始结果外,本工作还综述了阻尼惯性连续动力学和数值优化算法之间相互作用的大量工作,重点是自治系统、自适应过程和收敛速度。

MSC公司:

37号40 最优化和经济学中的动力系统
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用
49英里15 牛顿型方法
65千5 数值数学规划方法
65K10码 数值优化和变分技术
90C25型 凸面编程

软件:

iPiano公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abbas,B.,Attouch,H.,Svaiter,B.F.:希尔伯特空间中结构化单调包含的类牛顿动力学和前向-后向方法。J.优化。理论应用。161,331-360(2014)Zbl 1339.47080 MR 3193795·Zbl 1339.47080号
[2] Adly,S.、Attouch,H.:涉及干摩擦阻尼的一阶惯性算法。数学。程序。193,405-445(2022)Zbl 1497.37120 MR 4412398·Zbl 1497.37120号
[3] Adly,S.,Attouch,H.:结合干摩擦和Hessian驱动阻尼的近似粒度惯性算法的有限收敛性。SIAM J.Optim公司。30,2134-2162(2020)Zbl 1452.65103 MR 4133483·兹比尔1452.65103
[4] Adly,S.,Attouch,H.:结合干摩擦和Hessian驱动阻尼的连续惯性动力学的有限时间稳定性。J.凸分析。28,281-310(2021)兹比尔1470.37118 MR 4245869·Zbl 1470.37118号
[5] Adly,S.,Attouch,H.,Cabot,A.:受干摩擦影响的非线性振荡器的有限时间稳定性。In:非光滑力学与分析,高级力学。数学。纽约施普林格12号,289-304(2006)MR 2205459
[6] Alabau-Boussouira,F.,Privat,Y.,Trélat,E.:非线性阻尼偏微分方程及其一致离散化。J.功能。分析。273,352-403(2017)Zbl 1364.37155 MR 3646303·Zbl 1364.37155号
[7] Alecsa,C.D.,László,S.C.,Pinţa,T.:对Nesterov凸梯度方法建模的二阶动力系统的扩展。申请。数学。最佳方案。84、1687-1716(2021)Zbl 1486.34050 MR 4304886·Zbl 1486.34050号
[8] Alvarez,F.:关于Hilbert空间中二阶耗散系统的最小化性质。SIAM J.控制优化。381102-1119(2000)Zbl 0954.34053 MR 1760062·Zbl 0954.34053号
[9] Alvarez,F.,Attouch,H.:一些具有非孤立平衡点的阻尼超临界方程的收敛性和渐近稳定性。ESAIM控制优化。计算变量6,539-552(2001)Zbl 1004.34045 MR 1849415·Zbl 1004.34045号
[10] Alvarez,F.,Attouch,H.:通过带阻尼的非线性振子离散化来求解最大单调算子的惯性近似方法。集值分析。9,3-11(2001)Zbl 0991.65056 MR 1845931·Zbl 0991.65056号
[11] Alvarez,F.,Attouch,H.,Bolt,J.,Redont,P.:具有Hessian驱动阻尼的二阶类梯度耗散动力系统。应用于优化和力学。数学杂志。Pures应用程序。(9) 81、747-779(2002)Zbl 1036.34072 MR 1930878·Zbl 1036.34072号
[12] Amann,H.,Diaz,J.I.:关于存在强摩擦时振荡器动力学的注释。非线性分析。55209-216(2003)Zbl 1035.34023 MR 2007469·Zbl 1035.34023号
[13] Apidopoulos,V.,Aujol,J.-F.,Dossal,C.:超越Nesterov规则的惯性前向后退算法的收敛速度。数学。程序。180、137-156(2020)Zbl 1439.90055 MR 4062834·Zbl 1439.90055号
[14] Apidopoulos,V.,Aujol,J.-F.,Dossal,C.,Rondesierre,A.:生长和平坦条件下惯性梯度下降算法的收敛速度。数学。程序。187151-193(2021)Zbl 1465.90062 MR 4246301·兹比尔1465.90062
[15] Attouch,H.:函数和算子的变分收敛。适用数学。序列号。,皮特曼(高级出版计划),马萨诸塞州波士顿(1984)Zbl 0561.49012 MR 773850·Zbl 0561.49012号
[16] Attouch,H.,Bolt,J.,Redont,P.,Soubeyran,A.:非凸问题的近似交替最小化和投影方法:基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。决议35,438-457(2010)Zbl 1214.65036 MR 2674728·Zbl 1214.65036号
[17] Attouch,H.,Bolt,J.,Svaiter,B.F.:半代数和驯化问题下降方法的收敛性:近似算法,前向-后向分裂和正则高斯-赛德尔方法。数学。程序。137,91-129(2013)Zbl 1260.49048 MR 3010421·Zbl 1260.49048号
[18] Attouch,H.,Buttazzo,G.,Michaille,G.:Sobolev和BV空间中的变分分析。第二版,MOS-SIAM Ser。Optimization 17,宾夕法尼亚州费城SIAM,宾夕法尼亚州,和数学优化学会,宾夕法尼亚州费城(2014)Zbl 1311.49001 MR 3288271·Zbl 1311.49001号
[19] Attouch,H.,Cabot,A.:具有时间依赖粘度的惯性梯度动力学的渐近稳定性。J.微分方程2635412-5458(2017)Zbl 1405.37092 MR 3688419·Zbl 1405.37092号
[20] Attouch,H.,Cabot,A.:惯性前向后退算法的收敛速度。SIAM J.Optim公司。28,849-874(2018)Zbl 1387.49047 MR 3775147·Zbl 1387.49047号
[21] Attouch,H.,Cabot,A.:最大单调算子的松弛惯性近似算法的收敛性。数学。程序。184243-287(2020)Zbl 07263694 MR 4163546·Zbl 07263694号
[22] Attouch,H.,Cabot,A.,Chbani,Z.,Riahi,H.:带过扰动的惯性前向后退算法:在Tikhonov正则化中的应用。J.优化。理论应用。179,1-36(2018)Zbl 1417.90114 MR 3846930·Zbl 1417.90114号
[23] Attouch,H.,Cabot,A.,Redont,P.:通过微分包裹体的表观正则化实现弹性冲击动力学。屏障和惩罚近似值。高级数学。科学。申请。12,273-306(2002)Zbl 1038.49029 MR 1909449·Zbl 1038.49029号
[24] Attouch,H.,Chbani,Z.,Fadili,J.,Riahi,H.:通过带有Hessian驱动阻尼的惯性系统的一阶优化算法。数学。程序。193113-155(2022)Zbl 1497.37121 MR 4412390·Zbl 1497.37121号
[25] Attouch,H.,Chbani,Z.,Peypouquet,J.,Redont,P.:具有渐近消失粘性的惯性动力学和算法的快速收敛。数学。程序。168123-175(2018)Zbl 1395.34068 MR 3767743·Zbl 1395.34068号
[26] Attouch,H.,Chbani,Z.,Riahi,H.:Nesterov加速梯度法在亚临界情况下的收敛速度。ESAIM控制优化。计算变更25,第2条,第34页(2019)Zbl 1437.49045 MR 3943364·Zbl 1437.49045号
[27] Attouch,H.,Chbani,Z.,Riahi,H.:通过阻尼惯性梯度动力学的时间尺度进行快速凸优化。纯应用程序。功能。分析。6、1081-1117(2021)Zbl 07105235 MR 4352915·Zbl 1489.37095号
[28] Attouch,H.,Goudou,X.,Redont,P.:采用摩擦法的重球。连续动力系统:通过耗散动力系统的非平稳分析,对实值函数的局部极小值进行全局探索。Commun公司。康斯坦普。数学。2,1-34(2000)Zbl 0983.37016 MR 1753136·Zbl 0983.37016号
[29] Attouch,H.,László,S.C.:类牛顿惯性动力学和由最大单调算子控制的近似算法。SIAM J.Optim公司。30,3252-3283(2020)Zbl 07284424 MR 4182908·Zbl 1477.90058号
[30] Attouch,H.,Maingé,P.-E.:结合势和非势效应的二阶耗散演化方程的渐近行为。ESAIM控制优化。计算变量17,836-857(2011)Zbl 1230.34051 MR 2826982·Zbl 1230.34051号
[31] Attouch,H.,Maingé,P.-E.,Redont,P.:具有Hessian驱动阻尼的二阶微分系统;非弹性冲击定律的应用。微分方程应用。4、27-65(2012)Zbl 1248.34091 MR 2952628·Zbl 1248.34091号
[32] Attouch,H.,Marques Alves,M.,Svaiter,B.F.:Hilbert空间中单调包含的近似Newton方法的动态方法,复杂性O.1=n2/。J.凸分析。23、139-180(2016)Zbl 1348.47053 MR 3522133·兹比尔1348.47053
[33] Attouch,H.,Peypouquet,J.:Nesterov的加速前向后退方法的收敛速度实际上比1=k2快。SIAM J.Optim公司。26,1824-1834(2016)Zbl 1346.49048 MR 3543173·Zbl 1346.49048号
[34] Attouch,H.,Peypouquet,J.:由最大单调算子控制的惯性动力学和近似算法的收敛性。数学。程序。174,391-432(2019)Zbl 1412.37083 MR 3935085·Zbl 1412.37083号
[35] Attouch,H.,Peypouquet,J.,Redont,P.:通过Hessian驱动阻尼的惯性动力学进行快速凸优化。J.微分方程2615734-5783(2016)Zbl 1375.49028 MR 3548269·Zbl 1375.49028号
[36] Attouch,H.,Redont,P.,Svaiter,B.F.:求解Hilbert空间中单调包含的闭环正则New-ton方法的全局收敛性。J.优化。理论应用。157,624-650(2013)Zbl 1290.90061 MR 3047022·Zbl 1290.90061号
[37] Attouch,H.,Svaiter,B.F.:一种解决单分子包裹体的连续动力学类牛顿方法。SIAM J.控制优化。49,574-598(2011)Zbl 1229.34097 MR 2784701·Zbl 1229.34097号
[38] Aubin,J.-P.,Ekeland,I.:应用非线性分析。纯应用程序。数学。(纽约),威利,纽约(1984)Zbl 0641.47066 MR 749753·Zbl 0641.47066号
[39] Aujol,J.-F.,Dossal,Ch.,Rondepierre,A.:拟刚性凸优化的Heavy-Ball方法的收敛速度。https://hal.archives-ouvertes.fr/hal-02545245 (2020) ·Zbl 1508.65061号
[40] Baji,B.,Cabot,A.,Díaz,J.I.:一些非线性阻尼波动方程的渐近性:有限时间收敛与指数衰减结果。Ann.Inst.H.庞加莱分析。Non Linéaire 24,1009-1028(2007)Zbl 1139.35017 MR 2371117·Zbl 1139.35017号
[41] Bárta,T.,Chill,R.,Fašangová,E.:每个具有严格Lyapunov函数的常微分方程都是一个梯度系统。莫纳什。数学。166,57-72(2012)Zbl 1253.37019 MR 2901252·Zbl 1253.37019号
[42] Bárta,T.,Fašangová,E.:具有一般阻尼函数的抽象波方程解的收敛到平衡点。J.微分方程260,2259-2274(2016)MR 3427666·Zbl 1338.35042号
[43] Bauschke,H.H.,Combettes,P.L.:希尔伯特空间中的凸分析和单调算子理论。CMS数学书籍/Ouvrages de Mathématiques de la SMC,Springer,New York(2011)Zbl 1218.47001 MR 2798533·Zbl 1218.47001号
[44] Bégout,P.,Bolt,J.,Jendoubi,M.A.:关于阻尼二阶梯度系统。J.微分方程259、3115-3143(2015)Zbl 1347.34082 MR 3360667·Zbl 1347.34082号
[45] Bolt,J.,Danilidis,A.,Ley,O.,Mazet,L.:Łojasiewicz不等式的特征:次梯度流,talweg,凸性。事务处理。阿默尔。数学。Soc.362,3319-3363(2010)Zbl 1202.26026 MR 2592958·Zbl 1202.26026号
[46] Bolt,J.,Sabach,S.,Teboulle,M.:非凸和非光滑问题的近似交替线性化最小化。数学。程序。146,459-494(2014)Zbl 1297.90125 MR 3232623·Zbl 1297.90125号
[47] Boţ,R.I.,Csetnek,E.R.:单调包含问题的二阶前向-后向动力系统。SIAM J.控制优化。54,1423-1443(2016)Zbl 1339.34070 MR 3507089·Zbl 1339.34070号
[48] Boţ,R.I.,Csetnek,E.R.:用前向动力学方法最小化具有光滑非凸函数的非光滑凸的和。ESAIM控制优化。计算变量24,463-477(2018)Zbl 1428.90128 MR 3816401·Zbl 1428.90128号
[49] Boţ,R.I.,Csetnek,E.R.,László,S.C.:两个非凸函数之和最小化的惯性前向后退算法。EURO J.计算。最佳方案。2016年3月4日至25日Zbl 1338.90311 MR 3500980·兹比尔1338.90311
[50] Boţ,R.I.,Csetnek,E.R.,László,S.C.:通过二阶近似粒度动力系统实现非光滑非凸最小化。J.演化方程18,1291-1318(2018)Zbl 1402.34069 MR 3859450·Zbl 1402.34069号
[51] Boţ,R.I.,Csetnek,E.R.,László,S.C.:结构化凸最小化问题的原对偶动力学方法。J.微分方程269,10717-10757(2020)Zbl 1452.37095 MR 4150358·Zbl 1452.37095号
[52] Boţ,R.I.,Csetnek,E.R.,László,S.C.:具有Hessian阻尼的二阶动力系统的Tikhonov正则化。数学。程序。189151-186(2020)Zbl 07402657 MR 4306070·Zbl 1489.34088号
[53] Brézis,H.:最大单调和半群收缩算子。北荷兰数学。螺柱5,北霍兰德(1973)Zbl 0252.47055 MR 0348562·Zbl 0252.47055号
[54] Bruck,R.E.,Jr.:Hilbert空间中非线性压缩半群的渐近收敛性。J.功能。分析。18,15-26(1975)Zbl 0319.47041 MR 377609·Zbl 0319.47041号
[55] Cabot,A.,Engler,H.,Gadat,S.:关于具有渐近小耗散的二阶微分方程的长时间行为。事务处理。阿默尔。数学。Soc.361,5983-6017(2009)Zbl 1191.34078 MR 2529922·Zbl 1191.34078号
[56] Cabot,A.,Frankel,P.:一些具有非自治阻尼的半线性双曲方程的渐近性。《微分方程》252,294-322(2012)Zbl 1242.34108 MR 2852207·Zbl 1242.34108号
[57] Carles,R.,Gallo,C.:薛定谔方程非线性阻尼的有限时间消光。Comm.偏微分方程36,961-975(2011)Zbl 1228.35040 MR 2765425·兹比尔1228.35040
[58] Castera,C.、Bolt,J.、Févotte,C.、Pauwels,E.:深度学习的惯性牛顿算法。J.马赫。学习。第22号决议,第134条,第31页,(2021)Zbl 07415077 MR 4318490·Zbl 1482.68211号
[59] Chambolle,A.,Dossal,C.:关于“快速迭代收缩/阈值算法”迭代的收敛性。J.优化。理论应用。166968-982(2015)Zbl 1371.65047 MR 3375610·Zbl 1371.65047号
[60] Chergui,L.:具有非线性耗散和解析非线性的二阶类梯度系统整体解和有界解的收敛性。J.发电机。微分方程20,643-652(2008)Zbl 1167.34017 MR 2429439·Zbl 1167.34017号
[61] Chill,R.,Fašangová,E.:梯度系统。第十三届国际互联网研讨会演讲稿,布拉格马特菲兹普莱斯(2010)
[62] Chill,R.,Haraux,A.,Jendoubi,M.A.:Łojasiewicz-Simon梯度不等式在类梯度演化方程中的应用。分析。申请。(新加坡)7351-372(2009)Zbl 1192.34068 MR 2572850·兹比尔1192.34068
[63] Gambino,G.,Tanriver,U.,Guha,P.,Choudhury,A.G.,Choudhury,S.R.:规则和正弦脉冲和前沿解以及短脉冲方程中可能的等时行为:相平面、多无限级数和变分方法。Commun公司。非线性科学。数字。模拟。20,375-388(2015)Zbl 1308.35049 MR 3251500·Zbl 1308.35049号
[64] Gelfand,I.M.,Tsetlin,M.L.,自动优化系统中的非局部搜索原理。多克。阿卡德。Nauk SSSR 137(1961),295-298(俄语)MR 0129118
[65] Ghisi,M.、Gobbino,M.和Haraux,A.:一类二阶演化方程的通用边界及其应用。数学杂志。Pures应用程序。(9) 142184-203(2020)Zbl 1448.35045 MR 4149688·Zbl 1448.35045号
[66] Grasselli,M.,Pierre,M.:渐近自治二阶类梯度系统向后Euler格式解的收敛到平衡点。Commun公司。纯应用程序。分析。11,2393-2416(2012)Zbl 1264.65119 MR 2912753·Zbl 1264.65119号
[67] Hale,J.K.:稳定性和梯度动力系统。修订材料完成。17,7-57(2004)Zbl 1070.37055 MR 2063940·Zbl 1070.37055号
[68] Haraux,A.:非线性演化方程——解的整体行为。数学讲义。柏林施普林格841号(1981)Zbl 0461.35002 MR 610796·Zbl 0461.35002号
[69] Haraux,A.:系统动态耗散和应用。重新编写数学应用程序。巴黎马斯森17号,邮编:0726.58001 MR 1084372·Zbl 0726.58001号
[70] Haraux,A.,Jendoubi,M.A.:具有解析非线性的二阶类梯度系统解的收敛性。J.微分方程144,313-320(1998)Zbl 0915.34060 MR 1616968·Zbl 0915.34060号
[71] Haraux,A.,Jendoubi,M.A.:耗散自治系统的收敛问题。Springer,Cham和BCAM巴斯克应用数学中心,毕尔巴鄂(2015)Zbl 1345.37081 MR 3380967·Zbl 1345.37081号
[72] Hu,B.,Wright,S.,Lessard,L.,《加速随机方差缩减的耗散理论:使用半定程序对SVRG和Katyusha的统一分析》。In:程序。35机器学习国际会议,PMLR 802038-2047(2012)
[73] Huang,S.-Z.:梯度不等式。数学。调查专题。126,美国。数学。罗得岛普罗维登斯Soc.(2006)Zbl 1132.35002 MR 2226672
[74] 艾夫:驯服优化的邀请。SIAM J.Optim公司。1894-1917(2008)Zbl 1182.90083 MR 2486055·邮编:1182.90083
[75] Iutzeler,F.,Hendrickx,J.M.:通过松弛和惯性实现优化算法的通用在线加速方案。最佳方案。方法软件。34、383-405(2019)Zbl 1407.65062 MR 3909025·Zbl 1407.65062号
[76] Kim,D.:最大单调算子的加速近点方法。数学。专业版。190,57-87(2021)兹bl 07411824 MR 4322636·Zbl 1478.90089号
[77] Li,G.,Pong,T.K.:Kurdyka-Łojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用。已找到。计算。数学。181199-1232(2018)Zbl 1405.90076 MR 3857908·Zbl 1405.90076号
[78] May,R.:具有凸势和消失阻尼项的二阶发展方程的渐近性。土耳其J.数学。41、681-685(2017)Zbl 1424.34186 MR 3666623·Zbl 1424.34186号
[79] Muehlebach,M.,Jordan,M.I.:动量优化:动力学、控制理论和辛观点。J.马赫。学习。第22号决议,第73条,50页(2021),Zbl 07370590 MR 4253766·Zbl 07370590号
[80] Nesterov,Y.:凸优化入门讲座。申请。Optimization 87,Kluwer,Boston,MA(2004)Zbl 1086.90045 MR 2142598·Zbl 1086.90045号
[81] Nesterov,Y.E.:一种求解收敛速度为O.1=k2/的凸规划问题的方法。多克。阿卡德。Nauk SSSR 269、543-547(1983)(俄语)Zbl 0535.90071 MR 701288
[82] Ochs,P.,Chen,Y.,Brox,T.,Pock,T.:iPiano:非凸优化的惯性近似算法。SIAM J.成像科学。71388-1419(2014)Zbl 1296.90094 MR 3218822·Zbl 1296.90094号
[83] Opial,Z.:非扩张映射的连续逼近序列的弱收敛性。牛市。阿默尔。数学。Soc.73,591-597(1967)Zbl 0179.19902 MR 211301·Zbl 0179.19902号
[84] Palis,J.,Jr.,de Melo,W.:动力系统的几何理论。纽约州施普林格市(1982)Zbl 0491.58001 MR 669541·Zbl 0491.58001号
[85] Poljak,B.T.:加速迭代方法收敛的一些方法。Ž. 维奇岛。Mat.i Mat.Fiz公司。4791-803(1964)(俄语)兹bl 0147.35301 MR 169403
[86] Polyak,B.T.:优化导论。优化软件,纽约(1987)MR 1099605
[87] Polyak,B.T.,Kulakova,N.,Danilova,M.:重新审视加速梯度法。In:工作车间“变分分析与应用”,2018年8月28日至9月5日,Erice
[88] Poon,C.,Liang,J.,一阶方法几何和自适应加速度。arXiv:2003.03910v1(2020)
[89] Shi,B.,Du,S.S.,Jordan,M.I.,Su,W.J.:通过高分辨率微分方程了解加速度现象。数学。程序。195,79-148(2022)Zbl 1500.65026 MR 449055·Zbl 1500.65026号
[90] Su,W.,Boyd,S.,CandèS,E.J.:建模Nesterov加速梯度法的微分方程:理论和见解。J.马赫。学习。第17号决议,第153条,第43页(2016),Zbl 1391.90667 MR 3555044·Zbl 1391.90667号
[91] van den Dries,L.:调和拓扑和o-极小结构。伦敦数学。Soc.课堂讲稿Ser。248,剑桥大学出版社,剑桥(1998)Zbl 0953.03045 MR 1633348·Zbl 0953.03045号
[92] Villa,S.、Salzo,S.,Baldassarre,L.、Verri,A.:加速和不精确的前向后退算法。SIAM J.Optim公司。231607-1633(2013)Zbl 1295.90049 MR 3085126·Zbl 1295.90049号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。