×

几何条件和扰动下阻尼惯性动力学的收敛速度。 (英语) Zbl 1453.34076号

本文研究了一类与惯性梯度下降相关的二阶常微分方程。这类常微分方程似乎被广泛用于构建收敛到(可能凸)函数(F)极小值的轨迹。此外,所考虑的族包括Nesterov惯性方案的连续版本和连续重球方法。因此,考虑了几个不一定消失的阻尼参数以及扰动项(g)。这里,阻尼参数与相关惯性方案的惯性有关,而摄动项(g)与函数(F)梯度上的误差有关。作者给出了关于(F(x(t))-F(x^ast))的新的渐近界,其中(x)表示ODE的解,前提是(F)是凸的,并且满足局部几何性质,例如ojasiewicz型,并且在(g)上的可积条件下。虽然已经对这些族中大多数常微分方程的几何性质和扰动进行了研究,但现在已经对它们进行了联合研究。这些结果揭示了在(F)满足某些ojasiewicz性质的情况下,尤其是在随机算法的设置下,这些惯性和扰动算法的行为。

MSC公司:

34D05型 常微分方程解的渐近性质
65千5 数值数学规划方法
65克10 数值优化与变分技术
90C25型 凸面编程
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] V.Apidopoulos、J.-F.Aujol、C.Dossal和A.Rondepierre,增长和平坦条件下惯性梯度下降算法的收敛速度,预印本,2018年,https://hal.archives-ouvertes.fr/hal-01965095。
[2] H.Attouch和J.Bolt,关于涉及分析特征的非光滑函数的近似算法的收敛性,数学。程序。,116(2009),第5-16页·Zbl 1165.90018号
[3] H.Attouch和A.Cabot,粘性随时间变化的惯性梯度动力学的渐近稳定性,《微分方程》,263(2017),第5412-5458页·Zbl 1405.37092号
[4] H.Attouch和A.Cabot,惯性前向支持算法的收敛速度,SIAM J.Optim。,28(2018),第849-874页·Zbl 1387.49047号
[5] H.Attouch和Z.Chbani,凸优化中的快速惯性动力学和FISTA算法。扰动方面,预印本,https://arxiv.org/abs/1507.01367, 2015.
[6] H.Attouch、Z.Chbani、J.Peypouquet和P.Redont,《惯性动力学和渐近消失粘性算法的快速收敛》,数学。程序。,168(2018),第123-175页·Zbl 1395.34068号
[7] H.Attouch、Z.Chbani和H.Riahi,Nesterov加速梯度法在亚临界情况下的收敛速度(α\leqsleat 3),ESAIM Control Optim。计算变量,25(2019),https://doi.org/10.1051/cocv/2017083。 ·Zbl 1437.49045号
[8] H.Attouch和J.Peypouquet,Nesterov的加速前向后退方法的收敛速度实际上比(frac{1}{k^2}),SIAM J.Optim。,26(2016),第1824-1834页·Zbl 1346.49048号
[9] J.-F.Aujol和C.Dossal,与快速梯度下降方案相关的ODE的最佳收敛速度,Hal预印本Hal-015472512017。
[10] J.-F.Aujol、C.Dossal和A.Rondepierre,Nesterov加速度的最优收敛速度,SIAM J.Optim。,29(2019),第3131-3153页·Zbl 1453.90117号
[11] M.Balti和R.May,带消失阻尼项的扰动重球系统的渐近性,Evol。埃克。《控制理论》,6(2017),第177-186页·Zbl 1366.34070号
[12] P.Beígout、J.Bolt和M.A.Jendoubi,《阻尼二阶梯度系统》,《微分方程》,259(2015),第3315-3143页·Zbl 1347.34082号
[13] J.Bolt、T.Nguyen、J.Peypouquet和B.Suter,《从误差边界到凸函数一阶下降法的复杂性》,数学。程序。,165(2017),第471-507页·Zbl 1373.90076号
[14] H.Brezis,Opeírateurs maximaux monotones et semi groupes de constructions dans les espaces de Hilbert,Elsevier,1973年·Zbl 0252.47055号
[15] A.Cabot、H.Engler和S.Gadat,关于具有渐近小耗散的二阶微分方程的长时间行为,Trans。阿默尔。数学。Soc.,361(2009),第5983-6017页·Zbl 1191.34078号
[16] A.Cabot、H.Engler和S.Gadat,具有渐近小耗散和分段平坦势的二阶微分方程,电子。《微分方程杂志》,17(2009),第33-38页·Zbl 1171.34323号
[17] A.Chambolle和C.Dossal,关于“快速迭代收缩/阈值算法”迭代的收敛性,J.Optim。理论应用。,166(2015),第968-982页·Zbl 1371.65047号
[18] G.Garrigos、L.Rosasco和S.Villa,《前后向算法的收敛性:借助几何超越最坏情况》,预印本,https://arxiv.org/abs/1703.09477,2017年。
[19] A.Haraux和M.Jendoubi,关于Hilbert空间中具有可积源项的二阶耗散常微分方程,数学学报。科学。,32(2012),第155-163页,https://doi.org/https://doi.org/10.1016/S0252-9602(12)60009-5. ·Zbl 1265.34186号
[20] M.A.Jendoubi和R.May,具有非自治阻尼和可积源项的二阶微分方程的渐近性,应用。分析。,94(2015),第435-443页·Zbl 1325.34074号
[21] S.Łojasiewicz,Une proprie®te®topologique des sous-ensembles analytiques re®els,摘自《Les E®quations aux De®rive®es Partielles》(巴黎,1962年),巴黎国家科学研究中心E®ditions du Centre National De la Recherche Scientifique,1963年,第87-89页·Zbl 0234.57007号
[22] S.Łojasiewicz,Sur la geöome _trie semi-et sous-analizique,《傅里叶研究年鉴》(Grenoble),43(1993),第1575-1595页·Zbl 0803.32002号
[23] R.May,具有凸势和消失阻尼项的二阶演化方程的渐近性,土耳其数学杂志。,41(2017年),第681-685页·Zbl 1424.34186号
[24] B.Polyak,加速迭代法收敛的一些方法,计算。数学。数学。物理。,4(1964年),第1-17页·Zbl 0147.35301号
[25] B.Polyak和P.Shcherbakov,《Lyapunov函数:优化理论视角》,IFAC-PapersOnLine,50(2017),第7456-7461页。
[26] B.Shi、S.Du、M.Jordan和W.Su,通过高分辨率微分方程理解加速度现象,预印本,https://arxiv.org/abs/1810.08907, 2018.
[27] W.Su、S.Boyd和E.J.Candes,《模拟内斯特罗夫加速梯度法的微分方程:理论和见解》,J.Mach。学习。决议,17(2016),第1-43页·Zbl 1391.90667号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。