×
海蒂·阿图克;扎基·恰巴尼;贾拉尔·法迪利;哈桑·里亚希

基于Hessian驱动阻尼惯性系统的一阶优化算法。 （英语） Zbl 1497.37121号

数学。程序。 193，编号1（A），113-155（2022）.
摘要：在希尔伯特空间中，对于凸优化，我们分析了一类包含惯性特征的一阶算法的收敛速度。它们可以解释为惯性动力学的离散时间版本，包括粘性阻尼和Hessian驱动阻尼。由Hessian驱动的几何阻尼以\（nabla^2f（x（t））\dot{x}（t）\）的形式介入动力学。通过将此项视为\（nabla f（x（t））\的时间导数，以离散形式给出了时间和空间上的一阶算法。除了Nesterov型加速梯度法的收敛特性外，由此获得的算法是新的，并且显示出快速收敛到零梯度。基于使用Moreau包络的正则化技术，我们将这些方法推广到具有扩展实值的非光滑凸函数。时间尺度因子的引入使得进一步加速这些算法成为可能。我们还报告了结构化问题的数值结果，以支持我们的理论发现。

引用于41文件

MSC公司：

37号40 最优化和经济学中的动力系统
2005年3月37日 动力系统仿真
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用
65千5 数值数学规划方法
65K10码 数值优化和变分技术
90B50型 管理决策，包括多个目标
90C25型 凸面编程

关键词：

海森驱动阻尼;惯性优化算法;Nesterov加速梯度法;Ravine方法;时间缩放
PDF格式BibTeX公司 XML格式引用
\textit{H.Attouch}等人，数学。程序。193，编号1（A），113--155（2022；Zbl 1497.37121）
全文： 内政部 arXiv公司

参考文献：

[1] 阿尔瓦雷斯，F.，关于希尔伯特空间中二阶耗散系统的最小化性质，SIAM J.控制优化。，38, 4, 1102-1119 (2000) ·Zbl 0954.34053号 ·doi:10.1137/S0363012998335802
[2] 阿尔瓦雷斯，F。；Attouch，H。；博尔特，J。；Redont，P.，具有Hessian驱动阻尼的二阶类梯度耗散动力系统。应用于优化和力学，J.数学。Pures应用。，81, 8, 747-779 (2002) ·Zbl 1036.34072号 ·doi:10.1016/S0021-7824（01）01253-3
[3] 阿皮多普洛斯，V。；Aujol，J-F；Dossal，C.，超越Nesterov规则的惯性前后向算法的收敛速度，数学。程序。序列号。B.、180、137-156（2020年）·Zbl 1439.90055号 ·doi:10.1007/s10107-018-1350-9
[4] Attouch，H。；Cabot，A.，粘性随时间变化的惯性梯度动力学的渐近稳定性，J.Differ。Equ.、。，263, 5412-5458 (2017) ·Zbl 1405.37092号 ·doi:10.1016/j.jde.2017.06.024
[5] Attouch，H。；Cabot，A.，惯性前向后退算法的收敛速度，SIAM J.Optim。，28, 1, 849-874 (2018) ·Zbl 1387.49047号 ·doi:10.1137/17M1114739
[6] Attouch，H。；卡博特。；查巴尼，Z。；Riahi，H.，粘性阻尼系数随时间变化的惯性梯度动力学的收敛速度，Evol。埃克。控制理论，7，3，353-371（2018）·Zbl 1407.37125号 ·doi:10.3934/eect.2018018年
[7] Attouch，H。；查巴尼，Z。；Riahi，H.，《通过阻尼惯性动力学时间标度的快速近似方法》，SIAM J.Optim。，29, 3, 2227-2256 (2019) ·Zbl 07105235号 ·doi:10.1137/18M1230207
[8] Attouch，H。；查巴尼，Z。；Peypouquet，J。；Redont，P.，《惯性动力学和渐近消失粘性算法的快速收敛》，数学。程序。序列号。B.，168，123-175（2018）·Zbl 1395.34068号 ·doi:10.1007/s10107-016-0992-8
[9] Attouch，H。；查巴尼，Z。；Riahi，H.，Nesterov加速梯度法在亚临界情况下的收敛速度\（\alpha\le 3\），ESAIM控制优化。计算变量，25，2-35（2019）·Zbl 1437.49045号 ·doi:10.1051/cocv/2017083
[10] Attouch，H。；Peypouquet，J.，Nesterov的加速前向后退方法的收敛速度实际上比\（1/k^2）更快，SIAM J.Optim。，26, 3, 1824-1834 (2016) ·Zbl 1346.49048号 ·数字对象标识代码：10.1137/15M1046095
[11] Attouch，H。；Peypouquet，J。；Redont，P.，用于凸极小化的惯性前向算法的动力学方法，SIAM J.Optim。，24, 1, 232-256 (2014) ·兹比尔1295.90044 ·数字对象标识代码：10.1137/130910294
[12] Attouch，H。；Peypouquet，J。；Redont，P.，通过Hessian驱动阻尼的惯性动力学实现快速凸最小化，J.Diffe。Equ.、。，261, 10, 5734-5783 (2016) ·Zbl 1375.49028号 ·doi:10.1016/j.jde.2016.08.020
[13] Attouch，H.，Svaiter，B.F.：求解单调包含的连续动力学类牛顿方法。SIAM J.控制优化。49(2), 574-598 (2011). 求解Hilbert空间单调包含的闭环正则化牛顿方法的全局收敛性。J.优化。理论应用。157(3), 624-650 (2013) ·兹比尔1290.90061
[14] Aujol，J-F；剂量，Ch，前向反向算法的过松弛稳定性，FISTA应用，SIAM J.Optim。，25, 4, 2408-2433 (2015) ·Zbl 1357.49123号 ·数字对象标识代码：10.1137/140994964
[15] Aujol，J.-F.，Dossal，C.：与快速梯度下降方案相关的ODE的最佳收敛速度（b>0（2017））。https://hal.inia.fr/hal-01547251v2
[16] 贝特曼，H.，《高等超越函数》（1953），纽约：麦格劳-希尔出版社，纽约·Zbl 0051.30303号
[17] Bauschke，H。；组合，PL，Hilbert空间中的凸分析和单调算子理论（2011），Springer:CMS数学书籍，Springer·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[18] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[19] Brézis，H.：Opérateurs maximaux monotones dans les espaces de Hilbert etéquations d’e volution，演讲笔记5，北荷兰，（1972）
[20] 卡博特。；恩格尔，H。；Gadat，S.，关于具有渐近小耗散的二阶微分方程的长时间行为，Trans。美国数学。Soc.，3615983-6017（2009年）·Zbl 1191.34078号 ·doi:10.1090/S0002-9947-09-04785-0
[21] Chambolle，A。；Dossal，Ch，关于快速迭代收缩阈值算法的迭代收敛性，J.Optim。理论应用。，166, 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4
[22] Chambolle，A。；Pock，T.，成像连续优化介绍，《数值学报》。，25, 161-319 (2016) ·Zbl 1343.65064号 ·doi:10.1017/S096249291600009X
[23] Gelfand，I.M.，Zejtlin，M.：Printszip nelokalnogo poiska v sistemah avtomatich，Optimizai，Dokl。一个SSSR，137295？298（1961）（俄语）
[24] May，R.，具有凸势和消失阻尼项的二阶发展方程的渐近性，Turk.J.Math。，41, 3, 681-685 (2017) ·Zbl 1424.34186号 ·doi:10.3906/mat-1512-28
[25] Nesterov，Y.，一种求解具有收敛速度的凸规划问题的方法\（O（1/k^2）\），Sov。数学。Doklady，27，372-376（1983）·兹伯利0535.90071
[26] Nesterov，Y.，最小化复合目标函数的梯度方法，数学。程序。，152, 1-2, 381-404 (2015) ·Zbl 1327.90216号 ·doi:10.1007/s10107-014-0790-0
[27] Polyak，BT，《加速迭代法收敛的一些方法》，U.S.S.R.Compute。数学。数学。物理。，4, 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[28] Polyak，BT，《优化导论》（1987），纽约：优化软件，纽约·Zbl 0708.90083号
[29] Siegel，W.：加速一阶方法：微分方程和Lyapunov函数。arXiv:1903.05671v1[math.OC]（2019）
[30] Shi，B.，Du，S.S.，Jordan，M.I.，Su，W.J.：通过高分辨率微分方程了解加速度现象。arXiv:submit/2440124[cs.LG]2018年10月21日
[31] 苏，WJ；博伊德，S。；Candès，EJ，Nesterov加速梯度法建模的微分方程：理论与见解，NIPS’14，27，2510-2518（2014）·Zbl 1391.90667号
[32] Wilson，A.C.，Recht，B.，Jordan，M.I.：优化中动量方法的Lyapunov分析。arXiv:1611.02635（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。