海蒂·阿图克 线性约束凸结构优化的快速惯性近似ADMM算法。 （英语） Zbl 07363383号 极小极大理论应用。 6，编号1，001-024（2021）. 摘要：在希尔伯特空间中，我们分析了一类新的具有惯性特征的近似ADMM算法的收敛性。它们的目标是快速解决具有线性约束的凸结构最小化问题。作为一个基本成分，我们使用了与问题的拉格朗日公式相关联的最大单调算子。我们专门研究了这个算子，Attouch和Peypouquet最近引入的惯性近似算法[由最大单调算子控制的惯性动力学和近似算法的收敛，数学编程174（2019）391-432]，以解决一般单调包含问题。这给出了一种惯性近端ADMM算法，其中外推步骤考虑了Nesterov加速梯度方法的最新进展。在适当调整粘性和近似参数的基础上，我们分析了算法的快速收敛性，以及拉格朗日函数鞍点迭代的收敛性。在这些观点中，我们概述了一个新的研究方向，与在算法中引入Hessian阻尼有关。 引用于6文件 MSC公司： 65千5 数值数学规划方法 65K10码 数值优化与变分技术 46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用 49立方米 变分法中的其他数值方法（MSC2010） 关键词：凸结构优化;线性约束;拉格朗日乘数;极大单调算子;近端ADMM;惯性方法;Nesterov加速法;海森阻尼 软件：iPiano公司;米公里 PDF格式BibTeX公司 XML格式引用 \textit{H.Attouch}，最小极大理论应用。6，编号1，001--024（2021；Zbl 07363383） 全文： 链接 参考文献： [1] S.Adly，H.Attouch：结合干摩擦和Hessian驱动阻尼的近似粒度惯性算法的有限收敛性（2019）hal-02423584。 [2] G.Allaire：结构优化设计；分布式系统优化：通过伴随方法计算梯度（MAP 562），巴黎高等技术学院应用数学系（2015）。 [3] F.álvarez，H.Attouch：通过带阻尼非线性振子的离散化，最大单调算子的惯性近似方法，集值分析9（1-2）（2001）3-11·Zbl 0991.65056号 [4] F.álvarez，H.Attouch，J.Bolt，P.Redont：具有Hessian驱动阻尼的二阶类梯度耗散动力系统。应用于优化和力学，J.数学。Pures应用程序。81(8) (2002) 747-779. ·Zbl 1036.34072号 [5] H.Attouch，J.Bolt，P.Redont，A.Soubeyran：弱耦合凸最小化问题的交替近似算法。动态博弈和PDE的应用，《凸分析杂志》15（3）（2008）485-506·Zbl 1154.65044号 [6] H.Attouch，J.Bolt，P.Redont，A.Soubeyran：非凸问题的近似交替最小化和投影方法。基于KurdykaLojasiewicz不等式的方法，数学。操作。研究35（2）（2010）438-457·Zbl 1214.65036号 [7] H.Attouch，L.M.Briceño-Arias，P.L.Combettes：非重叠区域分解的强收敛原对偶方法，数值数学133（3）（2016）443-470·Zbl 1345.49040号 [8] H.Attouch，A.Cabot：粘性随时间变化的惯性梯度动力学的渐近稳定性，《微分方程》263（9）（2017）5412-5458·Zbl 1405.37092号 [9] H.Attouch，A.Cabot：正则最大单调算子控制的阻尼惯性动力学的收敛性，J.微分方程264（12）（2018）7138-7182·Zbl 1406.37068号 [10] H.Attouch，A.Cabot：惯性前向支持算法的收敛速度，SIAM J.Optimization 28（1）（2018）849-874·Zbl 1387.49047号 [11] H.Attouch，A.Cabot：最大单调算子的松弛惯性近端算法的收敛性，数学。2019年在线发布的编程，https://doi.org/10.1007/s10107-019-01412-0。 ·Zbl 07263694号 [12] H.Attouch，A.Cabot：结构单调包含的松弛惯性前后向算法的收敛性，应用。数学。优化80（3）（2019）547-598·Zbl 1434.90129 [13] H.Attouch，A.Cabot：用于凸最小化的松弛惯性近似算法的收敛速度，《优化》，2019年在线出版，https://doi.org/ 10.1080/02331934.2019.1696337. ·Zbl 1440.49014号 [14] H.Attouch，Z.Chbani，J.Fadili，H.Riahi：通过带有Hessian驱动阻尼的惯性系统的一阶算法，（2019）hal-02193846。 [15] H.Attouch，Z.Chbani，J.Peypouquet，P.Redont：惯性动力学和渐近消失阻尼算法的快速收敛，数学。编程，Ser。B 168（2018）123-175·Zbl 1395.34068号 [16] H.Attouch，Z.Chbani，H.Riahi：将用于凸优化的快速惯性动力学与Tikhonov正则化相结合，J.Math。分析。申请。457 (2018) 1065-1094. ·Zbl 1375.65080号 [17] H.Attouch，Z.Chbani，H.Riahi：具有一般外推和近似系数的惯性近似算法的收敛速度，越南数学杂志。，2020年在线发布，https://doi.org/10.1007/s10013-020-00399-y。 ·Zbl 1446.37099号 [18] H.Attouch，M.-O.Czarnecki，J.Peypouquet:约束变分不等式的前向-后向与惩罚方案耦合和并行分裂，SIAM J.Optimization 21（4）（2011）1251-1274·Zbl 1233.37063号 [19] H.Attouch，P.E.Maingé：结合势和非势效应的二阶耗散演化方程的渐近行为，ESAIM控制优化计算变量17（3）（2011）836-857·兹比尔1230.34051 [20] H.Attouch，J.Peypouquet：Nesterov的加速前向后退方法的收敛速度实际上快于1，SIAM J.Optimization 26（3）·Zbl 1346.49048号 [21] H.Attouch，J.Peypouquet：由最大单调算子控制的惯性动力学和近似算法的收敛，数学。编程174（1-2）（2019）391-432·Zbl 1412.37083号 [22] H.Attouch，J.Peypouquet:与凸函数Moreau包络相关的近端惯性算法的收敛速度，见：分裂算法、现代算子理论和应用，H.Bauschke，R.Burachik，D.Luke（编辑），Springer，Cham（2019）1-44。 [23] H.Attouch，J.Peypouquet，P.Redont：通过Hessian驱动阻尼的惯性动力学实现快速凸最小化，J.微分方程261（10）（2016）5734-5783·Zbl 1375.49028号 [24] H.Attouch，P.Redont，A.Soubeyran：一类新的具有移动成本的交替近端最小化算法，SIAM J.Optimization 18（3）（2007）1061-1081·Zbl 1149.65039号 [25] H.Attouch，M.Soueycatt：希尔伯特空间乘数的增广拉格朗日和近端交替方向方法。《游戏、PDE和控制应用》，《太平洋杂志优化》5（1）（2009）17-37·Zbl 1161.65332号 [26] H.Bauschke，P.L.Combettes:希尔伯特空间中的凸分析和单调算子理论，CMS数学书籍，施普林格，柏林（2011）·Zbl 1218.47001号 [27] A.Beck，M.Teboulle:线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Science 2（1）（2009）183-202·Zbl 1175.94009号 [28] P.Bégout，J.Bolt，M.A.Jendoubi：关于阻尼二阶梯度系统，《微分方程》259（2015）3115-3143·兹比尔1347.34082 [29] R.I.Bot，E.R.Csetnek：通过具有线性和各向异性阻尼的二阶动力系统处理单调包含问题，见：微分方程、控制理论和优化的新趋势，V.Barbu，C.Lefter，I.I.Vrabie（编辑），Proc。第八届罗马尼亚数学家大会，世界科学，新加坡（2016）53-72·Zbl 06649386号 [30] R.I.Bot，E.R.Csetnek：非光滑和非凸优化问题的惯性Tseng型近似算法，J.优化理论应用。171(2) (2016) 600-616. ·Zbl 1349.90688号 [31] R.I.Bot，E.R.Csetnek：单调包含问题的二阶前向向后动力系统，SIAM J.控制优化54（3）（2016）1423-1443·Zbl 1339.34070号 [32] R.I.Bot，E.R.Csetnek：用于解决单调包含问题的惯性前向-后向原始-对偶分裂算法，《数值算法》71（3）（2016）519-540·Zbl 1338.47076号 [33] R.I.Bot，E.R.Csetnek：乘数的惯性交替方向方法，极大极小理论应用。1(1) (2016) 29-49. ·Zbl 1337.90082号 [34] R.I.Bot，E.R.Csetnek，C.Hendrich：单调包含问题的惯性Douglas-Rachford分裂，应用。数学。计算256（1）（2015）472-487·Zbl 1338.65145号 [35] R.I.Bot，E.R.Csetnek，S.C.László：具有Hessian驱动阻尼的二阶动力系统的Tikhonov正则化，数学。规划（2020年）。 [36] S.Boyd，N.Parikh，E.Chu，B.Peleato，J.Eckstein：《通过交替方向乘数法进行分布式优化和统计学习》，Found。《机器学习趋势》3（2010）1-12·兹比尔1229.90122 [37] H.Brézis：Opérateurs Maximaux Monotones dans les Espaces de Hilbert et Equations d’e evolution，演讲笔记5，荷兰北部，阿姆斯特丹（1972）。 [38] L.M.Briceño-Arias，P.L.Combettes:二元复合单调包含的单调+斜分裂模型，SIAM J.Optimization 21（2011）1230-1250·Zbl 1239.47053号 [39] C.Castera，J.Bolt，C.Févotte，E.Pauwels:深度学习的惯性牛顿算法，（2019）hal-02140748。 [40] A.Chambolle，Ch.Dossal：关于快速迭代收缩阈值算法迭代的收敛性，J.优化理论应用。166 (2015) 968- 982. ·Zbl 1371.65047号 [41] C.Chen，R.H.Chan，S.Ma，J.Yang：线性约束可分离凸优化的惯性近似ADMM，SIAM J.成像科学8（4）（2015）2239-2267·Zbl 1328.65134号 [42] G.Chen，M.Teboulle：凸极小化问题的基于近似的分解方法，数学。编程64（1994）81-101·Zbl 0823.90097号 [43] P.L.Combettes，L.Glaudin：《轨道仿射壳上的拟非扩张迭代：从Mann均值算法到惯性方法》，SIAM J.Optimization 27（4）（2017）2356-2380·Zbl 1378.65119号 [44] Q.L.Dong，J.Huang，X.H.Li，Y.J.Cho，Th.M.Rassias:MiKM:多级惯性Krasnosel's kiĭ-Mann算法及其应用，J.Global Optimization 73（4）（2019）801-824·Zbl 1422.90069 [45] Y.Drori，M.Teboulle：光滑凸最小化的一阶方法的性能：一种新的方法，数学。编程145（1-2）（2014）451-482·兹比尔1300.90068 [46] J.Eckstein：凸规划的一些鞍函数分裂方法，优化方法和软件4（1994）75-83。 [47] D.Goldfarb，S.Ma，K.Scheinberg：最小化两个凸函数之和的快速交替线性化方法，数学。编程141（2013）349-382·Zbl 1280.65051号 [48] T.Goldstein，B.O'Donoghue，S.Setzer，R.Baraniuk：快速交替方向优化方法，SIAM J.成像科学7（3）（2014）1588-1623·Zbl 1314.49019号 [49] D.Kim：最大单调算子的加速近点法，arXiv:1905.05149v3（2020）。 [50] D.Kim，J.A.Fessler：光滑凸最小化的优化一阶方法，数学。编程159（1）（2016）81-107·Zbl 1345.90113号 [51] D.Kim，J.A.Fessler：《快速迭代收缩/阈值算法（FISTA）的另一种研究》，SIAM J.Optimization 28（1）（2018）223-250·Zbl 1391.90476号 [52] R.Laraki，P.Mertikopoulos：惯性游戏动力学及其在约束优化中的应用，SIAM J.控制优化53（5）（2015）3141-3170·Zbl 1335.91018号 [53] J.Liang，J.Fadili，G.Peyré：部分光滑下前向后的局部线性收敛，in：NIPS'14，Proc。第27届神经信息处理系统国际会议第2卷，ACM数字图书馆（2014）1970-1978。 [54] D.A.Lorenz，T.Pock：单调包含的惯性前向后退算法，J.Math。《成像视觉》51（2015）311-325·Zbl 1327.47063号 [55] S.Magnusson，P.C.Weeraddana，M.G.Rabbat，C.Fischione：关于非凸结构优化问题的交替方向拉格朗日方法的收敛性，IEEE Trans。控制网络系统3（3）（2016）296-309·Zbl 1370.90196号 [56] P.-E.Maingé，A.Moudafi：通过一阶耗散动力系统离散化求解最大单调算子的近似方法，J.凸分析14（4）（2007）869-878·Zbl 1172.47049号 [57] M.Marques Alves，J.Eckstein，M.Geremia，J.G.Melo：Douglas-Rachford和ADMM分裂算法的相对误差惯性松弛不精确版本，Comp。优化应用程序。75(2) (2020) 389-422. ·Zbl 1432.90107号 [58] A.Moudafi，M.Oliny：单调算子分裂惯性近似方法的收敛性，J.Compute。申请。数学。155(2) (2003) 447-454. ·Zbl 1027.65077号 [59] Y.Nesterov：一种求解收敛速度为O（1/k2）的凸规划问题的方法，苏联数学。Doklady 27（1983）372-376·兹伯利0535.90071 [60] Y.Nesterov：《凸优化导论：基础课程》，应用优化87，Kluwer学术出版社，波士顿（2004）·Zbl 1086.90045号 [61] Y.Nesterov：最小化复合目标函数的梯度方法，CORE讨论论文2007/76，鲁汶天主教大学（2007）。 [62] P.Ochs，Y.Chen，T.Brox，T.Pock:iPiano：非凸优化的惯性近似算法，SIAM J.Imaging Sciences 7（2）（2014）1388-1419·Zbl 1296.90094号 [63] Z.Opial：非扩张映射的逐次逼近序列的弱收敛性，Bull。阿米尔。数学。Soc.73（1967）591-597·Zbl 0179.19902号 [64] N.Parikh，S.Boyd:近似算法，优化基础和趋势1（3）（2013）123-231。 [65] J.Peypouquet，S.Sorin:最大单调算子的演化方程：连续和离散时间的渐近分析，J.凸分析17（3-4）（2010）1113-1163·Zbl 1214.47080号 [66] B.T.Polyak：优化导论，优化软件，纽约（1987）·Zbl 0625.62093号 [67] R.T.Rockafellar：单调算子和近点算法，SIAM J.控制优化14（5）（1976）877-898·Zbl 0358.90053号 [68] R.T.Rockafellar：与鞍函数和极大极小问题相关的单调算子，收录于：非线性泛函分析，第1卷，第18届纯数学研讨会论文集，F.E.Browder（编辑），美国数学学会，普罗维登斯（1976）241-250·Zbl 0237.47030号 [69] R.T.Rockafellar：增广拉格朗日和近点算法在凸规划中的应用，数学。运筹学1（2）（1976）97-116·Zbl 0402.90076号 [70] B.Shi，S.S.Du，M.I.Jordan，W.J.Su：通过高分辨率微分方程了解加速度现象，arXiv:1810.08907（2018）。 [71] M.V.Solodov，B.F.Svaiter：一些不精确近点算法的统一框架，Numer。功能。分析。优化22（7-8）（2001）1013-1035·Zbl 1052.49013号 [72] W.Su，S.Boyd，E.J.CandèS：建模Nesterov加速梯度法的微分方程：理论和见解，神经信息。《处理系统》27（2014）2510-2518。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。