帕特里克·R·约翰斯通。;皮埃尔·莫林 用于最小化复合函数的一般惯性近似分裂格式的局部和全局收敛性。 （英语） Zbl 1376.90046号 计算。最佳方案。申请。 67，第2期，259-292（2017）. 摘要：本文研究希尔伯特空间中的凸复合极小化问题。在这些问题中，目标是两个闭的、真的和凸函数的和，其中一个函数是光滑的，另一个函数允许计算成本低廉的近似算子。我们分析了一系列用于解决此类问题的广义惯性最近点分裂算法（GIPSA）。当达到最小值时，我们建立了生成序列的弱收敛性。我们的分析统一并扩展了先前的几个结果。然后我们重点讨论了正则优化，这是一种普遍存在的特殊情况，其中非光滑项是（ell_1）范数。对于某些参数选择，GIPSA可以对该问题进行局部分析。对于这些选择，我们表明GIPSA实现了有限的“主动流形识别”，即在有限次迭代中收敛到最优支持度和符号，然后GIPSA减少到最小化局部光滑函数。我们在限制强凸性或严格互补条件下证明了局部线性收敛性。我们根据惯性、步长和局部曲率来确定速率。我们的局部分析适用于快速迭代收缩阈值算法（FISTA）的某些最新变体，为此我们建立了主动流形识别和局部线性收敛。基于我们的分析，我们在这些FISTA变量中提出了一种动量重启方案，以获得最优的局部线性收敛速度，同时保持理想的全局特性。 引用于10文件 MSC公司： 90C25型 凸面编程 90立方厘米 抽象空间中的编程 关键词：惯性近区梯度;惯性前后分裂;动量法;FISTA公司;套索;局部线性收敛 软件：格尔姆奈特;取消锁定BoX PDF格式BibTeX公司 XML格式引用 \textit{P.R.Johnstone}和\textit{P.Moulin}，计算。最佳方案。申请。67，第2号，259--292（2017；Zbl 1376.90046） 全文： 内政部 arXiv公司 参考文献： [1] Afonso，M.V.、Bioucas-Dias，J.M.、Figueiredo，M.A.：使用可变分割和约束优化实现快速图像恢复。IEEE传输。图像处理。19(9), 2345-2356 (2010) ·Zbl 1371.94018号 ·doi:10.1109/TIP.2010.2047910 [2] Agarwal，A.，Negahban，S.，Wainwright，M.J.：高维统计恢复梯度方法的快速全局收敛。安。统计师。40(5), 2452-2482 (2012). doi:10.1214/12-AOS1032·Zbl 1373.62244号 ·doi:10.1214/12-AOS1032 [3] Alvarez，F.：关于Hilbert空间中二阶耗散系统的最小化性质。SIAM J.控制优化。38(4), 1102-1119 (2000) ·Zbl 0954.34053号 ·doi:10.1137/S0363012998335802 [4] Attouch，H.，Chbani，Z.，Peypouquet，J.，Redont，P.：具有渐近消失粘性的惯性动力学和算法的快速收敛。数学。程序。1-53 (2016). doi:10.1007/s10107-016-0992-8·Zbl 1395.34068号 [5] Attouch，H.，Peypouquet，J.：Nesterov的加速前向后退方法的收敛速度实际上比\[1/k^21\]/k2快。SIAM J.Optim公司。26(3), 1824-1834 (2016) ·Zbl 1346.49048号 ·数字对象标识代码：10.1137/15M1046095 [6] Attouch，H.，Peypouquet，J.，Redont，P.：用于凸最小化的惯性前向后退算法的动态方法。SIAM J.Optim公司。24(1), 232-256 (2014) ·Zbl 1295.90044号 ·数字对象标识代码：10.1137/130910294 [7] Bach，F.、Jenatton，R.、Mairal，J.、Obozinski，G.等：具有稀疏诱导准则的凸优化。最佳方案。马赫。学习。5, 19-53 (2011) ·Zbl 06064248号 [8] Bauschke，H.H.，Combettes，P.L.：希尔伯特空间中的凸分析和单调算子理论。斯普林格，海德堡（2011）·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7 [9] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.伊姆格。科学。2(1), 183-202 (2009). doi:10.1137/080716542·Zbl 1175.94009号 ·doi:10.1137/080716542 [10] Bello Cruz，J.Y.，Nghia，T.T.：关于具有线性搜索的前向-后向分裂方法的收敛性。最佳方案。方法软件31（6），1209-1238（2016）·Zbl 1354.65116号 ·doi:10.1080/10556788.2016.1214959 [11] Bertsekas，D.P.：非线性规划，第二版。雅典娜科学（1999）·Zbl 1015.90077号 [12] Boţ，R.I.，Csetnek，E.R.，Hendrich，C.：单调包含问题的惯性Douglas-Rachford分裂。申请。数学。计算。256, 472-487 (2015) ·Zbl 1338.65145号 [13] Bredies，K.，Lorenz，D.A.：迭代软阈值的线性收敛。J.傅里叶分析。申请。14(5-6), 813-837 (2008) ·Zbl 1175.65061号 ·doi:10.1007/s00041-008-9041-1 [14] Burachik，R.S.，Svaiter，\[B.：\varepsilon\]banach空间中极大单调算子的ε-扩张。设定值分析。7(2), 117-132 (1999) ·Zbl 0948.47050号 ·doi:10.1023/A:1008730230603 [15] Cevher，V.，Becker，S.，Schmidt，M.：大数据的凸优化：大数据分析的可伸缩、随机和并行算法。信号处理。IEEE杂志31（5），32-43（2014）·doi:10.1109/MSP.2014.2329397 [16] Chambolle，A.，Dossal，C.：关于快速迭代收缩/阈值算法迭代的收敛性。J.优化。理论应用。166(3), 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4 [17] Chambolle，A.，Pock，T.：关于一阶原对偶算法的遍历收敛速度。数学。程序。159(1-2), 253-287 (2016) ·Zbl 1350.49035号 ·doi:10.1007/s10107-015-0957-3 [18] Choi，K.，Wang，J.，Zhu，L.，Suh，T.S.，Boyd，S.，Xing，L.：使用一阶方法进行基于压缩传感的锥形计算机层析重建。《医学物理学》37（9），5113-5125（2010）·数字对象标识代码：10.1118/1.3481510 [19] 组合框，PL；Pesquet，JC，《信号处理中的近距离分裂方法》，185-212（2011），纽约·Zbl 1242.90160号 ·doi:10.1007/978-1-4419-9569-810 [20] Combettes，P.L.，Wajs，V.R.：通过近端前向-后向分裂恢复信号。多尺度模型。模拟。4(4), 1168-1200 (2005) ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090 [21] Condat，L.：涉及Lipschitzian、可逼近和线性复合项的凸优化的原对偶分裂方法。J.优化。理论应用。158(2), 460-479 (2013) ·兹比尔1272.90110 ·doi:10.1007/s10957-012-0245-9 [22] Davis，D.，Yin，W.：几种分裂方案的收敛速度分析。加州大学洛杉矶分校CAM报告技术代表（2014）·Zbl 1372.65168号 [23] Eckstein，J.，Yao，W.：凸优化的增广拉格朗日和交替方向方法：教程和一些说明性的计算结果。RUTCOR研究报告32（2012）·Zbl 0778.90052号 [24] Friedman，J.，Hastie，T.，Tibshirani，R.：通过坐标下降的广义线性模型的正则化路径。J.Stat.软件33（1），1（2010）·doi:10.18637/jss.v033.i01 [25] Güler，O.：凸最小化的新近点算法。SIAM J.Optim公司。2(4), 649-664 (1992) ·Zbl 0778.90052号 ·doi:10.1137/0802032年 [26] Hale，E.T.，Yin，W.，Zhang，Y.：[\ell_1\]У1-最小化的定点延拓：方法论和收敛性。SIAM J.Optim公司。19(3), 1107-1130 (2008). 数字对象标识代码：10.1137/070698920·Zbl 1180.65076号 ·数字对象标识代码：10.1137/070698920 [27] Hare，W.，Lewis，A.S.：通过部分平滑和近似正则性识别主动约束。凸面分析杂志。11(2), 251-266 (2004) ·Zbl 1178.90314号 [28] Kim，S.J.，Koh，K.，Lustig，M.，Boyd，S.，Gorinevsky，D.：大规模1-regulated最小二乘的内点方法。IEEE J.选择。顶部。信号处理。1(4), 606-617 (2007) ·doi:10.1109/JSTSP.2007.910971 [29] Liang，J.、Fadili，J.和Peyré，G.：不精确非泛算子的收敛速度。数学。程序。159(1-2), 403-434 (2016) ·兹比尔1353.47106 ·doi:10.1007/s10107-015-0964-4 [30] Liang，J.、Fadili，J.和Peyré，G.：部分光滑下前向-后向的局部线性收敛。摘自：《神经信息处理系统进展》，1970-1978页（2014）·Zbl 1242.90160号 [31] Liang，J.、Fadili，J.和Peyré，G.：惯性前向背向分裂的活动识别和局部线性收敛。arXiv预印arXiv:1503.03703（2015）·Zbl 1357.49064号 [32] Lorenz，D.A.，Pock，T.：单调包含的惯性前向后退算法。数学杂志。成像视觉。(2014). doi:10.1007/s10851-014-0523-2·Zbl 1327.47063号 ·doi:10.1007/s10851-014-0523-2 [33] Lustig，M.，Donoho，D.，Pauly，J.M.：稀疏MRI：压缩传感在快速MR成像中的应用。马恩。Reson公司。医学58（6），1182-1195（2007）·数字对象标识代码：10.1002/mrm.21391 [34] Maingé，P.E.：惯性KM型算法的收敛定理。J.计算。申请。数学。219（1），223-236（2008）·Zbl 1156.65054号 ·doi:10.1016/j.cam.2007.07.021 [35] Monteiro，R.D.，Ortiz，C.，Svaiter，B.F.：凸优化的自适应加速一阶方法。计算。最佳方案。申请。64(1), 31-73 (2016) ·Zbl 1344.90049号 ·doi:10.1007/s10589-015-9802-0 [36] Moudafi，A.，Oliny，M.：单调算子分裂惯性近似方法的收敛性。J.计算。申请。数学。155(2), 447-454 (2003). doi:10.1016/S0377-0427（02）00906-8·Zbl 1027.65077号 ·doi:10.1016/S0377-0427（02）00906-8 [37] Nesterov，Y.：一种求解收敛速度为[O（1/k^2）O]（1/k2）的凸规划问题的方法。苏联数学。多克。27, 372-376 (1983) ·Zbl 0535.90071号 [38] Nesterov，Y.：凸优化入门讲座：基础课程。施普林格，柏林（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9 [39] Nesterov，Y.：最小化复合函数的梯度方法。数学。程序。140(1), 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [40] O'Donoghue，B.，Candès，E.：加速梯度方案的自适应重启。已找到。计算。数学。15(3), 715-732 (2015) ·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3 [41] Opial，Z.：非扩张映射的连续逼近序列的弱收敛性。牛市。美国数学。Soc 73（4），591-597（1967）·Zbl 0179.19902号 ·doi:10.1090/S0002-9904-1967-11761-0 [42] Passty，G.B.：遍历收敛到Hilbert空间中单调算子和的零。数学杂志。分析。申请。72(2), 383-390 (1979) ·Zbl 0428.47039号 ·doi:10.1016/0022-247X（79）90234-8 [43] Polyak，B.T.：加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理学。4(5), 1-17 (1964) ·兹伯利0147.35301 ·doi:10.1016/0041-5553（64）90137-5 [44] Polyak，B.T.：最优化导论。纽约优化软件公司（1987）·Zbl 0708.90083号 [45] Raguet，H.，Fadili，J.，Peyré，G.：广义前向后向分裂。SIAM J.成像科学。6(3), 1199-1226 (2013) ·Zbl 1296.47109号 ·doi:10.1137/120872802 [46] Shalev-Shwartz，S.，Tewari，A.：[\ell_1\]У1-正则损失最小化的随机方法。J.马赫。学习。1865-1892年第12号决议（2011年）·Zbl 1280.62081号 [47] Su，W.，Boyd，S.，CandèS，E.：建模Nesterov加速梯度法的微分方程：理论和见解。摘自：《神经信息处理系统进展》，第2510-2518页（2014年） [48] Tao，S.，Boley，D.，Zhang，S.：套索问题上ista和fista的局部线性收敛。SIAM J.Optim公司。26(1), 313-336 (2016) ·Zbl 1358.90101号 ·doi:10.1137/151004549 [49] Tibshirani，R.J.：套索问题和唯一性。电子。J.Stat.7，1456-1490（2013）·Zbl 1337.62173号 ·doi:10.1214/13-EJS815 [50] Tseng，P.：关于凹凸优化的加速近似梯度法。SIAM J.选项。（2008年提交）·Zbl 1371.94018号 [51] Wen，Z.，Yin，W.，Zhang，H.，Goldfarb，D.：关于活动集方法的收敛性。最佳方案。方法软件。27(6), 1127-1146 (2012) ·Zbl 1244.49055号 ·doi:10.1080/10556788.2011.591398 [52] Zhang，H.，Yin，W.，Cheng，L.：1-范数极小化中解唯一的充要条件。J.优化。理论应用。164(1), 109-122 (2015) ·Zbl 1308.65102号 ·doi:10.1007/s10957-014-0581-z 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。