斯蒂芬·贝克尔;贾拉勒法迪利;彼得·奥克斯 关于拟纽顿正反向分裂：近似演算和收敛性。 （英语） 兹比尔1461.65128 SIAM J.Optim公司。 29，第4期，2445-2481（2019）. 摘要：我们介绍了一个由对角秩-对称正定矩阵导出度量的拟Newton正向反向分裂算法（近似拟Newton方法）的框架。这种特殊类型的度量允许高效评估近端映射。这种效率的关键是新度量中的一般近似演算。通过使用对偶性，导出了将秩修正度量中的最近映射与原始度量相关联的公式。我们还描述了一大类函数的邻近计算的有效实现；这些实现利用了对偶问题的分段线性性质。然后，我们将这些结果应用于复合凸极小化问题的加速，这导致了优雅的拟Newton方法，并证明了其收敛性。该算法在几个数值示例上进行了测试，并与文献中的综合备选方案列表进行了比较。我们的具有指定度量的准纽顿分裂算法与最新的算法相比具有优势。该算法具有广泛的应用，包括信号处理、稀疏恢复、机器学习和分类等。 引用于21文件 MSC公司： 65千5 数值数学规划方法 90立方厘米25 凸面编程 90立方厘米 灵敏度、稳定性、参数优化 关键词：前后向分裂;拟牛顿;近端结石;二元性 软件：L-BFGS公司;L-BFGS-B型;取消锁定BoX;FPC_AS公司;NNLS公司;LBFGS-B型;国际海事组织 PDF格式BibTeX公司 XML格式引用 \textit{S.Becker}等人，SIAM J.Optim。29，第4号，2445--2481（2019；Zbl 1461.65128） 全文： 内政部 arXiv公司 参考文献： [1] G.Andrew和J.Gao，（L^1）正则对数线性模型的可伸缩训练《第24届国际机器学习会议论文集》，ACM出版社，纽约，2007年，第33-40页。 [2] J.Attouch和H.Peypouquet，Nesterov的加速前向后退法的收敛速度实际上比（1/k^2）快、SIAM J.Optim.、。，26（2016），第1824-1834页·Zbl 1346.49048号 [3] B.B.O’Donoghue和E.Cande，加速梯度方案的自适应重启，找到。计算。数学。，15（2015），第715-732页·Zbl 1320.90061号 [4] J.Barzilai和J.Borwein，两点步长梯度法IMA J.数字。分析。，8（1988），第141-148页·Zbl 0638.65055号 [5] H.H.Bauschke和P.L.Combettes，Hilbert空间中的凸分析和单调算子理论，CMS图书数学/Ouvrages数学。SMC，施普林格，查姆，2011年·Zbl 1218.47001号 [6] A.Beck和M.Teboulle，线性逆问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009年），第183-202页·Zbl 1175.94009号 [7] S.Becker和J.Fadili，一种拟Newton近端分裂方法，在高级神经信息处理中。系统。25，Curran Associates，纽约州Red Hook，2012年，第2618-2626页。 [8] E.G.Birgin、J.M.Marti⁄nez和M.Raydan，凸集上的非单调谱投影梯度方法、SIAM J.Optim.、。，10（2000），第1196-1211页·Zbl 1047.90077号 [9] J.Bolt、A.Danilidis和A.Lewis，缓和函数是半光滑的，数学。程序。，117（2009），第5-19页·兹比尔1158.49030 [10] S.Bonettini、I.Loris、F.Porta和M.Prato，基于变尺度非精确线搜索的非光滑优化方法、SIAM J.Optim.、。，26（2016），第891-921页·Zbl 1338.65157号 [11] S.Bonettini、I.Loris、F.Porta、M.Prato和S.Rebegoldi，Kurdyka-Lojasiewicz不等式下基于变度量线搜索的近似梯度法的收敛性，预打印，https://arxiv.org/abs/1605.03791，2016年·Zbl 1373.65040号 [12] S.Bonettini和M.Prato，比例梯度投影法的新收敛结果《反问题》，31（2015），第9期·Zbl 1333.90124号 [13] S.Bonettini、R.Zanella和L.Zanni，约束图像去模糊的缩放梯度投影方法《反问题》，25（2009），第1期·Zbl 1155.94011号 [14] K.Bredies和H.Sun，凹凸鞍点问题的预处理Douglas-Rachford分裂方法，SIAM J.数字。分析。，53（2015），第421-444页·Zbl 1314.65084号 [15] C.布罗登，拟Newton方法及其在函数极小化中的应用，数学。公司。，21（1967年），第577-593页。 [16] R.H.Byrd、P.Lu、J.Nocedal和C.Zhu，边界约束优化的有限内存算法，SIAM J.科学。计算。，16（1995年），第1190-1208页·Zbl 0836.65080号 [17] G.H.-G.Chen和R.T.Rockafellar，前向反向分裂的收敛速度、SIAM J.Optim.、。，7（1997），第421-444页·Zbl 0876.49009号 [18] X.Chen、Z.Nashed和L.Qi，不可微算子方程的光滑方法和半光滑方法，SIAM J.数字。分析。，38（2000），第1200-1216页·Zbl 0979.65046号 [19] E.Chouzenoux、J.-C.Pesquet和A.Repetti，最小化可微函数和凸函数之和的变尺度前向后退算法，J.Optim。理论应用。，162（2014），第107-132页·Zbl 1318.90058号 [20] F.克拉克，优化和非光滑分析，经典应用。数学。5，SIAM，宾夕法尼亚州费城，1990年·Zbl 0696.49002号 [21] P.L.Combettes和B.C.Vu͂，可变度量拟Fejer单调性，非线性分析。，78（2013），第17-31页·Zbl 1266.65087号 [22] P.L.Combettes和B.C.Vu͂，变尺度前向分支分裂及其对偶单调包含的应用《优化》，63（2014），第1289-1318页·Zbl 1309.90109号 [23] P.L.Combettes和J.C.Pesquet，信号处理中的邻近分裂方法，《科学与工程中反问题的不动点算法》，H.H.Bauschke、R.S.Burachik、P.L.Combettes、V.Elser、D.R.Luke和H.Wolkowicz编辑，斯普林格，纽约，2011年，第185-212页·Zbl 1242.90160号 [24] P.L.Combettes和V.R.Wajs，近端前向背向分裂信号恢复，多尺度模型。模拟。，4（2005），第1168-1200页·Zbl 1179.94031号 [25] M.Coster，O-极小几何简介《技术报告》，雷恩数学研究所，雷恩，1999年。 [26] M.Coster，半代数几何导论《技术报告》，雷恩数学研究所，2002年。 [27] I.Dhillon、D.Kim和S.Sra，用一种新的投影拟Newton方法处理箱约束优化问题，SIAM J.科学。计算。，32（2010年），第3548-3563页·Zbl 1220.93085号 [28] F.Facchinei和J.-S.Pang，有限维变分不等式与互补问题，第一卷，施普林格系列。操作。Res.财务。工程师，施普林格，纽约，2003年·Zbl 1062.90002号 [29] F.Facchinei和J.-S.Pang，有限维变分不等式与互补问题，第二卷，Springer Ser。操作。Res.财务。工程师，施普林格，纽约，2003年·Zbl 1062.90002号 [30] R.Fletcher，关于Barzilai-Borwein方法《应用优化与控制》，L.Qi、K.Teo、X.Yang、P.Pardalos和D.W.Hearn，eds.，Appl。优化。96，施普林格，纽约，2005年，第235-256页·Zbl 1118.90318号 [31] M.P.Friedlander和G.Goh，缩放近端算子的有效评估，电子。事务处理。数字。分析。，46（2017），第1-22页·Zbl 1360.90198号 [32] T.Goldstein和S.Setzer，基追踪的高阶方法，技术报告，加利福尼亚大学洛杉矶分校，2011年。 [33] N.古尔德，非线性优化专题论文，《连续优化算法导论》，牛津大学计算实验室和卢瑟福阿普尔顿实验室，2006年；可在http://www.cs.ox.ac.uk/nick.gould/courses/co/paper.pdf。 [34] J.Guo和A.Lewis，BFGS收敛到凸函数的非光滑极小值，预打印，https://arxiv.org/abs/1703.06690, 2017. [35] W.Hackbusch，基于矩阵的稀疏矩阵算法。第一部分：矩阵简介《计算》，62（1999），第89-108页·Zbl 0927.65063号 [36] W.W.Hager和H.Zhang，盒约束优化的一种新的主动集算法、SIAM J.Optim.、。，17（2006），第526-557页·Zbl 1165.90570号 [37] S.Karimi和S.Vavasis，IMRO:求解（ell_1）正则最小二乘问题的近似拟Newton方法、SIAM J.Optim.、。，27（2017），第583-615页·Zbl 1365.90202号 [38] M.Kojima和S.Shindo，牛顿法和拟牛顿法在（PC^1）方程组中的推广，J.Oper。Res.Soc.Japan，29（1986），第352-375页·Zbl 0611.65032号 [39] B.库姆，不可微函数的牛顿法《数学优化进展》，J.Guddat、B.Bank、H.Hollatz、P.Kall、D.Klatte、B.Kummer、K.Lommatzsch、L.Tammer、M.Vlach和K.Zimmerman编辑，Akademi，柏林，1988年，第114-125页·Zbl 0662.65050号 [40] B.库姆，基于非光滑函数广义导数的牛顿法：收敛性分析《优化进展》，《经济》讲义。和数学。Systems，W.Oettli和D.Pallaschke，编辑，施普林格，柏林，1992年，第171-194页·Zbl 0768.49012号 [41] J.Lee、Y.Sun和M.Saunders，最小化复合函数的近似牛顿型方法、SIAM J.Optim.、。，24（2014），第1420-1443页·Zbl 1306.65213号 [42] C.Lemareíchal，非光滑优化的数值实验《不可微优化进展》，E.A.Nurminski主编，IIASA出版社，奥地利拉克森堡，1982年，第61-84页·Zbl 0509.65025号 [43] A.S.Lewis和M.L.Overton，基于拟Newton方法的非光滑优化，数学。程序。，141（2013），第135-163页·Zbl 1280.90118号 [44] A.S.Lewis和S.Zhang，非光滑性与变尺度方法，J.Optim。理论应用。，165（2015），第151-171页·Zbl 1322.90095 [45] J.L.Morales和J.Nocedal，算法L-BFGS-B:Fortran子程序在大规模有界约束优化中的应用，ACM变速器。数学。软质。，38（2011），第7条·Zbl 1365.65164号 [46] J.-J.莫罗，函数凸对偶et点proximaux dans un espace hilbertien，C.R.学院。科学。，255（1962），第2897-2899页·Zbl 0118.10502号 [47] Y.内斯特罗夫，一个收敛速度为（O（1/k^2）的凸规划问题的求解方法，苏联数学。道克。，27（1983年），第372-376页·Zbl 0535.90071号 [48] Y.内斯特罗夫，凸优化入门讲座：基础课程，申请。优化。87，Kluwer，波士顿，2004年·Zbl 1086.90045号 [49] J.Nocedal和S.Wright，数值优化第二版，施普林格出版社，纽约，2006年·兹比尔1104.65059 [50] P.Ochs，下降法和块坐标变尺度iPiano的统一抽象不精确收敛定理，预打印，https://arxiv.org/abs/1602.07283, 2016. [51] P.Ochs、J.Fadili和T.Brox，非光滑非凸bregman最小化：统一和新算法，J.Optim。理论应用。，181（2018），第244-278页·Zbl 1416.49015号 [52] P.Ochs和T.Pock，自适应Fista，预打印，https://arxiv.org/abs/1711.04343, 2017. [53] J.-S.Pang，B-可微方程的牛顿法，数学。操作。Res.，15（1990），第311-341页·Zbl 0716.90090号 [54] P.Patrinos、L.Stella和A.Bempoad，凸组合优化的前后截断牛顿法，预打印，https://arxiv.org/abs/1402.6655, 2014. [55] T.Pock和A.Chambolle，凸优化中一阶原对偶算法的对角预处理，《IEEE计算机视觉国际会议（ICCV）论文集》，Curran Associates，Red Hook，NY，2011年，第1762-1769页。 [56] F.Porta、M.Prato和L.Zanni，一种新的尺度梯度法步长选择及其在图像去模糊中的应用，《科学杂志》。计算。，65（2015），第895-919页·Zbl 1328.65138号 [57] L.Qi和J.Sun，牛顿方法的非光滑版本，数学。程序。，58（1993），第353-367页·Zbl 0780.90090号 [58] R.R.Fletcher，有限记忆最速下降法，数学。程序。，135（2011），第413-436页·Zbl 1254.90113号 [59] H.Raguet、J.Fadili和G.Peyré，广义前向-后向分裂，SIAM J.成像科学。，6（2013），第1199-1226页·Zbl 1296.47109号 [60] S.M.Robinson，一类非光滑函数的牛顿法，设定值分析。，2（1994年），第291-305页·Zbl 0804.65062号 [61] R.T.Rockafellar，凸分析，普林斯顿大学出版社，新泽西州普林斯顿，1970年·Zbl 0193.18401号 [62] S.Salzo，轻度可微假设下的变尺度前向-后向分裂算法，预印本，https://arxiv.org/abs/1605.00952, 2016. [63] M.Schmidt，用\（\ell_1\）-正则化学习图形模型结构，不列颠哥伦比亚大学博士论文，温哥华，BC，2010年。 [64] M.Schmidt、G.Fung和R.Rosales，L（1）正则化的快速优化方法：比较研究和两种新方法，摘自《机器学习：ECML 2007》，《计算机课堂讲稿》。科学。4701，施普林格，柏林，2007年，第286-297页。 [65] M.Schmidt、D.Kim和S.Sra，机器学习中的投影牛顿型方法《机器学习优化》，S.Sra、S.Nowozin和S.Wright编辑，麻省理工学院出版社，马萨诸塞州剑桥，2011年。 [66] M.Schmidt、E.van den Berg、M.Friedlander和K.Murphy，用简单约束优化代价高昂的函数：有限内存投影拟牛顿算法，《第十二届国际人工智能与统计会议论文集》，Proc。机器。学习。2009年第5号决议，第456-463页；可在获取http://proceedings.mlr.press/v5/schmidt09a.html。 [67] L.Stella、A.Themelis和P.Patrinos，非光滑优化问题的前向反拟Newton方法，计算。优化。申请。，67（2017），第443-487页·兹比尔1401.90226 [68] W.Su、S.Boyd和R.Candes，Nesterov加速梯度法建模的微分方程：理论和见解，高级神经信息处理。系统。27，Curran Associates，纽约州Red Hook，2014年，第2510-2518页。 [69] J.F.托兰，非凸优化的对偶原理和变分法，建筑。定额。机械。分析。，71（1979年），第41-61页·Zbl 0411.49012号 [70] M.Ulbrich，函数空间中算子方程的半光滑牛顿方法、SIAM J.Optim.、。，13（2002），第805-841页·Zbl 1033.49039号 [71] M.Ulbrich，函数空间中变分不等式和约束优化问题的半光滑牛顿方法，MOS-SIAM系列。优化。2011年，宾夕法尼亚州费城SIAM·Zbl 1235.49001号 [72] L.van den Dries和C.Miller，几何类别和o-最小结构杜克大学数学系。J.，84（1996），第497-540页·Zbl 0889.03025号 [73] B.C.Vu͂，单调算子前向-后向正向算法的一个可变度量扩展，数字。功能。分析。最佳。，34（2013），第1050-1065页·Zbl 1279.47075号 [74] Z.Wen、W.Yin、D.Goldfarb和Y.Zhang，基于收缩、子空间优化和延拓的稀疏重建快速算法，SIAM J.科学。计算。，32（2010年），第1832-1857页·Zbl 1215.49039号 [75] S.Wright、R.Nowak和M.Figueiredo，基于可分离逼近的稀疏重构，IEEE传输。信号处理。，57（2009），第2479-2493页·Zbl 1391.94442号 [76] J.Yu、S.V.N.Vishwanathan、S.Guenter和N.Schraudolph，机器学习中非光滑凸优化问题的拟Newton方法，J.马赫。学习。Res.，11（2010），第1145-1200页·Zbl 1242.90296号 [77] C.Zhu、R.H.Byrd、P.Lu和J.Nocedal，算法778:L-BFGS-B:Fortran子例程用于大规模有界约束优化，ACM变速器。数学。软质。，23（1997），第550-560页·Zbl 0912.65057号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。