马苏德·阿霍霍什;安德烈亚斯·塞米利斯;Patrinos、Panagiotis 非凸组合优化的Bregman前向反向线性搜索算法：超线性收敛到非孤立局部极小值。 （英语） Zbl 1461.90105号 SIAM J.Optim公司。 31，第1号，653-685（2021）. 摘要：我们介绍了Bella，一种局部超线性收敛的Bregman前向背向分裂方法，用于最小化两个非凸函数的和，其中一个函数满足相对光滑条件，另一个函数可能是非光滑的。我们方法的一个关键工具是Bregman前向背向包络（BFBE），它是一个精确的连续罚函数，具有良好的一阶和二阶性质，当目标函数满足Łojasiewicz型性质时，它具有非线性误差界。该算法在BFBE上沿用户定义的更新方向进行线性搜索，并在Kurdyka-Łojasiewicz条件下收敛到平稳点和全局。此外，当更新方向在以下意义上是超线性的F.法奇尼和J.-S.庞【有限维变分不等式与互补问题】，第一卷，纽约：Springer（2003；Zbl 1062.90001号)]，由于给定的非线性误差，单位步长最终总是被接受的，并且即使极限点是非孤立极小值，该算法也能达到超线性收敛速度。 引用于15文件 MSC公司： 90C26型 非凸规划，全局优化 第49页第52页 非平滑分析 第49页第53页 集值与变分分析 关键词：非光滑非凸优化;Bregman-Moreau和Bregman前后向信封;相对平滑度;KL不等式;非线性误差界;非孤立局部极小;超线性收敛 引文：Zbl 1062.90001号 软件：超人 PDF格式BibTeX公司 XML格式引用 \textit{M.Ahookhosh}等人，SIAM J.Optim。31，编号1653-685（2021；兹bl 1461.90105） 全文： 内政部 arXiv公司 参考文献： [1] M.Ahookhosh，最优次梯度方法：大规模线性反问题的计算特性，Optim。《工程师》，19（2018），第815-844页，https://doi.org/10.1007/s11081-018-9378-5。 ·Zbl 1418.90190号 [2] M.Ahookhosh，大规模凸优化的加速一阶方法：强凸性下的近似最优复杂性，数学。方法操作。决议，89（2019），第319-353页，https://doi.org/10.1007/s00186-019-00674-w。 ·Zbl 1426.90196号 [3] M.Ahookhosh、F.J.A.Artacho、R.M.Fleming和P.T.Vuong，Ho¨lder度量子区域性下Levenberg-Marquardt方法的局部收敛性，高级计算。数学。，45（2019），第2771-2806页，https://doi.org/10.1007/s10444-019-09708-7。 ·Zbl 1494.65036号 [4] M.Ahookhosh、R.M.Fleming和P.T.Vuong，通过全局收敛的Levenberg-Marquardt方法寻找Hoólder度量子域映射的零点，Optim。方法软件。(2020), https://doi.org/10.1080/10556788.2020.1712602。 ·Zbl 1501.90069号 [5] M.Ahookhosh，L.T.K.Hien，N.Gillis，P.Patrinos，多块Bregman近似交替线性化最小化及其在正交非负矩阵因式分解中的应用，arXiv:1908.014022019。 [6] M.Ahookhosh、L.T.K.Hien、N.Gillis和P.Patrinos，非光滑非凸问题的块惯性Bregman近似算法及其在非负矩阵三因子化中的应用，arXiv:2003.039632020。 [7] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页，https://doi.org/10.1287/moor.1100.0449。 ·Zbl 1214.65036号 [8] H.Attouch、J.Bolt和B.F.Svaiter，半代数和驯服问题下降方法的收敛性：近似算法、前向背向分裂和正则高斯-赛德尔方法，数学。程序。，137（2013），第91-129页，https://doi.org/10.1007/s10107-011-0484-9。 ·Zbl 1260.49048号 [9] D.Azeí和J.-N.Corvellec，通过函数变化的非线性误差界，J.Optim。理论应用。，172（2017），第9-32页，https://doi.org/10.1007/s10957-016-1001-3。 ·Zbl 1356.49025号 [10] H.H.Bauschke，J.Bolt，J.Chen，M.Teboulle，X.Wang，关于无强凸性和Lipschitz梯度连续性的非欧几里德梯度方法的线性收敛性，J.Optim。理论应用。，182（2019），第1068-1087页，https://doi.org/10.1007/s10957-019-01516-9。 ·Zbl 1429.65121号 [11] H.H.Bauschke、J.Bolt和M.Teboulle，超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用，数学。操作。Res.，42（2016），第330-348页，https://doi.org/10.1287/moor.2016.0817。 ·Zbl 1364.90251号 [12] H.H.Bauschke、J.M.Borwein和P.L.Combettes，基本光滑性，基本严格凸性，以及Banach空间中的Legendre函数，Commun。康斯坦普。数学。，03（2001），第615-647页，https://doi.org/10.1142/S0219199701000524。 ·Zbl 1032.49025号 [13] H.H.Bauschke、P.Combettes和D.Noll，交替Bregman邻近算子的联合最小化，太平洋J.Optim。，2 (2005). ·Zbl 1124.90019号 [14] H.H.Bauschke和P.L.Combettes，Hilbert空间中的凸分析和单调算子理论，CMS数学书籍。，施普林格，纽约，2017年，https://doi.org/10.1007/978-3-319-48311-5。 ·Zbl 1359.26003号 [15] H.H.Bauschke、M.N.Dao和S.B.Lindstrom，用Bregman-Moreau信封进行正则化，SIAM J.Optim。，28（2018），第3208-3228页，https://doi.org/10.1137/17M1130745。 ·Zbl 1409.90138号 [16] A.Beck和M.Teboulle，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009），第183-202页，https://doi.org/10.1137/080716542。 ·Zbl 1175.94009号 [17] S.Bhojanapalli、B.Neyshabur和N.Srebro，低秩矩阵恢复局部搜索的全局优化，《神经信息处理系统进展》，2016年，第3873-3881页。 [18] J.Bolt，A.Danilidis和A.Lewis，非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用，SIAM J.Optim。，17（2007），第1205-1223页，https://doi.org/10.1137/050644641。 ·兹比尔1129.26012 [19] J.Bolte、A.Danilidis、A.Lewis和M.Shiota，分层函数的Clarke次梯度，SIAM J.Optim。，18（2007），第556-572页，https://doi.org/10.1137/060670080。 ·Zbl 1142.49006号 [20] J.Bolt，A.Danilidis，O.Ley，and L.Mazet，Łojasiewicz不等式的特征：次梯度流，talweg，凸性，Trans。阿默尔。数学。Soc.，362（2010），第3319-3363页·Zbl 1202.26026号 [21] J.Bolt、T.P.Nguyen、J.Peypouquet和B.W.Suter，《从误差边界到凸函数一阶下降法的复杂性》，数学。程序。，165（2017），第471-507页，https://doi.org/10.1007/s10107-016-1091-6。 ·Zbl 1373.90076号 [22] J.Bolt和E.Pauwels，半代数和驯化程序的优化-最小化程序和SQP方法的收敛性，数学。操作。决议，41（2016），第442-465页，https://doi.org/10.1287/摩尔.2015.0735。 ·Zbl 1338.65156号 [23] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页，https://doi.org/10.1007/s10107-013-0701-9。 ·Zbl 1297.90125号 [24] J.Bolt、S.Sabach、M.Teboulle和Y.Vaisbourd，超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用，SIAM J.Optim。，28（2018），第2131-2151页，https://doi.org/doi.org/10.1137/17M1138558。 ·Zbl 1402.90118号 [25] S.Bonettini、I.Loris、F.Porta和M.Prato，非光滑优化的可变度量非精确线搜索方法，SIAM J.Optim。，26（2016），第891-921页，https://doi.org/10.1137/15M1019325。 ·Zbl 1338.65157号 [26] R.I.Boţ和E.R.Csetnek，非光滑和非凸优化问题的惯性Tseng型近似算法，J.Optim。理论应用。，171（2016），第600-616页，https://doi.org/10.1007/s10957-015-0730-z。 ·Zbl 1349.90688号 [27] R.I.Boţ、E.R.Csetnek和S.C.Laíszloí，两个非凸函数之和最小化的惯性前向后退算法，EURO J.Compute。最佳。，4（2016），第3-25页，https://doi.org/10.1007/s13675-015-0045-8。 ·Zbl 1338.90311号 [28] R.I.Boţ、E.R.Csetnek和D.-K.Nguyen，结构化非凸和非光滑问题的近似最小化算法，SIAM J.Optim。，29（2019），第1300-1328页，https://doi.org/10.1137/18M1190689。 ·Zbl 1431.65088号 [29] L.M.Bregman，寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用，苏联计算机。数学。数学。物理。，7（1967），第200-217页，https://doi.org/10.1016/0041-5553(67)90040-7. [30] D.Davis、D.Drusvyatskiy和K.J.MacPhee，《高阶增长下基于随机模型的最小化》，arXiv:1807.002552018年。 [31] J.E.J.Dennis和J.J.More∧，超线性收敛的特征及其在拟Newton方法中的应用，数学。公司。，28（1974年），第549-560页，https://doi.org/10.2307/2005926。 ·Zbl 0282.65042号 [32] J.E.J.Dennis和J.J.Moreí，《准纽顿方法、动机和理论》，《SIAM Rev.》，19（1977），第46-89页，https://doi.org/10.1137/1019005。 ·兹比尔0356.65041 [33] A.Dontchev，Dennis-Moreφ定理的推广，SIAM J.Optim。，22（2012），第821-830页，https://doi.org/10.1137/10833567。 ·Zbl 1255.49028号 [34] R.-A.Dragomir、A.d’Aspremont和J.Bolt，低秩最小化的四次一阶方法，arXiv:1901.107912019。 [35] F.Facchinei和J.-S.Pang，有限维变分不等式和互补问题，第二卷，Springer，纽约，2003年，https://doi.org/10.1007/b97543。 ·Zbl 1062.90002号 [36] A.Fischer，具有非孤立解的广义方程迭代框架的局部行为，数学。程序。，94（2002），第91-124页，https://doi.org/10.1007/s10107-002-0364-4。 ·Zbl 1023.90067号 [37] M.Fukushima和H.Mine，某些非凸最小化问题的广义近点算法，国际。系统科学杂志。，12（1981），第989-1000页，https://doi.org/10.1080/00207728108963798。 ·Zbl 0467.65028号 [38] M.Fukushima和L.Qi，非光滑凸极小化的全局超线性收敛算法，SIAM J.Optim。，6（1996），第1106-1120页，https://doi.org/10.1137/S1052623494278839。 ·Zbl 0868.90109号 [39] F.Hanzely和P.Richtaárik，《随机镜像下降法的最快速度》，arXiv:1803.073742018年。 [40] F.Hanzely、P.Richtarik和L.Xiao，相对光滑凸优化的加速Bregman近似梯度方法，arXiv:1808.030452018。 [41] A.F.Izmailov和M.V.Solodov，优化和变分问题的牛顿型方法，Springer，纽约，2014，https://doi.org/10.1007/978-3-319-04247-3。 ·Zbl 1304.49001号 [42] C.Kan和W.Song，Moreau包络函数和Bregman距离意义下的近端映射，非线性分析。，75（2012），第1385-1399页，https://doi.org/10.1016/j.na.2011.07.031。 ·Zbl 1236.49026号 [43] K.Kawaguchi，《无不良局部极小值的深度学习》，《神经信息处理系统进展》，2016年，第586-594页。 [44] K.Kurdyka，《关于（o）-极小结构中可定义函数的梯度》，《傅里叶研究年鉴》，48（1998），第769-783页，https://doi.org/10.5802/aif.1638。 ·Zbl 0934.32009 [45] E.Laude、P.Ochs和D.Cremers，Bregman近端映射和相对近似正则下的Bregman-Moreau包络，J.Optim。理论应用。，184（2020），第724-761页，https://doi.org/10.1007/s10957-019-01628-2。 ·兹比尔1433.49022 [46] J.D.Lee、I.Panageas、G.Piliouras、M.Simchowitz、M.I.Jordan和B.Recht，一阶方法几乎总是避免严格的鞍点，数学。程序。，176（2019），第311-337页，https://doi.org/10.1007/s10107-019-01374-3。 ·Zbl 1415.90089号 [47] C.Lemareíchal和C.Sagastizaíbal，Moreau-Yosida正则化的实际方面：理论预备，SIAM J.Optim。，7（1997），第367-385页，https://doi.org/10.1137/S1052623494267127。 ·Zbl 0876.49019号 [48] D.-H.Li、M.Fukushima、L.Qi和N.Yamashita，奇异解凸极小化问题的正则化牛顿方法，计算。最佳方案。申请。，28（2004），第131-147页，https://doi.org/10.1023/B:COAP.000026881.96694.32。 ·Zbl 1056.90111号 [49] G.Li和T.K.Pong，非凸优化的Douglas-Rachford分裂及其在非凸可行性问题中的应用，数学。程序。，159（2016），第371-401页，https://doi.org/10.1007/s10107-015-0963-5。 ·Zbl 1346.90584号 [50] X.Li，D.Sun，和K.-C.Toh，求解套索问题的高效半光滑牛顿增广拉格朗日方法，SIAM J.Optim。，28（2018），第433-458页，https://doi.org/10.1137/16M1097572。 ·Zbl 1392.65062号 [51] 刘涛（T.Liu）和彭振康（T.K.Pong），前向背向包络的进一步性质及其在差分凸规划中的应用，计算。最佳方案。申请。，67（2017），第489-520页，https://doi.org/10.1007/s10589-017-9900-2。 ·兹比尔1400.900279 [52] Y.Liu和W.Yin，Davis Yin分裂和严格鞍点回避的包络，J.Optim。理论应用。，181（2019），第567-587页，https://doi.org/10.1007/s10957-019-01477-z。 ·Zbl 07063787号 [53] S.Łojasiewicz，Une proprie®te®topologique des sous-ensembles analytiques re®els，收录于Les eöquations aux de®rive®es partielles，法国国家研究院，巴黎，1963年，第87-89页·Zbl 0234.57007号 [54] S.Łojasiewicz，Sur la geöome _trie semi-et sous-analytique，《傅里叶研究年鉴》，43（1993），第1575-1595页，https://doi.org/10.5802/aif.1384。 ·Zbl 0803.32002号 [55] H.Lu，R.M.Freund，Y.Nesterov，用一阶方法进行相对光滑凸优化及其应用，SIAM J.Optim。，28（2018），第333-354页，https://doi.org/10.1137/16M1099546。 ·Zbl 1392.90090号 [56] J.Mairal，增量优化最小化优化及其在大规模机器学习中的应用，SIAM J.Optim。，25（2015），第829-855页，https://doi.org/10.1137/10957639。 ·Zbl 1320.90047号 [57] N.Maratos，有限维和控制优化问题的精确罚函数算法，博士论文，伦敦帝国理工学院，1978年。 [58] R.Mifflin，L.Qi和D.Sun，分段凸函数的Moreau-Yosida正则化的性质，数学。程序。，84（1999），第269-281页，https://doi.org/10.1007/s10107980029a。 ·Zbl 0971.90082号 [59] J.-J.Moreau，Proximite®et dualite®dans un espace hilbertien，公牛。社会数学。法国，93（1965），第273-299页，https://doi.org/10.24033/bsmf.1625。 ·Zbl 0136.12101号 [60] M.C.Mukkamala和P.Ochs，《超越用惯性Bregman近端梯度算法进行矩阵分解的交替更新》，《神经信息处理系统进展》，2019年，第4268-4278页。 [61] M.C.Mukkamala、P.Ochs、T.Pock和S.Sabach，非凸优化中惯性Bregman近端梯度算法的凹凸回溯，SIAM J.Math。数据科学。，2（2020年），第658-682页，https://doi.org/10.1137/19M1298007。 ·Zbl 1486.90147号 [62] Y.Nesterov，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页，https://doi.org/10.1007/s10107-012-0629-5。 ·Zbl 1287.90067号 [63] Y.Nesterov，无约束凸优化中的可实现张量方法，数学。程序。（2019）中，https://doi.org/10.1007/s10107-019-01449-1。 ·Zbl 1459.90157号 [64] J.Nocedal和S.Wright，数值优化，Springer，纽约，2006年，https://doi.org/10.1007/978-0-387-40065-5。 ·Zbl 1104.65059号 [65] D.Noll，使用Kurdyka-Łojasiewicz不等式的非光滑下降方法的收敛性，J.Optim。理论应用。，160（2014），第553-572页，https://doi.org/10.1007/s10957-013-0391-8。 ·Zbl 1298.90079号 [66] P.Ochs、J.Fadili和T.Brox，《非光滑非凸Bregman最小化：统一和新算法》，J.Optim。理论应用。，181（2019），第244-278页，https://doi.org/10.1007/s10957-018-01452-0。 ·兹伯利1416.49015 [67] M.O'Neill和S.J.Wright，非凸函数临界点附近加速梯度方法的行为，数学。程序。，176（2019），第403-427页，https://doi.org/10.1007/s10107-018-1340-y。 ·Zbl 1415.90092号 [68] P.Patrinos和A.Bempoad，凸组合优化的近似牛顿法，《第52届IEEE决策与控制会议论文集》，2013年，第2358-2363页，https://doi.org/10.109/CDC.2013.6760233。 [69] R.A.Poliquin和R.T.Rockafellar，非线性规划中的二阶非光滑分析，《非光滑优化的最新进展》，《世界科学》，新泽西州River Edge，1995年，第322-350页，https://doi.org/10.1142/9789812817_0018。 ·Zbl 0939.90022号 [70] R.A.Poliquin和R.T.Rockafellar，正则非光滑函数的广义Hessian性质，SIAM J.Optim。，6（1996），第1121-1137页，https://doi.org/10.1137/S1052623494279316。 ·Zbl 0863.49010号 [71] R.A.Poliquin和R.T.Rockafellar，变分分析中的Prox-正则函数，Trans。阿默尔。数学。Soc.，348（1996），第1805-1838页，https://doi.org/10.1090/s0002-9947-96-01544-9。 ·Zbl 0861.49015号 [72] R.T.Rockafellar，《凸分析》，普林斯顿大学出版社，新泽西州普林斯顿，1970年，https://doi.org/10.2307/j.ctt14bs1ff。 ·Zbl 0193.18401号 [73] R.T.Rockafellar和R.J.Wets，变分分析，格兰德伦数学。威斯。317，Springer，纽约，1998年，https://doi.org/10.1007/978-3-642-02431-3。 ·Zbl 0888.49001号 [74] L.Stella、A.Themelis和P.Patrinos，非光滑优化问题的正向准牛顿方法，计算。最佳方案。申请。，67（2017），第443-487页，https://doi.org/10.1007/s10589-017-9912-y。 ·Zbl 1401.90226号 [75] L.Stella、A.Themelis、P.Sopasakis和P.Patrinos，《非线性模型预测控制的简单高效算法》，载于《第56届决策与控制年会论文集》，IEEE，2017年，第1939-1944页，https://doi.org/10.109/CDC.2017.8263933。 [76] J.Sun、Q.Qu和J.Wright，相位恢复的几何分析，Found。计算。数学。，18（2018），第1131-1198页，https://doi.org/10.1007/s10208-017-9365-9。 ·Zbl 1401.94049号 [77] J.Tanner和K.Wei，用交替最速下降法完成低秩矩阵，应用。计算。哈蒙。分析。，40（2016），第417-429页，https://doi.org/10.1016/j.acha.2015.08.003。 ·Zbl 1336.65047号 [78] M.Teboulle，熵近端映射及其在非线性规划中的应用，数学。操作。研究，17（1992），第670-690页，https://doi.org/10.1287/moor.173.670。 ·兹比尔0766.90071 [79] M.Teboulle，优化一阶方法的简化视图，数学。程序。，170（2018），第67-96页，https://doi.org/10.1007/s10107-018-1284-2。 ·Zbl 1391.90482号 [80] A.Themelis，结构化非凸优化的近似算法，博士论文，KU Leuven/IMT Lucca，2018年，https://lirias2repo.kuleuven.be/bitstream/id/524341/。 [81] A.Themelis、M.Ahookhosh和P.Patrinos，《关于通过不精确牛顿方法加速前向背向分裂》，载于分裂算法、现代算子理论和应用，R.Luke、H.Bauschke和R.Burachik编辑，Springer，纽约，2019年，第363-412页，https://doi.org/10.1007/978-3-030-25939-6_15。 [82] A.Themelis和P.Patrinos，《SuperMann:寻找非扩张算子不动点的超线性收敛算法》，IEEE Trans。自动化。控制，64（2019），https://doi.org/10.109/TAC.2019.2906393。 ·Zbl 1482.49019号 [83] A.Themelis、L.Stella和P.Patrinos，两个非凸函数之和的前向背向包络：进一步的性质和非单调线搜索算法，SIAM J.Optim。，28（2018），第2274-2303页，https://doi.org/10.1137/16M1080240。 ·Zbl 1404.90106号 [84] P.Tseng和S.Yun，非光滑可分离极小化的坐标梯度下降法，数学。程序。，117（2009），第387-423页，https://doi.org/10.1007/s10107-007-0170-0。 ·Zbl 1166.90016号 [85] K.Ueda和N.Yamashita，无约束优化的无线搜索正则化牛顿方法，计算。最佳方案。申请。，59（2014），第321-351页，https://doi.org/10.1007/s10589-014-9656-x。 ·兹比尔1302.90218 [86] L.Van den Dries，Tame拓扑和\（O\）-极小结构，伦敦数学。Soc.Lect（社会学）。注释序列。248，剑桥大学出版社，英国剑桥，1998年，https://doi.org/10.1017/CBO9780511525919。 ·Zbl 0953.03045号 [87] L.Van den Dries和C.Miller，《几何范畴和（o）-最小结构》，杜克数学。J.，84（1996），第497-540页，https://doi.org/10.1215/S0012-7094-96-08416-1。 ·Zbl 0889.03025号 [88] Q.Van Nguyen，用Bregman距离进行前向劈开，越南数学杂志。，45（2017），第519-539页，https://doi.org/10.1007/s10013-016-0238-3。 ·Zbl 1371.90106号 [89] N.Yamashita和M.Fukushima，《关于Levenberg-Marquardt方法的收敛速度》，《数值分析主题》，Springer，纽约，2001年，第239-249页，https://doi.org/10.1007/978-3-7091-62117-0_18。 ·Zbl 1001.65047号 [90] P.Yu、G.Li和T.K.Pong，通过Inf-Projection推导Kurdyka-Łojasiewicz指数，arXiv:1902.036352019。 [91] M.-C.Yue，Z.Zhou，A.Man-Cho So，关于局部误差界条件下三次正则化方法的二次收敛性，SIAM J.Optim。，29（2019），第904-932页，https://doi.org/10.1137/18M1167498。 ·Zbl 1411.90284号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。