阿列克桑德·亚拉夫金。；罗伯特·巴拉迪；多米尼克·奥尔班 非光滑正则优化问题的近似拟Newton信赖域方法。 （英语） Zbl 1493.90139号 SIAM J.Optim公司。 32，第2号，900-929（2022）. 摘要：我们开发了一种信赖域方法，用于最小化光滑项（f）和非光滑项（h）的和，这两个项都可以是非凸的。我们的方法的每次迭代都最小化了信赖域中可能存在的非凸模型（f+h）。该模型在值上与（f+h）一致，在中心处为次微分。当（f）满足一个光滑条件，特别是当它具有Lipschitz连续梯度且（h）是适当的下半连续时，我们建立了全局收敛到一个一阶稳定点。（h）的模型要求是适当的、下半连续的和近似有界的。在这些弱假设下，我们建立了一个最坏情况（O（1/ε^2））迭代复杂度界限，该界限与标准信任区域方法的已知复杂度界限相匹配，以实现平滑优化。我们详细介绍了一个特殊的例子，称为TR-PG，其中我们使用了f的有限记忆准牛顿模型，并用近似梯度法计算了一个步长，从而得到了一个实用的近似准牛顿方法。我们为一个名为R2的二次正则化变量建立了类似的收敛性质和复杂性界，并为非凸问题提供了一种具有自适应步长的近似梯度方法的解释。R2还可以用于计算trust-region方法中的步骤，从而生成名为TR-R2的实现。我们描述了我们的Julia实现，并报告了稀疏优化和信号处理反问题的数值结果。TR-PG和TR-R2都表现出了良好的性能，与基于凸模型的两种线性搜索近端拟牛顿方法相比，具有良好的性能。 引用于三文件 MSC公司： 90C26型 非凸规划，全局优化 90C53型 拟Newton型方法 90 C56 无导数方法和使用广义导数的方法 65K10码 数值优化和变分技术 关键词：非光滑优化；非凸优化；复合优化；信任区域方法；拟牛顿算法；近似梯度法；近似拟牛顿法 软件：GQTPAR公司；取消锁定BoX；朱莉娅；微分方程.jl；S+小波；SPGL1型；NeuralPDE.jl公司；转发差异 PDF格式BibTeX公司 XML格式引用 \textit{A.Y.Aravkin}等人，SIAM J.Optim。32，第2号，900--929（2022；Zbl 1493.90139） 全文： 内政部 arXiv公司 参考文献： [1] A.Aravkin和D.Davis，通过方差减少对统计估计进行修正，数学。操作。Res.，45（2020），第292-322页，https://doi.org/10.1287/moor.2019.0992。 ·Zbl 1461.65120号 [2] R.Baraldi、R.Kumar和A.Aravkin，基于非光滑约束的基追踪去噪，IEEE Trans。信号处理。，67（2019），第5811-5823页，https://doi.org/10.109/TSP.2019.2946029。 ·Zbl 07123516号 [3] H.H.Bauschke和P.L.Combettes，Hilbert空间中的凸分析和单调算子理论，Springer，Cham，瑞士，2011，https://doi.org/10.1007/978-3-319-48311-5。 ·Zbl 1218.47001号 [4] A.Beck，优化中的一阶方法，MOS-SIAM Ser。最佳方案。2017年费城SIAM 25号，https://doi.org/10.1137/1.9781611974997。 ·Zbl 1384.65033号 [5] J.Bezanson、A.Edelman、S.Karpinski和V.B.Shah，Julia:《数值计算的新方法》，SIAM Rev.，59（2017），第65-98页，https://doi.org/10.1137/1141000671。 ·Zbl 1356.68030号 [6] T.Blumensath和M.E.Davies，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27（2009），第265-274页·Zbl 1174.94008号 [7] R.I.Boţ、E.R.Csetnek和S.Laíszloí，两个非凸函数之和最小化的惯性前向后退算法，EURO J.Compute。最佳。，4（2016），第3-25页，https://doi.org/10.1007/s13675-015-0045-8。 ·Zbl 1338.90311号 [8] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页，https://doi.org/10.1007/s10107-013-0701-9。 ·Zbl 1297.90125号 [9] C.Cartis，N.I.M.Gould和Ph.L.Toint，《关于复合函数极小化的评估复杂性及其在非凸非线性规划中的应用》，SIAM J.Optim。，21（2011），第1721-1739页，https://doi.org/10.1137/1082381X。 ·Zbl 1236.90118号 [10] P.L.Combettes和J.-C.Pesquet，《信号处理中的近距离分裂方法》，载于《科学与工程中反问题的定点算法》，施普林格，纽约，2011年，第185-212页，https://doi.org/10.1007/978-1-4419-9569-8_10。 ·Zbl 1242.90160号 [11] A.R.Conn、N.I.M.Gould和Ph.L.Toint，信托区域方法，MOS-SIAM Ser。最佳方案。1，SIAM，费城，2000年，https://doi.org/10.1137/1.9780898719857。 ·Zbl 0958.65071号 [12] F.E.Curtis、Z.Lubberts和D.Robinson，信赖域方法的简明复杂性分析，Optim。莱特。，12（2018），第1713-1724页，https://doi.org/10.1007/s11590-018-1286-2。 ·Zbl 1412.90139号 [13] F.E.Curtis、D.P.Robinson和M.Samadi，非凸优化的最坏情况迭代复杂度为（mathcalO（epsilon^-3/2））的信赖域算法，数学。程序。，162（2017），第1-32页，https://doi.org/10.1007/s10107-016-1026-2。 ·Zbl 1360.49020号 [14] J.Dennis、S.Li和R.Tapia，非光滑优化信赖域方法全局收敛的统一方法，数学。程序。，68（1995），第319-346页，https://doi.org/10.1007/BF01585770。 ·Zbl 0835.90086号 [15] J.E.Dennis Jr.和H.H.W.Mei，使用函数和梯度值的两种新的无约束优化算法，J.Optim。理论应用。，28（1979），第453-482页，https://doi.org/10.1007/BF00932218。 ·Zbl 0388.65022号 [16] D.L.Donoho，压缩传感，IEEE Trans。通知。《理论》，52（2006），第1289-1306页，https://doi.org/10.109/TIT.2006.871582。 ·兹比尔1288.94016 [17] J.Fan和R.Li，通过非冲突惩罚似然选择变量及其预言性质，J.Amer。统计师。协会，96（2001），第1348-1360页，https://doi.org/10.1198/016214501753382273。 ·Zbl 1073.62547号 [18] R.FitzHugh，神经膜阈值现象的数学模型，公牛。数学。生物物理学。，17（1955），第257-278页，https://doi.org/10.1007/BF02477753。 [19] H.Y.Gao和A.G.Bruce，《波浪收缩与坚固收缩》，统计师。Sinica，7（1997），第855-874页，https://www.jstor.org/stable/24306159。 ·兹比尔1067.62529 [20] G.Grapiglia、J.Yuan和Y.Yuan，非线性步长控制算法：一阶和二阶最优性的复杂性界限，J.Optim。理论应用。，171（2016），第980-997页，https://doi.org/10.1007/s10957-016-1007-x。 ·Zbl 1354.90138号 [21] W.Hare和C.Sagastizaíbal，计算非凸函数的近点，数学。程序。，116（2009），第221-258页，https://doi.org/10.1007/s10107-007-0124-6。 ·Zbl 1168.90010号 [22] D.Kim、S.Sra和I.S.Dhillon，《一种可扩展的信任区域算法及其在混合形式回归中的应用》，载于ICML，国际机器学习协会，宾夕法尼亚州斯特劳德斯堡，2010年，第519-526页，https://icml.cc/Conferences/2010/papers/562.pdf。 [23] J.D.Lee、Y.Sun和M.A.Saunders，最小化复合函数的近似牛顿型方法，SIAM J.Optim。，24（2014），第1420-1443页，https://doi.org/10.1137/10921428。 ·Zbl 1306.65213号 [24] H.Li和Z.Lin，非凸规划的加速近似梯度法，《第28届神经信息处理系统国际会议论文集》，第1卷，NIPS’15，2015年，麻省理工学院出版社，马萨诸塞州剑桥，第379-387页，http://irc.cs.sdu.edu.cn/973project/result/download/2015/28.AcceleratedProximal.pdf。 [25] P.L.Lions和B.Mercier，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16（1979年），第964-979页，https://doi.org/10.1137/0716071。 ·Zbl 0426.6500号 [26] S.Lotfi、T.Bonniot de Ruisselet、D.Orban和A.Lodi，具有受控Hessian近似范数的随机阻尼L-BFGS，OPT2020机器学习优化会议，2020年，https://doi.org/10.13140/RG.2.2.27851.41765/1。 [27] J.M.Martiínez和A.C.Moretti，线性约束非光滑函数最小化的信赖域方法，数学。程序。，76（1997），第431-449页，https://doi.org/10.1007/BF02614392。 ·Zbl 0871.90088号 [28] J.J.Moreí和D.C.Sorensen，计算信任区域步骤，SIAM J.Sci。统计师。计算。，4（1983年），第553-572页，https://doi.org/10.1137/0904038。 ·Zbl 0551.65042号 [29] J.Nagumo、S.Arimoto和S.Yoshizawa，模拟神经轴突的主动脉冲传输线，Proc。IRE，50（1962），第2061-2070页，https://doi.org/10.109/JRPROC.1962.288235。 [30] Y.Nesterov，具有全局性能最坏情况保证的修正Gauss-Newton格式，Optim。方法软件。，22（2007），第469-483页，https://doi.org/10.1080/08927020600643812。 ·兹比尔1136.65051 [31] D.Orban和A.S.Siqueira，Linearoperators.jl。，https://doi.org/10.5281/zenodo.2559295 (2019). [32] M.J.D.Powell，《无约束优化的新算法》，非线性规划，J.Rosen、O.Mangasarian和K.Ritter编辑，学术出版社，纽约，1970年，第31-65页，https://doi.org/10.1016/B978-0-12-597050-1.50006-3。 ·Zbl 0228.90043号 [33] L.Qi和J.Sun，局部李氏函数最小化的信赖域算法，数学。程序。，66（1994），第25-43页，https://doi.org/10.1007/BF01581136。 ·Zbl 0821.90108号 [34] C.Rackauckas和Q.Nie，differential equations.jl-解决微分方程的性能丰富的生态系统，Julia，J.Open Res.Softw。，5 (2017), 151 https://doi.org/10.5334/jors.151。 [35] J.Revels、M.Lubin和T.Papamarkou，朱莉娅的前向模式自动区分，https://arxiv.org/abs/1607.07892 (2016). [36] R.Rockafellar和R.Wets，变分分析，格兰德伦数学。威斯。317，施普林格，柏林，1998年，https://doi.org/10.1007/978-3-642-02431-3。 ·Zbl 0888.49001号 [37] T.Steihaug，共轭梯度法和大规模优化中的信赖域，SIAM J.Numer。分析。，20（1983），第626-637页，https://doi.org/10.1137/0720042。 ·Zbl 0518.65042号 [38] L.Stella、A.Themelis、P.Sopasakis和P.Patrinos，《非线性模型预测控制的简单高效算法》，2017年IEEE第56届决策与控制年会，IEEE，新泽西州皮斯卡塔韦，2017年，第1939-1944页，https://doi.org/10.109/CDC.2017.8263933。 [39] A.Themelis、L.Stella和P.Patrinos，两个非凸函数之和的前向背向包络：进一步的性质和非单调线搜索算法，SIAM J.Optim。，28（2018），第2274-2303页，https://doi.org/10.1137/16M1080240。 ·Zbl 1404.90106号 [40] R.Tibshirani，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B统计。Methodol.方法。，58（1996），第267-288页，https://doi.org/10.1111/j.2517-6161.1996.tb02080.x。 ·Zbl 0850.62538号 [41] E.van den Berg和M.P.Friedlander，《探索基础追踪解决方案的帕累托边界》，SIAM J.Sci。计算。，31（2009），第890-912页，https://doi.org/10.1137/080714488。 ·Zbl 1193.49033号 [42] B.范德波尔，Lxxxviii。关于“放松-振荡”，伦敦，爱丁堡，都柏林菲洛斯。科学杂志。，2（1926年），第978-992页，https://doi.org/10.1080/14786442608564127。 ·JFM 52.0450.05号 [43] Y.-X.Yuan，非光滑优化信赖域算法收敛的条件，数学。程序。，31（1985），第220-228页，https://doi.org/10.1007/BF02591750。 ·Zbl 0576.90080号 [44] 张春海，极小极大凹罚下的几乎无偏变量选择，安统计学家。，38（2010），第894-942页，https://doi.org/10.1214/09-AOS729。 ·Zbl 1183.62120号 [45] P.Zheng和A.Aravkin，非凸反问题的松弛分裂方法，反问题，36（2020），095013，https://doi.org/10.1088/1361-6420/aba417。 ·兹比尔1451.90135 [46] P.Zheng、T.Askham、S.L.Brunton、J.N.Kutz和A.Y.Aravkin，稀疏松弛正则回归的统一框架：SR3，IEEE Access，7（2018），第1404-1423页，https://doi.org/10.109/ACCESS.2018.2886528。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。