×
Frank E.柯蒂斯。;王琪

用于非凸光滑优化的具有不精确子问题解的TRACE的最坏情况复杂性。 （英语） Zbl 1522.90119号

SIAM J.Optim公司。 33，第3期，2191-2221（2023）.
摘要：提出了一种求解非凸光滑优化问题的算法，并对其进行了分析和测试。该算法是带有收缩和扩展的信任区域算法（TRACE）的扩展[F.E.柯蒂斯等，数学。程序。162，第1-2（A）、1-32号（2017年；Zbl 1360.49020号)]. 特别是，扩展允许算法使用出现的子问题的不精确解，这是解决大规模问题的一个重要特征。允许不精确性的方式是，与原始TRACE相比，保持了获得（ε）近似一阶平稳点的最佳迭代复杂度（mathcal{O}（ε{-3/2}）），而Hessian向量乘积的最坏情况复杂度可以显著提高。数值实验表明，允许不精确的子问题解决方案的好处，并且该算法与最先进的技术相比具有优势。

MSC公司：

90C26型 非凸规划，全局优化
65千5 数值数学规划方法
65K10码 数值优化和变分技术
65年20月 数值算法的复杂性和性能
65年第68季度 算法和问题复杂性分析
90立方 非线性规划
90C60型 数学规划问题的抽象计算复杂性

关键词：

非线性优化;非凸优化;最坏情况迭代复杂性;最坏情况评估复杂性;信任区域方法

引文：

Zbl 1360.49020号

软件：

CUTEst公司;GQTPAR公司;HSL-VF05型
PDF格式BibTeX公司 XML格式引用
\textit{F.E.Curtis}和\textit{Q.Wang}，SIAM J.Optim。33，编号3，2191--2221（2023；Zbl 1522.90119）
全文： 内政部 arXiv公司

参考文献：

[1] Adachi，S.、Iwata，S.，Nakatsukasa，Y.和Takeda，A.，通过广义特征值问题解决信任区域子问题，SIAM J.Optim。，27（2017），第269-291页，doi:10.1137/16M1058200·兹比尔1359.49009
[2] Birgin，E.G.、Gardenghi，J.L.、Martínez，J.M.、Santos，S.A.和Toint，PH.L.，使用高阶正则化模型的无约束非线性优化的最坏情况评估复杂性，数学。程序。，163（2017年），第359-368页·Zbl 1365.90236号
[3] Birgin，E.G.和Martínez，J.M.，无约束优化中带三次下降条件的二次正则化的使用，SIAM J.Optim。，27（2017），第1049-1074页，doi:10.1137/16M110280X·Zbl 1370.90260号
[4] Carmon，Y.和Duchi，J.C.，正则非凸二次问题的Krylov子空间解分析，《第32届神经信息处理系统国际会议论文集》，2018年，第10728-10738页。
[5] Carmon，Y.、Duchi，J.C.、Hinder，O.和Sidford，A.，非凸优化的加速方法，SIAM J.Optim。，28（2018），第1751-1772页，doi:10.1137/17M1114296·Zbl 1400.90250号
[6] Cartis，C.，Gould，N.I.M.和Toint，Ph.L.，关于最速下降的复杂性，非凸无约束优化问题的牛顿和正则化牛顿方法，SIAM J.Optim。，20（2010），第2833-2852页，doi:10.1137/090774100·Zbl 1211.90225号
[7] Cartis，C.、Gould，N.I.M.和Toint，Ph.L.，《非凸优化算法的评估复杂性：理论、计算和观点》，SIAM，费城，2022年，doi:10.1137/1.9781611976991·Zbl 1520.90002号
[8] Cartis，C.、Gould，N.I.M.和Toint，Ph.L.，无约束优化的自适应立方正则化方法。第一部分：动机、收敛性和数值结果，数学。程序。，127（2011），第245-295页·Zbl 1229.90192号
[9] Cartis，C.、Gould，N.I.M.和Toint，Ph.L.，无约束优化的自适应立方正则化方法。第二部分：最坏情况函数和派生估值复杂性，数学。程序。，130（2011年），第295-319页·兹比尔1229.90193
[10] Conn，A.R.，Gould，N.I.M.，and Toint，Ph.L.，《最小化约束和线性等式约束下的非凸函数的原对偶算法》，载于《非线性优化及相关主题》（Erice，1998），Kluwer学术出版社，Dordrecht，2000年，第15-49页·Zbl 1138.90447号
[11] Conn，A.R.、Gould，N.I.M.和Toint，Ph.L.，《信托区域方法》，费城SIAM，2000年，doi:10.1137/1.978089857·Zbl 0958.65071号
[12] Curtis，F.E.、Lubberts，Z和Robinson，D.P.，信赖域方法的简明复杂性分析，Optim。莱特。，12（2018），第1713-1724页，doi:10.1007/s11590-018-1286-2·Zbl 1412.90139号
[13] Curtis，F.E.，Robinson，D.P.，Royer，C.W.和Wright，S.J.，非凸优化的具有强二阶复杂度保证的信赖域牛顿CG，SIAM J.Optim。，31（2021），第518-544页，doi:10.1137/19M130563X·Zbl 1461.90107号
[14] Curtis，F.E.、Robinson，D.P.和Samadi，M.，非凸优化的最坏情况迭代复杂度为（mathcal{O}（epsilon{-3/2}）的信赖域算法，数学。程序。，162（2017），第1-32页，doi:10.1007/s10107-016-1026-2·Zbl 1360.49020号
[15] Curtis，F.E.、Robinson，D.P.和Samadi，M.，非凸优化的最坏情况迭代复杂度为\（\mathcal{O}（\epsilon^{-3/2}）\）的不精确正则化牛顿框架，IMA J.Numer。分析。，39（2018），第1296-1327页，doi:10.1093/imanum/dry022·Zbl 1464.65062号
[16] Dembo，R.S.、Eisenstat，S.C.和Steihaug，T.，《不精确牛顿法》，SIAM J.Numer。分析。，19（1982），第400-408页，doi:10.1137/0719025·Zbl 0478.65030号
[17] Dolan，E.D.和Moré，J.J.，《性能曲线基准优化软件》，数学。程序。，91（2002），第201-213页·邮编：1049.90004
[18] Dussault，J.-P.，ARCq：一种新的立方体自适应正则化，Optim。方法软件。，33（2018），第322-335页，doi:10.1080/10556788.2017.1322080·Zbl 1397.90356号
[19] Dussault，J.-P.和Orban，D.，可伸缩自适应立方正则化方法，技术报告G-2015-109，GERAD，2015年。
[20] Gould，N.I.M.、Lucidi，S.、Roma，M.和Toint，Ph.L.，使用Lanczos方法解决信任区域子问题，SIAM J.Optim。，9（1999），第504-525页，doi:10.1137/S1052623497322735·Zbl 1047.90510号
[21] Gould，N.I.M.、Orban，D.和Toint，Ph.L.，CUTEst:具有安全线程的约束和非约束测试环境，技术报告，英国奇尔顿卢瑟福阿普尔顿实验室，2013年，doi:10.1007/s10589-014-9687-3·Zbl 1325.90004号
[22] Gould，N.I.M.、Porcelli，M.和Toint，Ph.L.，更新自适应立方正则化算法中的正则化参数，计算。最佳方案。申请。，53（2012），第1-22页·Zbl 1259.90134号
[23] Gould，N.I.M.和Simoncini，V.，最小化正则二次子问题迭代算法的误差估计，Optim。方法软件。，35（2020年），第304-328页·Zbl 1428.90160号
[24] Grapiglia，G.N.，Yuan，J.和Yuan。关于无约束优化的信任区域和正则化方法的收敛性和最坏情况复杂性，数学。程序。，152（2015），第491-520页·兹比尔1319.90065
[25] Griewank，A.，《用有界三次项修正牛顿法进行无约束优化》，技术报告NA/12，剑桥大学应用数学和理论物理系，1981年。
[26] Jia，Z.和Wang，F.，信任区域子问题广义Lanczos信任区域方法的收敛性，SIAM J.Optim。，31（2021），第887-914页，doi:10.1137/19M1279691·Zbl 1462.90083
[27] Kuczyñski，J.和Woźniakowski，H.，通过随机启动的幂和Lanczos算法估计最大特征值，SIAM J.矩阵分析。申请。，13（1992），第1094-1122页，doi:10.1137/0613066·Zbl 0759.65016号
[28] Kuczyński，J.和Woźniakowski，H.，Lanczos算法的极值特征值和条件数的概率界，SIAM J.矩阵分析。申请。，15（1994），第672-691页，doi:10.1137/S0895479892230456·Zbl 0801.65034号
[29] Moré，J.J.和Sorensen，D.C.，《计算信赖域步骤》，SIAM J.Sci。统计师。计算。，4（1983），第553-572页，doi:10.1137/0904038·Zbl 0551.65042号
[30] Nesterov，Y.和Polyak，B.T.，牛顿方法的立方正则化及其全局性能，数学。程序。，108（2006），第117-205页·Zbl 1142.90500
[31] Nocedal，J.和Wright，S.J.，《数值优化》，第二版，Springer Ser。操作。Res.财务。工程师，施普林格，纽约，2006年·Zbl 1104.65059号
[32] Royer，C.W.，O'Neill，M.，and Wright，S.J.，《一种具有复杂性保证的Newton-CG算法，用于平滑无约束优化，数学》。程序。，180（2020年），第451-488页·Zbl 1448.90081号
[33] Royer，C.W.和Wright，S.J.，光滑非凸优化二阶线性搜索算法的复杂性分析，SIAM J.Optim。，28（2018），第1448-1477页，doi:10.1137/17M1134329·Zbl 1391.49055号
[34] Steihaug，T.，共轭梯度法和大规模优化中的信赖域，SIAM J.Numer。分析。，20（1983年），第626-637页，doi:10.1137/0720042·Zbl 0518.65042号
[35] Toint，Ph.L.，《利用牛顿法实现有效稀疏性最小化》，载于《稀疏矩阵及其用途》，Duff，I.S.主编，学术出版社，伦敦，纽约，1981年，第57-88页·Zbl 0463.65045号
[36] 张力宏、沈川、李荣川，关于广义Lanczos信任区域方法，SIAM J.Optim。，27（2017），第2110-2142页，doi:10.1137/16M1095056·Zbl 1380.90210号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。