×
姜如军；岳曼昌；周志硕

一种用于求解三次正则化子问题的具有复杂性分析的加速一阶方法。 （英语） Zbl 1473.90116号

计算。最佳方案。申请。 79，编号2，471-506（2021）.
摘要：我们提出了一种基于新格式的三次正则化子问题（CRS）的一阶求解方法。重构是一个约束凸优化问题，其可行域允许一个易于计算的投影。我们的重新计算需要计算黑森矩阵的最小特征值。为了避免对精确最小特征值进行昂贵的计算，我们为重新公式化开发了一个替代问题，其中用近似值替换精确最小特征根。然后我们应用一阶方法，如Nesterov的加速投影梯度法（APG）和投影Barzilai-Borwein方法来解决代理问题。作为我们的主要理论贡献，我们证明了当用Lanczos方法计算（ε）-近似最小特征值并且用APG近似求解代理问题时，我们的方法在矩阵向量乘法（其中（\cdot）\）隐藏对数因子）。数值实验表明，在简单和困难的情况下，我们的方法分别与Krylov子空间方法相当并优于Krylov-子空间方法。我们进一步将我们的方法实现为自适应立方正则化方法的子问题求解器，数值结果表明我们的算法与最新的算法相当。

引用于三文件

MSC公司：

90C25型 凸面编程
90 C59 数学规划中的近似方法和启发式

关键词：

三次正则化子问题；一阶方法；约束凸优化；复杂性分析

软件：

CUTEst公司
PDF格式BibTeX公司 XML格式引用
\textit｛R.Jiang｝等人，计算机。最佳方案。申请。79，编号2，471--506（2021；Zbl 1473.90116）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Agarwal，N.，Allen Zhu，Z.，Bullins，B.，Hazan，E.，Ma，T.：比梯度下降更快地找到近似局部极小值。摘自：第49届ACM SIGACT计算机理论年会论文集，第1195-1199页。ACM（2017）·Zbl 1369.68290号
[2] Barzilai，J。；Borwein，JM，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[3] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.Imag。科学。，2, 1, 183-202 (2009) ·兹比尔1175.94009 ·doi:10.1137/080716542
[4] 比安康西尼，T。；刘齐，G。；莫里尼，B。；Sciandone，M.，《关于无约束优化立方正则化中迭代方法的使用》，计算。最佳方案。申请。，60, 1, 35-57 (2015) ·Zbl 1308.90166号 ·doi:10.1007/s10589-014-9672-x
[5] 伯金，E。；Martínez，J.，《无约束极小化的带混合因式分解和三次正则化的类牛顿方法》，计算。最佳方案。申请。，73, 3, 707-753 (2019) ·Zbl 1422.90070 ·doi:10.1007/s10589-019-00089-7
[6] 卡蒙，Y。；Duchi，J.，梯度下降发现立方正则非凸牛顿步，SIAM J.Optim。，29, 3, 2146-2178 (2019) ·Zbl 1461.65135号 ·doi:10.1137/17M1113898
[7] Carmon，Y.，Duchi，J.C.：正则化非凸二次型问题的Krylov子空间解分析。摘自：《神经信息处理系统进展》，第10705-10715页（2018年）
[8] 卡蒙，Y。；杜奇，JC；Hinder，O。；Sidford，A.，非凸优化的加速方法，SIAM J.Optim。，28, 2, 1751-1772 (2018) ·Zbl 1400.90250号 ·doi:10.1137/17M1114296
[9] 卡地斯，C。；古尔德，NI；Toint，PL，无约束优化的自适应立方正则化方法。第一部分：动机、收敛性和数值结果，数学。程序。，127, 2, 245-295 (2011) ·Zbl 1229.90192号 ·doi:10.1007/s10107-009-0286-5
[10] Dolan，ED；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 2, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[11] Flippo，OE；Jansen，B.，椭球面上非凸二次优化的对偶性和灵敏度，Eur.J.Oper。决议，94，1，167-178（1996）·兹比尔0930.90076 ·doi:10.1016/0377-2217（95）00199-9
[12] 甘巴里，H。；Scheinberg，K.，具有线性和加速次线性收敛速度的正则化凸优化的近端拟牛顿方法，Comput。最佳方案。申请。，69, 3, 597-627 (2018) ·Zbl 1397.90301号 ·doi:10.1007/s10589-017-9964-z
[13] 戈卢布，GH；Van Loan，CF，矩阵计算（2013），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 1268.65037号
[14] 古尔德，NI；Orban，D。；Toint，PL，Cutest：一个有约束和无约束的测试环境，具有用于数学优化的安全线程，Compute。最佳方案。申请。，60, 3, 545-557 (2015) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[15] Ho-Nguyen，N。；Kilinc-Karzan，F.，解决信任区域子问题及其变体的二阶锥基方法，SIAM J.Optim。，27, 3, 1485-1512 (2017) ·Zbl 1370.90170号 ·doi:10.1137/16M1065197
[16] 伊藤，N。；武田，A。；Toh，KC，用于分类的统一公式和快速加速近端梯度法，J.Mach。学习。第18号、第1号、第510-558号决议（2017年）·Zbl 1433.68351号
[17] 江，R。；Li，D.，广义信赖域子问题的新格式和有效算法，SIAM J.Optim。，29, 2, 1603-1633 (2019) ·Zbl 1421.90105号 ·doi:10.1137/18M1174313
[18] 库琴斯基，J。；Woźniakowski，H.，通过随机启动的幂和Lanczos算法估计最大特征值，SIAM J.矩阵分析。申请。，13, 4, 1094-1122 (1992) ·Zbl 0759.65016号 ·数字对象标识代码：10.1137/0613066
[19] 内斯特罗夫，Y。；Polyak，BT，牛顿方法的立方正则化及其全局性能，数学。程序。，108, 1, 177-205 (2006) ·Zbl 1142.90500 ·doi:10.1007/s10107-006-0706-8
[20] Nesterov，YE，求解具有收敛速度的凸规划问题的一种方法（{O}（1/k^2）），苏联数学。Doklady，27，2，372-376（1983）·Zbl 0535.90071号
[21] 奥多诺休，B。；Candes，E.，《加速梯度方案的自适应重启》，Found。计算。数学。，15, 3, 715-732 (2015) ·兹比尔132090061 ·doi:10.1007/s10208-013-9150-3
[22] 罗耶，CW；Wright，SJ，光滑非凸优化二阶线性搜索算法的复杂性分析，SIAM J.Optim。，28, 2, 1448-1477 (2018) ·兹比尔1391.49055 ·doi:10.1137/17M1134329
[23] JA特罗普；Wright，SJ，线性反问题稀疏解的计算方法，Proc。IEEE，98,6948-958（2010）·doi:10.1109/JPROC.2010.2044010
[24] Wang，J。；Xia，Y.，基于隐凸性的信赖域子问题的线性时间算法，Optim。莱特。，11, 8, 1639-1646 (2017) ·Zbl 1410.90145号 ·doi:10.1007/s11590-016-1070-0
[25] Yue，MC；Zhou，Z。；Man-Cho So，A.，关于局部误差界条件下三次正则化方法的二次收敛性，SIAM J.Optim。，29, 1, 904-932 (2019) ·Zbl 1411.90284号 ·doi:10.1137/18M1167498
[26] Yue，MC；Zhou，Z。；因此，AMC是一类非光滑凸极小化问题的非精确SQA方法，其收敛性保证基于Luo-Teng误差界性质Math。程序。，174, 1-2, 327-358 (2019) ·Zbl 1412.49061号 ·doi:10.1007/s10107-018-1280-6
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。