×
Shummin中山;靖国那鲁岛;广岛雅贝

基于Broyden族最小化复合函数的非精确近端无记忆拟Newton方法。 （英文） Zbl 1469.90141号

计算。最佳方案。应用。 79，编号1，127-154（2021）.
摘要：本研究考虑一种近似牛顿型方法来解决复合函数（光滑非凸函数和非光滑凸函数之和）的最小化问题。通常，该方法使用目标函数平滑部分的Hessian矩阵或其近似值。矩阵的一致正定性对建立该方法的全局收敛性起着重要作用。在本研究中，基于无记忆Broyden族和修正的谱标度割线条件，提出了一种不精确的近似无记忆准Newton方法。该方法不精确地解决了计算缩放近端映射的子问题。近似矩阵保持一致正定性，搜索方向为下降方向。利用这些性质，证明了该方法对非凸目标函数具有全局收敛性。进一步证明了强凸目标函数的R线性收敛性。最后，给出了一些数值结果。

引用于7文件

MSC公司：

90立方厘米 非线性规划
90元53 拟牛顿型方法

关键词：

非光滑优化;近牛顿型方法;不精确近似法;无记忆准牛顿法;Broyden家族;全局和局部收敛性质

软件：

PNOPT公司;备用日志记录;TFOCS公司;伦敦银行支持向量机
PDF格式BibTeX公司 XML格式引用
\textit{S.Nakayama}等人，计算。最佳方案。申请。79，编号1，127--154（2021；Zbl 1469.90141）
全文： 内政部

参考文献：

[1] Al-Baali，M.，关于拟Newton方法自标度更新公式的测度函数，最优化，32，59-69（1995）·Zbl 0816.49023号 ·网址：10.1080/02331939508844035
[2] Beck，A.，优化中的一阶方法，MOS-IAM系列优化（2017），新德里：SIAM，新德里·Zbl 1384.65033号 ·数字对象标识代码：10.1137/1.9781611974997
[3] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.Imag。科学。，2, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[4] 贝克尔，S。；坎迪斯，EJ；Grant，MC，凸锥问题模板及其在稀疏信号恢复中的应用，数学。程序。计算。，3, 165-218 (2011) ·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[5] Becker，S.、CandéS，E.J.、Grant M.C.：TFOCS网站。http://cvxr.com/tfocs/download（下载）/（最新访问时间：2020年6月5日）
[6] 贝克尔，S。；法迪利，J。；Ochs，P.，《关于拟牛顿正向分裂：近端演算与收敛》，SIAM J.Optim。，29, 2445-2481 (2019) ·Zbl 1461.65128号 ·doi:10.1137/18M1167152
[7] 布莱德利，PS；Mangasarian，OL，通过线性支持向量机进行大规模数据识别，Optim。方法软件。，13, 1-10 (2000) ·Zbl 0986.90085号 ·doi:10.1080/10556780008805771
[8] Chang，CC；Lin，CJ，LIBSVM：支持向量机库，ACM Trans。智力。系统。技术。，2, 1-27 (2011) ·数字对象标识代码：10.1145/1961189.1961199
[9] Chang，C.C.，Lin，C.J.：LIBSVM数据：分类、回归和多标签。网址：https://www.csie.ntu.edu.tw/cjlin/libsvmtools/datasets/（最新访问时间：2020年6月5日）
[10] 程，WY；Li，DH，光谱标度BFGS方法，J.Optim。理论应用。，146, 305-319 (2010) ·Zbl 1198.90355号 ·doi:10.1007/s10957-010-9652-y
[11] Dolan，ED；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[12] 福岛，M。；Mine，H.，某些非凸最小化问题的广义近点算法，Int.J.Syst。科学。，12, 989-1000 (1981) ·Zbl 0467.65028号 ·网址：10.1080/00207728108963798
[13] 吉本斯，LE；赫恩，DW；Pardalos，PM；拉马纳，MV，最大团问题的连续表征，数学。操作。Res.，22754-768（1997年）·Zbl 0883.90098号 ·doi:10.1287/门22.3.754
[14] Hoshino，S.，《可变度量方法的公式》，IMA J.Appl。数学。，10, 394-403 (1972) ·Zbl 0258.65065号 ·doi:10.1093/imamat/10.394
[15] Koh，K。；Kim，SJ；Boyd，S.，《大规模（ell_1）正则化logistic回归的内点方法》，J.Mach。学习。第8号决议，1519-1555（2007年）·Zbl 1222.62092号
[16] 寇，CX；Dai，YH，无约束优化的改进自缩放无记忆Broyden-Fletcher-Goldfarb-Shanno方法，J.Optim。理论应用。，165, 209-224 (2015) ·Zbl 1319.49042号 ·doi:10.1007/s10957-014-0528-4
[17] Lee，JD；孙，Y。；Saunders，M.，最小化复合函数的近似牛顿型方法，SIAM J.Optim。，24, 1420-1443 (2014) ·Zbl 1306.65213号 ·doi:10.1137/130921428
[18] Lee，J.D.，Sun，Y.，Saunders，M.A.：PNOPT网站。https://web.stanford.edu/group/SOL/software/pnopt/（最新访问时间：2020年6月5日）
[19] 李，J。；安徒生，理学硕士；Vandenberghe，L.，自洽函数的非精确近端牛顿方法，数学。方法操作。研究，85，19-41（2017）·Zbl 1386.90105号 ·doi:10.1007/s00186-016-0566-9
[20] Li，DH；Fukushima，M.，一种改进的BFGS方法及其在非凸极小化中的全局收敛性，J.Compute。申请。数学。，129, 15-35 (2001) ·Zbl 0984.65055号 ·doi:10.1016/S0377-0427（00）00540-9
[21] Liu，X.，Hsieh，C.J.，Lee，J.D.，Sun，Y.：大规模机器学习的不精确子样本近端牛顿型方法。arXiv：1708.08552（2017）
[22] Markowitz，H.，《投资组合选择》，J.Financ。，7, 77-91 (1952)
[23] 莫达雷斯，F。；马萨诸塞州哈桑；Leong，WJ，用于大规模无约束优化的无记忆修正对称秩一方法，美国应用杂志。科学。，6, 2054-2059 (2009) ·doi:10.3844/ajaxsp.2009.2054.2059
[24] 莫伊，澳大利亚；Leong，WJ，通过对称秩一更新实现大规模优化的充分下降三项共轭梯度法，optimization，65121-143（2016）·Zbl 1335.65054号 ·doi:10.1080/02331934.2014.994625
[25] Nakayama，S.，无约束优化的三项共轭梯度法和无记忆拟牛顿法的混合方法，SUT J.Math。，54, 79-98 (2018) ·Zbl 1422.90055
[26] Nakayama，S。；Y.Narushima。；Yabe，H.，无记忆对称秩一方法，无约束优化的充分下降性，J.Oper。Res.Soc.Jpn.公司。，61, 53-70 (2018) ·Zbl 1391.90493号
[27] Nakayama，S。；Y.Narushima。；Yabe，H.，无约束优化中基于谱标度Broyden族的无记忆准Newton方法，J.Ind.Manag。最佳。，15, 1773-1793 (2019) ·Zbl 1438.90331号
[28] Nesterov，Y.，《凸优化入门讲座：基础课程》，87（2003），柏林：施普林格出版社，柏林
[29] Scheinberg，K。；Tang，X.，具有全局复杂性分析的实用不精确近似拟Newton方法，数学。程序。，160, 495-529 (2016) ·Zbl 1366.90166号 ·doi:10.1007/s10107-016-0997-3
[30] Shanno，DF，带不精确搜索的共轭梯度法，数学。操作。第3244-256号决议（1978年）·Zbl 0399.90077号 ·doi:10.1287/门3.3.244
[31] 斯洛伐克谢瓦德；Keerthi，SS，《使用稀疏逻辑回归进行基因选择的简单高效算法》，生物信息学，192246-2253（2003）·doi:10.1093/生物信息系统/btg308
[32] 斯特拉·L。；Themelis，A。；Patrinos，P.，非光滑优化问题的前向反拟Newton方法，计算。最佳方案。申请。，67, 443-487 (2017) ·Zbl 1401.90226号 ·doi:10.1007/s10589-017-9912-y
[33] Sun，W。；Yuan，Y.，优化理论与方法：非线性规划（2006），柏林：施普林格，柏林·邮编1129.90002
[34] Themelis，A。；斯特拉·L。；Patrinos，P.，两个非凸函数之和的前向背向包络：进一步的性质和非单调线搜索算法，SIAM J.Optim。，28, 2274-2303 (2018) ·Zbl 1404.90106号 ·doi:10.1137/16M1080240
[35] Themelis，A。；阿霍霍什，M。；帕特里诺斯，P。；Bauschke，HH；波拉奇克，RS；Luke，DR，《关于通过不精确牛顿方法加速前向向后分裂》，分裂算法，现代算子理论和应用，363-412（2019），查姆：斯普林格，查姆·doi:10.1007/978-3-030-25939-615
[36] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B、 58、267-288（1996）·Zbl 0850.62538号
[37] Tibshirani，R.，《通过套索进行回归收缩和选择：回顾》，J.R.Stat.Soc.Ser。B、 73273-282（2011）·Zbl 1411.62212号 ·doi:10.1111/j.1467-9868.2011.00771.x
[38] 温，B。；陈，X。；Pong，TK，一类非凸非光滑极小化问题的外推近似梯度算法的线性收敛性，SIAM J.Optim。，27, 124-145 (2017) ·Zbl 1359.90138号 ·doi:10.1137/16M1055323
[39] SJ赖特；罗德岛诺瓦克；Figueiredo，MAT，可分离近似稀疏重建，IEEE Trans。信号处理。，57, 2479-2493 (2009) ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[40] 元，MM；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。B、 68、49-67（2006）·兹比尔1141.62030 ·doi:10.1111/j.1467-9868.2005302.x
[41] Zhang，Y。；Tewarson，P.，具有Broyden家族预凸部分更新的准Newton算法，IMA J.Numer。分析。，8, 487-509 (1988) ·Zbl 0661.65061号 ·doi:10.1093/imanum/8.4.487
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。