×
李庆培;斯蒂芬·赖特。

正则化优化的不精确逐次二次逼近。 （英语） Zbl 1420.90045号

计算。最佳方案。申请。 72，第3号，641-674（2019）.
摘要：连续二次近似或二阶近似方法有助于最小化光滑部分和促进正则化的凸部分（可能是非光滑部分）之和的函数。大多数迭代复杂性分析都集中于最近梯度法的特殊情况，或其加速变体。由于在每次迭代时都很难获得子问题的封闭解，因此对使用二阶近似来处理光滑部分的方法的研究很少。事实上，可能需要使用迭代算法来找到这些子问题的不精确解。在这项工作中，我们对不精确连续二次近似方法的迭代复杂性进行了全局分析，表明子问题的不精确解在固定的最优性乘法精度内足以保证与精确版本相同的收敛速度，以直观的方式将复杂性与不精确性度量联系起来。我们的结果允许灵活选择二阶项，包括牛顿和准牛顿选择，并且不一定要求在以后的迭代中提高子问题解的精度。对于表现出与强凸性有关的特性的问题，算法以全局线性速率收敛。对于一般凸问题，收敛速度在早期是线性的，而总速度是（O（1/k））。对于非凸问题，一阶最优性准则以（O（1/\sqrt{k}）的速率收敛到零。

引用于15文件

MSC公司：

90C25型 凸规划
90C26型 非凸规划，全局优化
90 C55 连续二次规划型方法

关键词：

凸优化;非凸优化;正则化优化;可变公制;近端法;二阶近似;不精确方法

软件：

LBFGS-B型;GQTPAR公司;L-BFGS公司
PDF格式BibTeX公司 XML格式引用
\textit{C.-p.Lee}和\textit{S.J.Wright}，计算。最佳方案。申请。72，第3号，641--674（2019年；Zbl 1420.90045）
全文： DOI程序 arXiv公司

参考文献：

[1] Bach，F.：次梯度法和条件梯度法之间的对偶性。SIAM J.Optim公司。25(1), 115-129 (2015) ·Zbl 1358.90155号 ·数字对象标识代码：10.1137/130941961
[2] Bonettini，S.，Loris，I.，Porta，F.，Prato，M.：基于非光滑优化的可变度量不精确线性搜索方法。SIAM J.Optim公司。26(2), 891-921 (2016) ·兹比尔1338.65157 ·doi:10.1137/15M1019325
[3] Bonettini，S.，Loris，I.，Porta，F.，Prato，M.，Rebegoldi，S.:关于非凸优化中基于线性搜索的近似粒度方法的收敛性。反问题33（5），055005（2017）·Zbl 1373.65040号 ·数字对象标识代码：10.1088/1361-6420/aa5bfd
[4] Burke，J.V.，Moré，J.J.，Toraldo，G.：线性和凸约束信赖域方法的收敛性。数学。程序。47(1-3), 305-336 (1990) ·兹比尔0711.90060 ·doi:10.1007/BF01580867
[5] Byrd，R.H.，Lu，P.，Nocedal，J.，Zhu，C.：边界约束优化的有限内存算法。SIAM J.科学。计算。16, 1190-1208 (1995) ·Zbl 0836.65080号 ·doi:10.1137/0916069
[6] Byrd，R.H.，Nocedal，J.，Oztoprak，F.：\[{五十} -1个\]L-1正则化优化。数学。程序。157(2), 375-396 (2016) ·Zbl 1342.49037号 ·doi:10.1007/s10107-015-0941-y
[7] Chouzenoux，E.，Pesquet，J.C.，Repetti，A.：最小化可微函数和凸函数之和的可变度量正向-反向算法。J.优化。理论应用。162(1), 107-132 (2014) ·Zbl 1318.90058号 ·doi:10.1007/s10957-013-0465-7
[8] Combettes，P.L.，Wajs，V.R.：通过近端正向-反向分裂进行信号恢复。多尺度模型。模拟。4(4), 1168-1200 (2005) ·Zbl 1179.94031号 ·doi:10.1137/050626090
[9] Conn，A.R.，Gould，N.I.M.，Toint，P.L.：一类简单边界优化信赖域算法的全局收敛性。SIAM J.数字。分析。25(2), 433-460 (1988) ·Zbl 0643.65031号 ·doi:10.1137/0725029
[10] Drusvyatskiy，D.，Lewis，A.S.：近似方法的误差界、二次增长和线性收敛。数学。操作。第43（3）号决议，919-948（2005）·Zbl 1440.90046号 ·doi:10.1287/门.2017.0889
[11] Fletcher，R.：最优化的实用方法。霍博肯·威利（1987）·Zbl 0905.65002号
[12] Ghanbari，H.，Scheinberg，K.：具有线性和加速次线性收敛速度的正则凸优化的近似拟Newton方法。计算。最佳方案。申请。69(3), 597-627 (2018) ·Zbl 1397.90301号 ·doi:10.1007/s10589-017-9964-z
[13] Jiang，K.，Sun，D.，Toh，K.C.：大规模线性约束凸sdp的非精确加速近似梯度法。SIAM J.Optim公司。22（3），1042-1064（2012）·Zbl 1401.90120号 ·数字对象标识代码：10.1137/10847081
[14] Lee，C.P.，Chang，K.W.：正则经验风险最小化的分布式块-对角近似方法。技术代表（2017）·Zbl 1496.68276号
[15] Lee，C.p.，Lim，C.H.，Wright，S.J.：具有非光滑正则化的经验风险最小化的分布式准Newton算法。摘自：第24届ACM SIGKDD知识发现和数据挖掘国际会议记录，第1646-1655页。ACM，纽约（2018）
[16] Lee，C.P.，Roth，D.：对偶线性SVM的分布式盒约束二次优化。摘自：机器学习国际会议论文集（2015）
[17] Lee，J.D.，Sun，Y.，Saunders，M.A.：最小化复合函数的近似牛顿型方法。SIAM J.Optim公司。24(3), 1420-1443 (2014) ·Zbl 1306.65213号 ·doi:10.1137/130921428
[18] Li，D.H.，Fukushima，M.：关于非凸无约束优化问题的BFGS方法的全局收敛性。SIAM J.Optim公司。11(4), 1054-1064 (2001) ·Zbl 1010.90079号 ·doi:10.1137/S1052623499354242
[19] Li，J.，Andersen，M.S.，Vandenberghe，L.：自协调函数的非精确近似牛顿方法。数学。操作方法。第85（1）号决议，第19-41号决议（2017年）·Zbl 1386.90105号 ·doi:10.1007/s00186-016-0566-9
[20] Lin，C.J.，Moré，J.J.：大规模边界约束问题的牛顿方法。SIAM J.Optim公司。9, 1100-1127 (1999) ·Zbl 0957.65064号 ·doi:10.1137/S1052623498345075
[21] Lin，H.，Mairal，J.，Harchaoui，Z.：一阶凸优化的催化剂加速：从理论到实践。J.马赫。学习。决议18（212），1-54（2018）·Zbl 1469.68101号
[22] Liu，D.C.，Nocedal，J.：关于大规模优化的有限内存BFGS方法。数学。程序。45(1), 503-528 (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF01589116
[23] Moré，J.J.，Sorensen，D.C.：计算信任区域步骤。SIAM J.科学。统计计算。4(3), 553-572 (1983) ·Zbl 0551.65042号 ·doi:10.1137/0904038
[24] Necoara，I.，Nesterov，Yu。，Glineur，F.：非强凸优化一阶方法的线性收敛。数学。程序。(2018). https://doi.org/10.1007/s10107-018-1232-1 ·兹比尔1412.90111
[25] Nesterov，Y.：凸优化入门讲座：基础课程。Kluwer学术出版社，Dordrecht（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[26] Nesterov，Y.：最小化复合函数的梯度方法。数学。程序。140(1), 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5
[27] Nocedal，J.，Wright，S.J.：《数值优化》，第二版。施普林格，柏林（2006）·Zbl 1104.65059号
[28] Rodomanov，A.，Kropotov，D.：有限和优化的超线性收敛近端牛顿型方法。摘自：《机器学习国际会议论文集》，第2597-2605页（2016）
[29] Scheinberg，K.，Tang，X.：具有全局复杂性分析的实用非精确近似拟Newton方法。数学。程序。160(1-2), 495-529 (2016) ·Zbl 1366.90166号 ·doi:10.1007/s10107-016-0997-3
[30] Schmidt，M.，Roux，N.，Bach，F.：凸优化的非精确近似粒度方法的收敛速度。摘自：《神经信息处理系统进展》，第1458-1466页（2011年）
[31] Tran-Dini，Q.，Kyrillidis，A.，Cevher，V.：约束凸最小化的不精确近端路径允许算法。SIAM J.Optim公司。24(4), 1718-1745 (2014) ·Zbl 1311.90104号 ·doi:10.1137/130944539
[32] Tseng，P.，Yun，S.：非光滑可分离最小化的坐标梯度下降法。数学。程序。117(1), 387-423 (2009) ·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[33] Villa，S.、Salzo，S.，Baldassarre，L.、Verri，A.：加速和不精确的正向-反向算法。SIAM J.Optim公司。23(3), 1607-1633 (2013) ·Zbl 1295.90049号 ·数字对象标识代码：10.1137/10844805
[34] Wright，S.J.，Nowak，R.D.，Figueiredo，M.A.T.：通过可分离近似进行稀疏重建。IEEE传输。信号处理。57, 2479-2493 (2009) ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[35] Yang，T.：通信交易计算：分布式随机双坐标上升。摘自：《神经信息处理系统进展》，第629-637页（2013年）
[36] Zheng，S.，Wang，J.，Xia，F.，Xu，W.，Zhang，T.：正则化损失最小化的通用分布式双坐标优化框架。J.马赫。学习。第18（115）号决议，1-52（2017）·Zbl 1435.68290号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。