×
尤尔·德罗里;阿德里安·泰勒。

凸极小化的有效一阶方法：一种构造性方法。 （英语） Zbl 1451.90118号

数学。程序。 184，编号1-2（A），183-220（2020）.
摘要：我们描述了一种新的构造技术，用于为各种大规模凸最小化设置（包括平滑、非平滑和强凸最小化）设计高效的一阶方法。该技术建立在共轭梯度法的某种变体之上，以构造一系列方法，从而（a）该族中的所有方法都与基共轭梯度法具有相同的最坏情况保证，并且（b）该族包括固定步长的一阶方法。我们通过推导光滑和非光滑情况下的最优方法来证明该方法的有效性，其中包括以每次迭代的一维线搜索为代价放弃问题参数知识的新方法，以及一种统一这些类的通用方法，它需要每次迭代进行三维搜索。在强凸情况下，我们展示了如何使用数值工具进行构造，并表明与Nesterov著名的快速梯度方法相比，所得到的方法提供了改进的最坏情况边界。

引用于14文件

MSC公司：

90C25型 凸面编程
90C60型 数学规划问题的抽象计算复杂性
90C22型 半定规划
65年第68季度 算法和问题复杂性分析

软件：

传奇;香蒜酱;莫塞克;YALMIP公司;CVX公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Drori}和\textit{A.B.Taylor}，数学。程序。184，编号1--2（A），183-220（2020；Zbl 1451.90118）
全文： 内政部 arXiv公司

参考文献：

[1] 阿杰瓦尼，Y。；沙列夫·施瓦茨，S。；Shamir，O.，《关于光滑和强凸优化的上下界》，J.Mach。学习。研究，17，126，1-51（2016）·Zbl 1391.90467号
[2] Beck，A.，二次矩阵编程，SIAM J.Optim。，17, 4, 1224-1238 (2007) ·Zbl 1136.90025号
[3] 贝克，A。；Drori，Y。；Teboulle，M.，一类二次矩阵问题的新半定规划松弛格式，Oper。Res.Lett.公司。，40, 4, 298-302 (2012) ·Zbl 1247.90210号
[4] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号
[5] Bubeck，S.，Lee，Y.T.，Singh，M.：Nesterov加速梯度下降的几何替代方案（2015）。arXiv预印本arXiv：1506.08187
[6] De Klerk，E。；Glineur，F。；Taylor，AB，关于光滑强凸函数的精确线搜索梯度方法的最坏情况复杂性，Optim。莱特。，11, 7, 1185-1199 (2017) ·Zbl 1381.90067号
[7] Defazio，A.，Bach，F.，Lacoste-Julien，S.：SAGA：支持非强凸复合目标的快速增量梯度方法。摘自：《神经信息处理系统进展》，第1646-1654页（2014年）
[8] Devolder，O.，Glineur，F.，Nesterov，Y.：不精确预言的光滑凸问题的中间梯度方法。卢万天主教大学运营研究和计量经济中心（CORE）技术报告（2013年）·Zbl 1317.90196号
[9] Devolder，O。；Glineur，F。；Nesterov，Y.，带不精确预言的光滑凸优化的一阶方法，数学。程序。，146, 1-2, 37-75 (2014) ·Zbl 1317.90196号
[10] Diehl，M。；费罗，HJ；Haverbeke，N.，非线性MPC和移动时域估计的有效数值方法，非线性模型预测。控制，384391-417（2009）·Zbl 1195.93038号
[11] Drori，Y.：对优化算法复杂性分析的贡献。Tel-Avi大学博士论文（2014）
[12] Drori，Y.，光滑凸最小化的基于信息的精确复杂性，J.Complex。，39，1-16（2017）·Zbl 1357.68072号
[13] Drori，Y。；Teboulle，M.，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145, 1-2, 451-482 (2014) ·Zbl 1300.90068号
[14] Drori，Y。；Teboulle，M.，凯利切割平面法的最佳变体，数学。程序。，160, 1-2, 321-351 (2016) ·Zbl 1349.90880号
[15] Drusvyatskiy，D。；法泽尔，M。；Roy，S.，基于最优二次平均的最优一阶方法，SIAM J.Optim。，2015年1月28日-271（2018）·Zbl 1382.65169号
[16] 法兹利亚布，M。；里贝罗，A。；莫拉里，M。；Preciado，VM，通过积分二次约束分析优化算法：非强凸问题，SIAM J.Optim。，28, 3, 2654-2689 (2018) ·Zbl 1406.90089号
[17] Grant，M.，Boyd，S.：CVX:Matlab软件，用于严格的凸规划。2.0版测试版。http://cvxr.com/cvx (2013)
[18] 赫斯特内斯，MR；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。办公室展台。，49, 6, 409-436 (1952) ·兹比尔0048.09901 ·doi:10.6028/jres.049.044
[19] Hu，B.，Lessard，L.：内斯特罗夫加速方法的耗散理论。摘自：国际机器学习会议（ICML），第1549-1557页（2017）
[20] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。《神经信息处理系统进展》，第315-323页（2013）
[21] Karimi，S.，Vavasis，S.A.：共轭梯度和加速梯度的统一收敛界。(2016). arXiv预打印arXiv:1605.00320
[22] Kim，D。；Fessler，JA，光滑凸最小化的优化一阶方法，数学。程序。，159, 1-2, 81-107 (2016) ·Zbl 1345.90113号
[23] Kim，D。；Fessler，JA，关于优化梯度法的收敛性分析，J.Optim。理论应用。，172, 1, 187-205 (2017) ·Zbl 1360.90200号
[24] Le Roux，N.，Schmidt，M.，Bach，F.：有限训练集具有指数收敛速度的随机梯度方法。摘自：《神经信息处理系统进展》，第2663-2671页（2012年）
[25] Lemaréchal，C。；Sagastizábal，C.，《可变度量捆绑方法：从概念到可实现形式》，数学。程序。，76, 3, 393-410 (1997) ·Zbl 0872.90072号
[26] Lessard，L。；Recht，B。；Packard，A.，通过积分二次约束分析和设计优化算法，SIAM J.Optim。，26, 1, 57-95 (2016) ·Zbl 1329.90103号
[27] Löfberg，J.：YALMIP：MATLAB中用于建模和优化的工具箱。摘自：CACSD会议记录（2004年）
[28] Mosek，A.：《Mosek优化软件》，第54卷（2010年）。网址：http://www.mosek.com
[29] Narkiss，G.，Zibulevsky，M.：大规模无约束问题的序列子空间优化方法。In:Technion-IIT，电气工程系（2005）
[30] Nemirovski，A.，Orth-光滑凸优化方法，Izvestia AN SSSR，2937-947（1982）
[31] Nemirovski，A.，线性算子方程基于信息的复杂性，J.Complex。，153-175年8月2日（1992年）·Zbl 0758.65044号
[32] Nemirovski，A.，Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15, 1, 229-251 (2004) ·Zbl 1106.90059号
[33] Nemirovski，A.，Yudin，D.：基于信息的数学编程复杂性。Izvestia AN SSSR，爵士。Tekhnicheskaya Kibernetika 1（1983）（俄语）
[34] 内米洛夫斯基，A。；尤丁，D.，《优化中的问题复杂性和方法效率》（1983），纽约：威利国际科学出版社，纽约·Zbl 0501.90062号
[35] Nesterov，Y.，求解具有收敛速度的凸规划问题的一种方法（O（1/k^2）），苏联数学Doklady，27372-376（1983）·Zbl 0535.90071号
[36] Nesterov，Y.，《凸优化入门讲座：基础课程》（2004），伦敦：Kluwer，伦敦·Zbl 1086.90045号
[37] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22, 2, 341-362 (2012) ·Zbl 1257.90073号
[38] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 1, 125-161 (2013) ·Zbl 1287.90067号
[39] 内斯特罗夫，Y。；Shikhman，V.，非光滑凸极小化的拟单调次梯度方法，J.Optim。理论应用。，16531917-940（2015年）·兹比尔1330.90078 ·doi:10.1007/s10957-014-0677-5
[40] Polyak，BT，《加速迭代法收敛的一些方法》，苏联计算机。数学。数学。物理。，4, 5, 1-17 (1964) ·Zbl 0147.35301号
[41] Polyak，BT，《优化导论》（1987），纽约：优化软件，纽约·Zbl 0625.62093号
[42] Ruszczynski，AP，非线性优化（2006），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1108.90001号
[43] Ryu，E.K.，Taylor，A.B.，Bergeling，C.，Giselsson，P.：运营商分裂绩效评估：紧缩因子和最佳参数选择（2018）。arXiv预打印arXiv:1812.00146·Zbl 1511.90322号
[44] Schmidt，M.，Le Roux，N.，Bach，F.：凸优化的非精确近似粒度方法的收敛速度。摘自：《神经信息处理系统进展》，第1458-1466页（2011年）
[45] Scieur，D.，Roulet，V.，Bach，F.，D'Aspremont，A.：集成方法和优化算法。摘自：《神经信息处理系统进展》，第1109-1118页（2017年）
[46] Su，W.，Boyd，S.，Candes，E.：建模Nesterov加速梯度法的微分方程：理论和见解。摘自：《神经信息处理系统进展》，第2510-2518页（2014年）
[47] Taylor，A.：凸优化一阶方法的凸插值和性能估计。卢万天主教大学博士论文（2017年）
[48] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸优化一阶方法的精确最坏情况性能，SIAM J.Optim。，27, 3, 1283-1313 (2017) ·Zbl 1371.90108号
[49] Taylor，A.B.、Hendrickx，J.M.、Glineur，F.：性能评估工具箱（PESTO）：一阶优化方法的自动最坏情况分析。参见：IEEE第56届决策与控制年会（CDC），第1278-1283页（2017）·Zbl 1371.90108号
[50] Taylor，AB；亨德里克斯，JM；Glineur，F.，《光滑强凸插值和一阶方法的精确最坏情况性能》，数学。程序。，161，1-2307-345（2017）·Zbl 1359.90098号
[51] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸极小化近端梯度法的精确最坏情况收敛速度，J.Optim。理论应用。，178, 2, 455-476 (2018) ·Zbl 1394.90464号
[52] Van Scoy，B。；弗里曼，RA；Lynch，KM，最小化强凸函数的已知最快全局收敛一阶方法，IEEE控制系统。莱特。，2, 1, 49-54 (2018)
[53] Wilson，A.C.，Recht，B.，Jordan，M.I.：优化中动量方法的Lyapunov分析。(2016). arXiv预打印arXiv:1611.02635
[54] Wright，S.，坐标下降算法，数学。程序。，151, 1, 3-34 (2015) ·Zbl 1317.49038号
[55] 赖特，S。；Nocedal，J.，数值优化，科学，3567-68（1999）·Zbl 0930.65067号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。