×
金东桓;杰弗里·费斯勒。

优化一阶方法降低光滑凸函数梯度的效率。 （英语） 邮编1468.90085

J.优化。理论应用。 188，第1期，192-219（2021）.
摘要：本文根据最坏情况收敛界优化了光滑凸极小化的一阶方法的步长系数(即，效率）梯度范数的减少。这项工作基于性能估计问题方法。对于大维光滑凸极小化问题，在代价函数值的初始有界条件下，所得方法的最坏情况梯度界是最优的，直到常数。然后，本文说明了该方法具有类似于优化梯度法的计算效率形式。

引用于12文件

MSC公司：

90C25型 凸面编程
90立方厘米 非线性规划
90C60型 数学规划问题的抽象计算复杂性
65年第68季度 算法和问题复杂性分析
49平方米25 最优控制中的离散逼近
90C22型 半定规划

关键词：

一阶方法;梯度法;光滑凸最小化;最坏情况性能分析

软件：

YALMIP公司;香蒜酱;塞杜米;CVX公司
PDF格式BibTeX公司 XML格式引用
\textit｛D.Kim｝和\textit｛J.A.Fessler｝，J.Optim。理论应用。188，编号1，192--219（2021；Zbl 1468.90085）
全文： 内政部 arXiv公司

参考文献：

[1] Drori，Y。；Teboulle，M.，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145, 1-2, 451-82 (2014) ·Zbl 1300.90068号 ·doi:10.1007/s10107-013-0653-0
[2] Nesterov，Y.，收敛速度为（O（1/k^2）的无约束凸极小化问题的一种方法，Dokl。阿卡德。恶心。苏联，269，3543-7（1983）
[3] Nesterov，Y.，《凸优化入门讲座：基础课程》（2004），纽约：Kluwer，纽约·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[4] Nemirovsky，AS，线性算子方程的基于信息的复杂性，J.Complex，8，2，153-75（1992）·Zbl 0758.65044号 ·doi:10.1016/0885-064X（92）90013-2
[5] Kim，D。；Fessler，JA，光滑凸最小化的优化一阶方法，数学。程序。，159, 1, 81-107 (2016) ·Zbl 1345.90113号 ·doi:10.1007/s10107-015-0949-3
[6] Drori，Y.，光滑凸最小化的基于信息的精确复杂性，J.Complex。，39，1-16（2017）·Zbl 1357.68072号 ·doi:10.1016/j.jco.2016.11.001
[7] Kim，D.，Fessler，J.A.：优化一阶方法降低光滑凸函数梯度的效率（2018）。arxiv公司：1803.06600
[8] Nesterov，Y.，Gasnikov，A.，Guminov，S.，Dvurechensky，P.：具有小维松弛预言的原始-对偶加速梯度方法。最佳方案。方法软件。(2020). doi:10.1080/10556788.2020.1731747·Zbl 1489.90124号
[9] Nesterov，Y.：如何使梯度变小。Optima 88（2012）。http://www.mathopt.org/？nav=optima_newsletter网站
[10] Allen-Zhu，Z.：如何使梯度随机变小：更快的凸和非凸SGD。In:NIPS（2018）
[11] Drori，Y.，Shamir，O.：用随机梯度下降寻找平稳点的复杂性。在：ICML（2020）
[12] Carmon，Y.，Duchi，J.C.，Hinder，O.，Sidford，A.：寻找平稳点的下界II：一阶方法。数学。程序。(2019). doi:10.1007/s10107-019-01431-x·兹比尔1451.90128
[13] Kim，D。；Fessler，JA，《快速迭代收缩/阈值算法（FISTA）的另一种研究》，SIAM J.Optim。，28, 1, 223-50 (2018) ·Zbl 1391.90476号 ·doi:10.1137/16M108940X
[14] Kim，D。；Fessler，JA，推广光滑凸最小化的优化梯度法，SIAM J.Optim。，28, 2, 1920-50 (2018) ·Zbl 1400.90245号 ·数字对象标识码：10.1137/17m112124x
[15] 加迪米，S。；Lan，G.，非凸非线性随机规划的加速梯度法，数学。程序。，156, 1, 59-99 (2016) ·Zbl 1335.62121号 ·doi:10.1007/s10107-015-0871-8
[16] 蒙泰罗，RDC；Svaiter，BF，凸优化的加速混合近端外梯度法及其对二阶方法的影响，SIAM J.Optim。，23, 2, 1092-1125 (2013) ·Zbl 1298.90071号 ·数字对象标识代码：10.1137/10833786
[17] Taylor，AB；亨德里克斯，JM；Glineur，F.，平滑强凸插值和一阶方法的精确最坏情况性能，数学。程序。，1611307-45（2017）·Zbl 1359.90098号 ·doi:10.1007/s10107-016-1009-3
[18] Nacson，M.S.，Lee，J.D.，Gunasekar，S.，Savarese，P.H.P.，Srebro，N.，Soudry，D.：可分离数据上梯度下降的收敛性。In:AISTATS（2019）
[19] Soudry，D.，Hoffer，E.，Nacson，M.S.，Srebro，N.：可分离数据梯度下降的隐式偏差。In：程序。国际学习代表大会（2018年）·Zbl 1477.62192号
[20] 贝克，A。；Teboulle，M.，线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Sci。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[21] Drori，Y.，Taylor，A.B.：凸极小化的有效一阶方法：一种构造性方法。数学。程序。(2019). doi:10.1007/s10107-019-01410-2·Zbl 1451.90118号
[22] Taylor，AB；亨德里克斯，JM；Glineur，F.，复合凸极小化近端梯度法的精确最坏情况收敛速度，J.Optim。理论应用。，178, 2, 455-76 (2018) ·Zbl 1394.90464号 ·doi:10.1007/s10957-018-1298-1
[23] CVX研究公司：CVX:Matlab软件，用于严格的凸编程，2.0版。http://cvxr.com/cvx (2012)
[24] Grant，M.，Boyd，S.：非光滑凸程序的图形实现。摘自：Blondel V.，Boyd，S.，Kimura，H.（编辑）《学习与控制的最新进展》，《控制与信息科学讲义》，第95-110页。施普林格，柏林（2008）。http://stanford.edu网站/boyd/graph_dcp.html·Zbl 1205.90223号
[25] Kim，D。；Fessler，JA，关于优化梯度法的收敛性分析，J.Optim。理论应用。，172, 1, 187-205 (2017) ·Zbl 1360.90200号 ·doi:10.1007/s10957-016-1018-7
[26] Sturm，J.，使用SeDuMi 1.02，一个用于对称锥优化的MATLAB工具箱，Optim。方法软件。，11, 1, 625-53 (1999) ·Zbl 0973.90526号 ·doi:10.1080/10556789908805766
[27] Löfberg，J.：YALMIP：MATLAB中用于建模和优化的工具箱。In：程序。CACSD会议（2004）
[28] Taylor，A.B.、Hendrickx，J.M.、Glineur，F.：性能评估工具箱（PESTO）：一阶优化方法的自动最坏情况分析。In：程序。Conf.Decision and Control，第1278-83页（2017年）。doi:10.1109/CDC.2017.8263832
[29] Nesterov，Y.，非光滑函数的平滑最小化，数学。程序。，103, 1, 127-52 (2005) ·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。