×
尤尔·德罗里;马克·特布勒

光滑凸最小化的一阶方法的性能：一种新方法。 （英语） Zbl 1300.90068号

数学。程序。 145，编号1-2（A），451-482（2014）.
摘要：我们介绍了一种分析一阶黑盒优化方法最坏情况性能的新方法。我们关注欧几里得空间上的光滑无约束凸最小化。我们的方法依赖于这样一个观察：根据定义，黑盒优化方法的最坏情况行为本身就是一个优化问题，我们称之为性能估计问题（PEP）。我们对两类一阶算法的PEP进行了推导和分析。我们首先将此方法应用于经典梯度法，并推导出其性能的一个新的紧解析界。然后我们考虑更广泛的一阶黑盒方法，其中包括所谓的重球方法和快速梯度方案。我们证明，对于这个更广泛的类，可以通过求解一个充分松弛的凸半定PEP来获得这些方法性能的新界。最后，我们展示了一种寻找最佳步长的有效方法，该方法可以产生一阶黑盒方法，从而获得最佳的最坏情况性能。

引用于12评论
引用于66文件

MSC公司：

90C60型 数学规划问题的抽象计算复杂性
49平方米25 最优控制中的离散逼近
90C25型 凸面编程
90C20个 二次规划
90C22型 半定规划
65年第68季度 算法和问题复杂性分析

关键词：

一阶算法的性能;收敛速度;复杂性;光滑凸极小化;二元性;半定松弛;快速梯度格式;重球法

软件：

CVX公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Drori}和\textit{M.Teboule}，数学。程序。145，编号1--2（A），451--482（2014；Zbl 1300.90068）
全文： 内政部 arXiv公司

参考文献：

[1] Attouch，H.，Bolt，J.，Redont，P.：优化具有几何阻尼的惯性动力系统的特性。与近距离方法相联系。控制网络。31(3), 643-657 (2002). 擅长优化和相关主题（华沙，2001）·Zbl 1136.90474号
[2] Attouch，H.，Goudou，X.，Redont，P.：采用摩擦法的重球。I.连续动力系统：通过耗散动力系统的渐近分析，对实值函数的局部极小值的全局探索。Commun公司。康斯坦普。数学。2(1), 1-34 (2000) ·Zbl 0983.37016号 ·doi:10.1142/S02199700000025
[3] Beck，A.：二次矩阵编程。SIAM J.Optim公司。17(4), 1224-1238 (2006) ·Zbl 1136.90025号 ·数字对象标识码：10.1137/05064816X
[4] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.图像。科学。2, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[5] Beck，A.，Teboulle，M.：基于梯度的算法及其在信号恢复问题中的应用。在：《信号处理和通信中的凸优化》，第42-88页。剑桥大学出版社，剑桥（2010）·Zbl 1211.90290号
[6] Ben Tal，A.，Nemirovskii，A.S.：《现代凸优化讲座》。SIAM（2001）·Zbl 0986.90032号
[7] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社，剑桥（2004）·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[8] CVX Research，I.:CVX:Matlab软件，用于严格的凸编程，2.0 beta版。http://cvxr.com/cvx (2012) ·Zbl 0845.65023号
[9] Gonzaga，C.，Karas，E.：针对可微凸规划微调Nesterov的最速下降算法。数学。程序。1-26 (2012). http://link.springer.com/article/10.1007 ·Zbl 1297.90118号
[10] Grant，M.，Boyd，S.：非光滑凸程序的图形实现。摘自：Blondel，V.、Boyd，S.、Kimura，H.（编辑）《学习与控制的最新进展》，《控制与信息科学讲稿》，第95-110页。Springer-Verlag有限公司（2008年）。http://stanford.edu/boyd/graph_dcp.html·兹比尔1205.90223
[11] Helmberg，C.，Rendl，F.，Vanderbei，R.，Wolkowicz，H.：半定规划的内点方法。SIAM J.Optim公司。6, 342-361 (1996) ·Zbl 0853.65066号 ·数字对象标识代码：10.1137/0806020
[12] Lan，G.，Lu，Z.，Monteiro，R.：锥规划的具有迭代复杂性的原对偶一阶方法。数学。程序。126(1), 1-29 (2011) ·Zbl 1208.90113号 ·doi:10.1007/s10107-008-0261-6
[13] 莫罗，J.J.：Proximitéet dualitédans un espace hilbertien。牛。社会数学。法国93，273-299（1965）·Zbl 0136.12101号
[14] Nemirovsky，A.S.，Yudin，D.B.：优化中的问题复杂性和方法效率。Wiley-Interscience出版物。Wiley，New York（1983），从俄语翻译而来，由E.R.Dawson作序，Wiley-Interscience Series in Discrete Mathematics·Zbl 0501.90062号
[15] Nesterov，Y.：一种求解具有收敛速度的凸规划问题的方法\[O（1/k^2）\]。苏联。数学。多克。27(2), 372-376 (1983) ·Zbl 0535.90071号
[16] Nesterov，Y.：关于凸优化的介绍性讲座：一门基础课程。应用优化。Kluwer学术出版社，Dordrecht（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[17] Palomar，D.P.，Eldar，Y.C.（编辑）：信号处理和通信中的凸优化。剑桥大学出版社，剑桥（2010）·Zbl 1200.90009号
[18] Polyak，B.T.：加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理学。4(5), 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[19] Richtárik，P.：相对尺度下凸最小化的改进算法。SIAM J.Optim公司。21(3), 1141-1167 (2011) ·Zbl 1231.90313号 ·doi:10.1137/090747142
[20] Rockafellar，R.T.，Roger，J.B.W.：变分分析，Grundlehren der Mathematischen Wissenschaften[数学科学基本原理]，第317卷。柏林施普林格（1998）·Zbl 0888.49001号
[21] Sra，S.、Nowozin，S.和Wright，S.J.（编辑）：机器学习的优化。麻省理工学院出版社，剑桥（2011）
[22] Vandenberghe，L.，Boyd，S.：半定规划。SIAM版本38（1），49-95（1996）·Zbl 0845.65023号 ·数字对象标识代码：10.1137/1038003
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。