布伦丹·奥多诺休；伊曼纽·坎迪斯 加速梯度方案的自适应重启。 （英语） 兹比尔132090061 已找到。计算。数学。 15，第3期，715-732（2015）. 摘要：本文介绍了一种简单的启发式自适应重启技术，它可以显著提高加速梯度格式的收敛速度。该技术的分析依赖于观察结果，即这些方案根据每次迭代应用的动量大小显示两种行为模式。在我们所称的“高动量”状态下，由加速梯度方案生成的迭代显示出周期性行为，其中周期与目标函数局部条件数的平方根成正比。另外，已知最佳重启间隔与相同数量成正比。这意味着一种重启技术，在我们观察到周期性行为时，可以重置动量。我们提供了一个启发式分析，该分析表明，在许多情况下，自适应重启允许我们在没有函数参数先验知识的情况下恢复最佳收敛速度。 引用于2评论引用于153文件 MSC公司： 90C25型 凸面编程 90C06型 数学规划中的大尺度问题 关键词：凸优化；一阶方法；加速梯度格式 软件：ParNes公司；TFOCS公司 PDF格式BibTeX公司 XML格式引用 \textit{B.O'Donoghue}和\textit{E.Candès}，已找到。计算。数学。15，第3号，715--732（2015；Zbl 1320.90061） 全文： 内政部 arXiv公司 参考文献： [1] A.Auslander，M.Teboulle，凸和圆锥优化的内部梯度和近端方法，SIAM J.Optim.16（3），697-725（2006）·Zbl 1113.90118号 ·doi:10.1137/S1052623403427823 [2] A.Beck，M.Teboulle，线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Sci.2183-202（2009）·Zbl 1175.94009号 ·doi:10.1137/080716542 [3] S.Becker，E.CandèS，M.Grant，凸锥问题模板及其在稀疏信号恢复中的应用，数学。程序。计算3（3），165-218（2011）·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5 [4] S.Boyd，L.Vandenberghe，《凸优化》（剑桥大学出版社，剑桥，2004）·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [5] E.Candès，J.Romberg，T.Tao，从不完整和不准确的测量中恢复稳定信号，Commun。纯应用程序。数学59（8），1207-1223（2006）·邮编1098.94009 ·doi:10.1002/cpa.20124年 [6] E.Candès，M.Wakin，压缩采样简介，IEEE信号处理。Mag.25（2），21-30（2008）。 ·doi:10.10109/MSP.2007.914731 [7] A.Chambolle，R.De Vore，N.Lee，B.Lucier，《非线性小波图像处理：变分问题、压缩和通过小波收缩去除噪声》，IEEE Trans。图像处理。7（3），319-335（1998）·Zbl 0993.94507号 ·数字对象标识代码：10.1109/83.661182 [8] A.Chiang，《数学经济学的基本方法》（McGraw-Hill，纽约，1984年）。 [9] I.Daubechies，M.Defrise，C.De Mol，稀疏约束线性反问题的迭代阈值算法，Commun。纯应用程序。数学57（11），1413-1457（2004）·Zbl 1077.65055号 ·doi:10.1002/cpa.20042 [10] D.Donoho，压缩传感，IEEE Trans。《Inf.Theory》52（4），1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582 [11] M.Gu，L.Lim，C.Wu，PARNES：精确恢复稀疏和近似稀疏信号的快速收敛算法。技术报告（2009年）。arXiv:0911.0492·Zbl 1284.65055号 [12] M.Hestenes，E.Stiefel，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。展位49（6），409-436（1952）·Zbl 0048.09901号 ·doi:10.6028/jres.049.044 [13] G.Lan，R.Monteiro，凸规划一阶惩罚方法的迭代复杂性。2008年6月，亚特兰大乔治亚理工学院工业与系统工程学院手稿 [14] G.Lan，Z.Lu，R.Monteiro，锥规划的o（1/ϵ）迭代复杂性的原对偶一阶方法，数学。程序。1-29 (2009). ·Zbl 1208.90113号 [15] 刘杰。；袁，L。；Ye，J.，一类融合套索问题的有效算法，7月 [16] 内米洛夫斯基，凸规划中的有效方法。课堂讲稿（1994年）。http://www2.isye.gatech.edu/nemirovs/Lect_EMCO.pdf·Zbl 0820.68058号 [17] A.Nemirovski，D.Yudin，优化中的问题复杂性和方法效率。《离散数学中的Wiley-Interscience系列》（Wiley，纽约，1983年）·Zbl 0501.90062号 [18] Y.Nesterov，一种求解收敛速度为O（1/k2）的凸规划问题的方法，Sov。数学。Dokl.27（2），372-376（1983）·Zbl 0535.90071号 [19] Y.Nesterov，《凸优化入门讲座：基础课程》（Kluwer Academic，Dordrecht，2004）·兹比尔1086.90045 ·doi:10.1007/978-1-4419-8853-9 [20] Y.Nesterov，最小化复合目标函数的梯度方法。核心讨论文件（2007年）。http://www.ecore.be/DPs/dp_1191313936.pdf。 ·Zbl 1113.90118号 [21] J.Nocedal，S.Wright，《数值优化》。Springer运筹学系列（Springer，柏林，2000）。 [22] B.Polyak，优化简介。数学与工程翻译系列（优化软件，出版部，纽约，1987年）·兹比尔0708.90083 [23] R.Tibshirani，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.B58（1），267-288（1994）·Zbl 0850.62538号 [24] P.Tseng，《关于凹凸优化的加速近似梯度法》（2008年）。http://pages.cs.wisc.edu/brecht/cs726docs/Tseng。APG.pdf格式·Zbl 0850.62538号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。