×
文森特·鲁莱特;亚历山大·阿斯普雷蒙特

锐利、重启和加速。 （英语） Zbl 1435.90109号

SIAM J.Optim公司。 30，第1期，262-289（2020年）.
小结：Łojasiewicz不等式表明，凸优化问题的最小值的尖锐界几乎是通用的。清晰度直接控制重启方案的性能，如下所示A.S.内米洛夫斯基和于。E.内斯特罗夫[U.S.S.R.Comput.Math.Math.Phys.25，No.2，21-30（1985；Zbl 0591.90072号)；Zh的翻译。维奇尔。Mat.Mat.Fiz公司。25，第3期，356–369（1985）]。量化这些锐度界限的常数当然是不可观测的，但我们表明最佳重启策略是稳健的，搜索最佳方案只会比最佳界限增加对数因子的复杂性。总的来说，重启方案通常会加速加速方法。

引用于18文件

MSC公司：

90C25型 凸面编程

关键词：

误差界限;清晰度;重新启动;加速方法

引文：

Zbl 0591.90072号

软件：

NESUN公司;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{V.Roulet}和\textit{A.d'Aspremont}，SIAM J.Optim。30，第1号，262--289（2020；Zbl 1435.90109）
全文： 内政部 arXiv公司

参考文献：

[1] A.Asuncion和D.Newman，UCI机器学习库，http://archive.ics.uci.edu/ml/index.php, 2007.
[2] H.Attouch、J.Bolt、P.Redont和A.Soubeyran，非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35（2010），第438-457页·Zbl 1214.65036号
[3] A.Auslender和J.-P.Crouzeix，整体正则性定理，数学。操作。Res.，13（1988），第243-253页·Zbl 0655.90059号
[4] H.H.Bauschke、J.Bolt和M.Teboulle，超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用，数学。操作。研究，42（2016），第330-348页·Zbl 1364.90251号
[5] A.Beck和M.Teboulle，平滑和一阶方法：统一框架，SIAM J.Optim。，22（2012），第557-580页，https://doi.org/10.1137/100818327。 ·Zbl 1251.90304号
[6] E.Bierstone和P.D.Milman，《半解析和亚解析集》，Inst.Hautes E⁄tures Sci。出版物。数学。，67（1988），第5-42页·Zbl 0674.32002号
[7] J.Bolte，A.Danilidis和A.Lewis，非光滑亚分析函数的Łojasewicz不等式及其在亚梯度动力系统中的应用，SIAM J.Optim。，17（2007），第1205-1223页，https://doi.org/10.1137/050644641。 ·Zbl 1129.26012号
[8] J.Bolt、T.P.Nguyen、J.Peypouquet和B.W.Suter，《从误差边界到凸函数一阶下降法的复杂性》，数学。程序。，165（2017），第471-507页·Zbl 1373.90076号
[9] J.Bolt、S.Sabach和M.Teboulle，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146（2014），第459-494页·Zbl 1297.90125号
[10] J.Burke和S.Deng，《重新审视弱锐极小》。一、基础理论、控制网络。，31（2002），第439-469页·Zbl 1105.90356号
[11] J.V.Burke和M.C.Ferris，数学规划中的弱尖锐极小值，SIAM J.控制优化。，31（1993），第1340-1359页，https://doi.org/10.1137/0331063。 ·Zbl 0791.90040号
[12] D.Drusvyatskiy和A.S.Lewis，误差界，二次增长和近似方法的线性收敛，数学。操作。决议，43（2018），第919-948页·Zbl 1440.90046号
[13] O.Fercoq和Z.Qu，用粗糙强凸估计重新启动加速梯度方法，预印本，https://arxiv.org/abs/1609.07358, 2016. ·Zbl 1432.90109号
[14] O.Fercoq和Z.Qu，局部二次增长条件下加速梯度法的自适应重启，IMA J.Numer。分析。，39（2019），第2069-295页·Zbl 07130820号
[15] P.Frankel、G.Garrigos和J.Peypouquet，Kurdyka-Łojasiewicz函数的变度量分裂方法和一般收敛速度，J.Optim。理论应用。，165（2015），第874-900页·Zbl 1316.49039号
[16] R.M.Freund和H.Lu，通过函数增长条件度量，用一阶方法解决凸优化问题的新计算保证，数学。程序。，170（2018），第445-477页·Zbl 1403.90549号
[17] A.Gilpin、J.Pena和T.Sandholm，二人零和博弈中平衡态的一阶收敛算法，数学。程序。，133（2012年），第279-298页·兹比尔1243.91004
[18] P.Giselsson和S.Boyd，《快速梯度法中的单调性和重启》，载于《第53届IEEE决策与控制会议论文集》，IEEE，华盛顿特区，2014年，第5058-5063页。
[19] A.J.Hoffman，《关于线性不等式组的近似解》，J.Research Nat.Bur。《标准》，49（1952），第263-265页。
[20] A.Iouditski和Y.Nesterov。最小化一致凸函数的本原-对偶次梯度法，https://arxiv.org/abs/1401.1792, 2014.
[21] H.Karimi、J.Nutini和M.Schmidt，Polyak-Łojasewicz条件下梯度和近端梯度方法的线性收敛，《欧洲机器学习和数据库知识发现联合会议论文集》，纽约施普林格，2016年，第795-811页。
[22] T.Kerdreux、A.d'Aspremont和S.Pokutta，《重启Frank-Wolfe》，第22届国际人工智能与统计会议记录，日本冲绳，2019年，第1275-1283页。
[23] Q.Lin和L.Xiao，稀疏优化的自适应加速近端梯度法及其同伦延拓，《第31届机器学习国际会议论文集》，第32卷，中国北京，2014年，第73-81页。
[24] M.Liu和T.Yang，霍尔德误差界条件下的自适应加速梯度收敛方法，《2017年神经信息处理系统进展》，加利福尼亚州长滩，2017年，第3104-3114页。
[25] S.Łojasiewicz，Une proprie®te®topologique des sous-ensemblies analytiques re®els，摘自《Les E®quations aux De®rive®es Partielles》（巴黎，1962年），《国家科学研究中心E®ditions du Centre National De la Recherche Scientifique》，法国巴黎，1963年，第87-89页·Zbl 0234.57007号
[26] S.Łojasiewicz，Sur la geöome _trie semi-et sous-analizique，《傅里叶研究年鉴》（Grenoble），43（1993），第1575-1595页·Zbl 0803.32002号
[27] H.Lu，R.M.Freund，Y.Nesterov，用一阶方法进行相对光滑凸优化及其应用，SIAM J.Optim。，28（2018），第333-354页，https://doi.org/10.1137/16M1099546。 ·Zbl 1392.90090号
[28] O.L.Mangasarian，可微凸不等式的条件数，数学。操作。研究，10（1985），第175-179页·Zbl 0565.90059号
[29] A.Nemirovskii和Y.Nesterov，光滑凸最小化的优化方法，苏联计算。数学。数学。物理。，25（1985），第21-30页·Zbl 0591.90072号
[30] Y.Nesterov，求解具有收敛速度的凸规划问题的一种方法（{O}（1/k^2）），苏联数学。道克。，27（1983），第372-376页·Zbl 0535.90071号
[31] Y.Nesterov，非光滑函数的平滑最小化，数学。程序。，103（2005），第127-152页·Zbl 1079.90102号
[32] Y.Nesterov，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页·Zbl 1287.90067号
[33] Y.Nesterov，凸优化入门讲座：基础课程，应用。最佳方案。87，施普林格，纽约，2004年·Zbl 1086.90045号
[34] Y.Nesterov，凸优化问题的通用梯度法，数学。程序。，152（2015），第381-404页·Zbl 1327.90216号
[35] B.O'Donoghue和E.Candes，《加速梯度方案的自适应重启》，Found。计算。数学。，15（2015），第715-732页·Zbl 1320.90061号
[36] K.Pillutla、V.Roulet、S.M.Kakade和Z.Harchaoui，《训练结构化预测模型的更平滑方法》，载于《神经信息处理系统进展32》，加拿大蒙特利尔，2018年，第4766-4778页。
[37] B.T.Polyak，最小化泛函的梯度方法，Ž。Vyc岛。Mat.i Mat.Fiz.公司。，3（1963年），第643-653页（俄语）·兹比尔0196.47701
[38] J.Renegar，线性规划和半定规划的有效一阶方法，预印本，https://arxiv.org/abs/1409.5832, 2014.
[39] J.Renegar和B.Grimmer，加速一阶方法的简单近似最优重启方案，预印本，https://arxiv.org/abs/1803.00151, 2018. ·Zbl 1516.90054号
[40] S.M.Robinson，线性空间中凸规划误差界的应用，SIAM J.Control，13（1975），第271-273页，https://doi.org/10.1137/0313015。 ·Zbl 0297.90072号
[41] V.Roulet、N.Boumal和A.d'Aspremont，稀疏恢复问题的计算复杂性与统计性能，Inf.Inference，即将出版，https://doi.org/10.1093/imaiai/iay020。 ·兹比尔1470.94056
[42] W.Su、S.Boyd和E.Candes，《建模Nesterov加速梯度法的微分方程：理论和见解》，摘自《神经信息处理系统进展》27，加拿大蒙特利尔，2014年，第2510-2518页。
[43] P.Tseng，《凸凹优化的加速近端梯度方法》，技术报告，华盛顿大学，西雅图，华盛顿州，2008年。
[44] Z.Zhou，Q.Zhang，和A.M.-C.So，（\ell_{1，p}）-范数正则化：一阶方法的误差界和收敛速度分析，《第32届机器学习国际会议论文集》，第37卷，法国里尔，2015年，第1501-1510页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。