×

凸非光滑极小化问题带外推的近似梯度算法迭代的收敛性。 (英语) Zbl 1432.90118号

摘要:本文考虑了一类凸非光滑极小化问题的带外推的近似梯度算法。我们表明,对于一大类外推参数,包括在FISTA中选择的外推参数[A.贝克M.Teboulle先生,SIAM J.成像科学。2,第1期,183-202(2009年;Zbl 1175.94009号)],迭代的连续变化变为0。此外,基于Łojasiewicz不等式,我们通过对外推系数的附加假设,建立了具有外推的近似梯度算法生成的迭代的全局收敛性。该假设足够普遍,允许外推系数的阈值为1。特别地,我们证明了迭代的长度是有限的。最后,我们对带有\(\ell_1\)正则化的最小二乘问题进行了数值实验,以说明我们的理论结果。

MSC公司:

90立方厘米25 凸面编程
90摄氏52度 降低梯度类型的方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Attouch,H.,Bolt,J.:关于涉及分析特征的非光滑函数的近似算法的收敛性。数学。程序。序列号。B 116,5-16(2009)·Zbl 1165.90018号 ·文件编号:10.1007/s10107-007-0133-5
[2] Attouch,H.,Bolt,J.,Redont,P.,Soubeyran,A.:非凸问题的近似交替最小化和投影方法:基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。第35号决议,第438-457号决议(2010年)·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[3] Attouch,H.,Bolt,J.,Svaiter,B.F.:半代数和驯化问题下降方法的收敛性:近似算法,前向-后向分裂和正则化高斯-赛德尔方法。数学。项目。序列号。A 137,91-129(2013)·兹比尔1260.49048 ·doi:10.1007/s10107-011-0484-9
[4] Attouch,H.,Chbani,Z.:凸优化中的快速惯性动力学和FISTA算法。扰动方面。arXiv预打印arXiv:1507.01367v1·Zbl 1375.65080号
[5] Beck,A.,Teboulle,M.:线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[6] Becker,S.、CandèS,E.J.、Grant,M.C.:凸锥问题的模板及其在稀疏信号恢复中的应用。数学。程序。计算。3, 165-218 (2011) ·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[7] Bolt,J.,Danilidis,A.,Lewis,A.:非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17, 1205-1223 (2007) ·Zbl 1129.26012号 ·doi:10.1137/050644641
[8] Borwein,J.M.,Lewis,A.:凸分析与非线性优化,第二版。施普林格,纽约(2006)·兹比尔1116.90001 ·doi:10.1007/978-0-387-31256-9
[9] Boţ,R.I.,Csetnek,E.R.,László,S.C.:两个非凸函数之和最小化的惯性前向后退算法。EURO J.计算。最佳方案。4, 3-25 (2016) ·Zbl 1338.90311号 ·doi:10.1007/s13675-015-0045-8
[10] Candès,E.J.,Recht,B.:通过凸优化实现精确矩阵补全。已找到。计算。数学。9, 717-772 (2009) ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5
[11] Candès,E.J.,Tao,T.:通过线性编程进行解码。IEEE传输。《Inf.Theory》51,4203-4215(2005)·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[12] Chambolle,A.,Dossal,Ch.:关于“快速迭代收缩/阈值算法”迭代的收敛性。J.优化。理论应用。166, 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4
[13] Chen,X.,Pan,W.,Kwok,J.K.,Carbonell,J.G.多任务稀疏学习问题的加速梯度法。2009年IEEE第九届数据挖掘国际会议
[14] Donoho,D.L.:压缩传感。IEEE传输。《信息论》52,1289-1306(2006)·兹比尔1288.94016 ·doi:10.1109/TIT.2006.871582
[15] O'Donoghue,B.,Candès,E.J.:加速梯度方案的自适应重启。已找到。计算。数学。15, 715-732 (2015) ·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3
[16] Ji,S.,Ye,J.:迹范数最小化的加速梯度法。收录于:第26届国际机器学习大会论文集,加拿大蒙特利尔(2009年)
[17] Johnstone,P.R.,Moulin,P.:稀疏优化局部线性收敛FISTA的Lyapunov分析。arXiv预打印arXiv:1502.02281v4
[18] Kiwiel,K.C.:凸不可微极小化的束bregman近似方法。数学。程序。85, 241-258 (1999) ·Zbl 0955.90101号 ·doi:10.1007/s101070050056
[19] Li,G.,Pong,T.K.:Kurdyka-Łojasiewicz不等式的指数演算及其在一阶方法线性收敛中的应用。已找到。计算。数学。18, 1199-1232 (2018) ·Zbl 1405.90076号 ·doi:10.1007/s10208-017-9366-8
[20] Lions,P.L.,Mercier,B.:两个非线性算子之和的分裂算法。SIAM J.数字。分析。16, 964-979 (1979) ·Zbl 0426.6500号 ·doi:10.1137/0716071
[21] Liu,H.,So,A.M.-C.,Wu,W.:正交约束的二次优化:显式Łojasiewicz指数和基于收缩的线性搜索和随机方差减少梯度方法的线性收敛性。数学。程序。https://doi.org/10.1007/s10107-018-1285-1 ·兹比尔1433.65111
[22] Łojasiewicz,S.:Une propriété拓扑des sous-ensemples analytiques réels。巴黎国家科学研究中心,巴黎,第87-89页(1963年)·Zbl 0234.57007号
[23] Łojasiewicz,S.:苏拉盖梅特里(Sur la géométrie semiet sous-analizique)。《安娜·列·傅里叶学会年鉴》431575-1595(1993)·Zbl 0803.32002号 ·doi:10.5802/aif.1384
[24] Mäkelä,M.M.:非光滑优化的束方法综述。最佳方案。柔和。2002年1月17日至29日·Zbl 1050.90027号 ·doi:10.1080/10556780290027828
[25] Nesterov,Y.:一种求解具有收敛速度\[{O}(\frac{1}{k^2})O\](1k2)的凸规划问题的方法。苏联。数学。多克。27, 372-376 (1983) ·Zbl 0535.90071号
[26] Nesterov,Y.:凸优化入门讲座:基础课程。Kluwer学术出版社,波士顿(2004)·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[27] Nesterov,Y.:非光滑函数的平滑最小化。数学。程序。序列号。A 103,127-152(2005)·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
[28] Nesterov,Y.:最小化复合目标函数的梯度方法。核心讨论文件(2007)
[29] Nesterov,Y.:对偶外推及其在求解变分不等式和相关问题中的应用。数学。程序。序列号。B 109、319-344(2007)·Zbl 1167.90014号 ·doi:10.1007/s10107-006-0034-z
[30] Rockafellar,R.T.:凸分析。普林斯顿大学出版社,普林斯顿(1970)·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[31] Rockafellar,R.T.,Wets,R.J.-B.:变分分析。施普林格,纽约(1998)·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3
[32] Schramm,H.,Zowe,J.:最小化非光滑函数的捆绑思想的一个版本:概念思想,收敛分析,数值结果。SIAM J.Optim公司。2, 121-152 (1992) ·Zbl 0761.90090号 ·doi:10.1137/0802008年
[33] Su,W.,Boyd,S.,CandèS,E.J.:建模Nesterov加速梯度法的微分方程:理论和见解。J.马赫。学习。第17号决议,第1-43号决议(2016年)·Zbl 1391.90667号
[34] Tseng,P.:结构化凸优化的近似精度、梯度方法和误差界。数学。程序。序列号。B 125,263-295(2010)·Zbl 1207.65084号 ·doi:10.1007/s10107-010-0394-2
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。