×
吴忠明;李敏

一类非凸非光滑优化问题的广义惯性近似梯度法。 （英语） 兹比尔1420.90054

计算。最佳方案。应用。 73，第1期，129-158（2019）.
摘要：本文考虑了一类非凸非光滑优化问题的常步长和变步长的一般惯性近似梯度法。该方法结合了两种不同的外推方法，将之前的迭代转化为经典近似梯度法中的向后近似步和向前梯度步。在更一般的参数约束下，我们证明了该方法生成了一个收敛的子序列，并且每个极限点都是问题的平稳点。此外，如果目标函数满足Kurdyka-Łojasiewicz性质，则生成的序列全局收敛到一个稳定点。利用一个常见的误差界条件，该方法在步长不变的情况下也可以建立局部线性收敛性。此外，我们还对非凸二次规划和SCAD惩罚问题进行了一些数值实验，以证明所提出方法的优点。

引用于23文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

非凸;非光滑的;惯性近似梯度法;Kurdyka-Łojasiewicz地产;全球收敛

软件：

取消锁定BoX;iPiano公司;iPiasco公司
PDF格式BibTeX公司 XML格式引用
\textit{Z.Wu}和\textit{M.Li}，计算。最佳方案。申请。73，编号1，129--158（2019；Zbl 1420.90054）
全文： 内政部

参考文献：

[1] Alvarez，F.：关于Hilbert空间中二阶耗散系统的最小化性质。SIAM J.控制优化。38(4), 1102-1119 (2000) ·Zbl 0954.34053号 ·doi:10.1137/S0363012998335802
[2] Alvarez，F.，Attouch，H.：通过带阻尼的非线性振子离散化来求解最大单调算子的惯性近似方法。设定值分析。9(1-2), 3-11 (2001) ·Zbl 0991.65056号 ·doi:10.1023/A:1011253113155
[3] Attouch，H.，Bolt，J.，Redont，P.，Soubeyran，A.：非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。第35（2）号决议，438-457（2010年）·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[4] Attouch，H.，Bolt，J.，Svaiter，B.F.：半代数和驯化问题下降方法的收敛性：近似算法，前向-后向分裂和正则高斯-赛德尔方法。数学。程序。序列号。A 137（1-2），91-129（2013）·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[5] Attouch，H.，Peypouquet，J.，Redont，P.：用于凸最小化的惯性前向-后向算法的动态方法。SIAM J.Optim公司。24（1），232-256（2014）·Zbl 1295.90044号 ·数字对象标识代码：10.1137/130910294
[6] Ban，G.-Y.，El Karoui，N.，Lim，A.E.B.：机器学习和投资组合优化。管理。科学。64(3), 1136-1154 (2016) ·doi:10.1287/mnsc.2016.2644
[7] Bauschke，H.H.，Combettes，P.L.：希尔伯特空间中的凸分析和单调算子理论。柏林施普林格出版社（2011）·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[8] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[9] Bolt，J.，Sabach，S.，Teboulle，M.：非凸和非光滑问题的近似交替线性化最小化。数学。程序。序列号。A 146（1-2），459-494（2014）·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[10] Bolt，J.，Sabach，S.，Teboulle，M.，Vaisbourd，Y.：超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用。SIAM J.Optim公司。28(3), 2131-2151 (2018) ·Zbl 1402.90118号 ·doi:10.1137/17M1138558
[11] Boţ，R.I.，Csetnek，E.R.：非光滑和非凸优化问题的惯性Tseng型近似算法。J.优化。理论应用。171(2), 600-616 (2014) ·兹比尔1349.90688
[12] Boţ，R.I.，Csetnek，E.R.：分数规划的近似梯度算法。优化66（8），1383-1396（2017）·Zbl 1378.90080号 ·doi:10.1080/02331934.2017.1294592
[13] Boţ，R.I.，Csetnek，E.R.，Hendrich，C.：单调包含问题的惯性Douglas-Rachford分裂。申请。数学。计算。256(1), 472-487 (2015) ·Zbl 1338.65145号
[14] Boţ，R.I.，Csetnek，E.R.，László，S.C.：两个非凸函数之和最小化的惯性前向后退算法。EURO J.计算。最佳方案。4(1), 3-25 (2016) ·Zbl 1338.90311号 ·doi:10.1007/s13675-015-0045-8
[15] Chambolle，A.，Dossal，C.：关于“快速迭代收缩/阈值算法”迭代的收敛性。J.优化。理论应用。166(3), 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4
[16] Chen，C.，Chan，R.H.，Ma，S.，Yang，J.：线性约束可分离凸优化的惯性近似ADMM。SIAM J.成像科学。8(4), 2239-2267 (2015) ·Zbl 1328.65134号 ·数字对象标识码：10.1137/15100463X
[17] Chen，G.H-G.，Rockafellar，R.T.：正向-反向分裂的收敛速度。SIAM J.Optim公司。7(2), 421-444 (1997) ·Zbl 0876.49009号
[18] Chen，X.，Peng，J.，Zhang，S.：随机标准二次优化问题的稀疏解。数学。程序。序列号。A 141（1-2），273-293（2013）·Zbl 1305.90323号 ·doi:10.1007/s10107-012-0519-x
[19] Combettes，P.L.，Pesquet，J.-C.：信号处理中的近距离分裂方法。收录于：Bauschke，H.H.，Burachik，R.S.，Combettes，P.L.，Elser，V.，Luke，D.R.，Wolkowicz，H.（编辑）《科学与工程反问题的定点算法》，第185-212页。施普林格（2011）·Zbl 1242.90160号
[20] Daubechies，I.，Defrise，M.，De-Mol，C.：具有稀疏约束的线性反问题的迭代阈值算法。Commun公司。纯应用程序。数学。57(11), 1413-1457 (2004) ·Zbl 1077.65055号 ·doi:10.1002/cpa.20042
[21] Donoho，D.L.：压缩传感。IEEE传输。Inf.理论52（44），1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[22] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96（456），1348-1360（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[23] Guo，K.，Han，D.：关于涉及次凸函数的优化问题的Douglas-Rachford分裂方法的注释。J.全球优化。72(3), 431-441 (2018) ·Zbl 1412.90107号 ·doi:10.1007/s10898-018-0660-z
[24] Guo，K.，Yuan，X.，Zeng，S.：“强+半”凸规划的ISTA和FISTA的收敛性分析。http://www.optimization-online.org/DB_FILE/2016/06/5506.pdf (2016)
[25] Han，D.，Sun，D.，Zhang，L.：凸组合规划的交替方向乘数法的线性速度收敛性。数学。操作。第43（2）号决议，622-637（2018）·Zbl 1440.90047号 ·doi:10.1287/门.2017.0875
[26] Han，D.，Yuan，X.：二次规划交替方向乘数法的局部线性收敛性。SIAM J.数字。分析。51(6), 3446-3457 (2013) ·Zbl 1285.90033号 ·数字对象标识代码：10.1137/120886753
[27] Horst，R.，Thoai，N.V.：DC编程：概述。J.优化。理论应用。103(1), 1-43 (1999) ·Zbl 1073.90537号 ·doi:10.1023/A:1021765131316
[28] Ibaraki，T.，Katoh，N.：资源分配问题：算法方法。麻省理工学院出版社，剑桥（1988）·兹比尔0786.90067
[29] Jia，Z.，Gao，X.，Cai，X，Han，D.：非凸可分离优化的交替方向乘数法的局部线性收敛性。手稿（2017）·Zbl 1468.90093号
[30] Johnstone，P.R.，Moulin，P.：用于最小化复合函数的一般惯性近端分裂方案的局部和全局收敛。计算。最佳方案。申请。67(2), 259-292 (2017) ·Zbl 1376.90046号 ·doi:10.1007/s10589-017-9896-7
[31] Koltchinskii，V.，Lounici，K.，Tsybakov，A.B.等人：核形式惩罚和噪声低秩矩阵完成的最优速率。Ann.Stat.39（5），2302-2329（2011）·Zbl 1231.62097号 ·doi:10.1214/11-AOS894
[32] Kurdyka，K.：关于可在o-极小结构中定义的函数的梯度。《Ann.I.Fourier年鉴》48（3），769-783（1998）·Zbl 0934.32009 ·doi:10.5802/aif.1638
[33] Lorenz，D.A.，Pock，T.：单调包含的惯性前向后退算法。数学杂志。成像视觉。51(2), 311-325 (2015) ·兹比尔1327.47063 ·doi:10.1007/s10851-014-0523-2
[34] 罗志清，曾平：关于凸本质光滑极小化下降法的线性收敛性。SIAM J.控制优化。30(2), 408-425 (1992) ·Zbl 0756.90084号 ·doi:10.1137/0330025
[35] 罗志清，曾平：可行下降法的误差界和收敛性分析：一种通用方法。安·Oper。第46（1）号决议，157-178（1993）·Zbl 0793.90076号 ·doi:10.1007/BF02096261
[36] Maingé，P.-E.，Gobinddass，M.：变分不等式的一步投影梯度法的收敛性。J.优化。理论应用。171(1), 146-168 (2016) ·Zbl 06661393号 ·doi:10.1007/s10957-016-0972-4
[37] Moudafi，A.，Oliny，M.：单调算子分裂惯性近似方法的收敛性。J.计算。申请。数学。155(2), 447-454 (2003) ·Zbl 1027.65077号 ·doi:10.1016/S0377-0427（02）00906-8
[38] Nesterov，Y.：凸优化入门讲座：基础课程。Kluwer学术出版社，Dordrecht（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[39] Nesterov，Y.：最小化复合函数的梯度方法。数学。程序。序列号。B 140（1），125-161（2013）·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5
[40] Ochs，P.，Brox，T.，Pock，T.：iPiasco：强凸优化的惯性近似算法。数学杂志。成像视觉。53(2), 171-181 (2015) ·Zbl 1327.90219号 ·doi:10.1007/s10851-015-0565-0
[41] Ochs，P.，Chen，Y.，Brox，T.，Pock，T.：iPiano：非凸优化的惯性近似算法。SIAM J.成像科学。7(2), 1388-1419 (2014) ·Zbl 1296.90094号 ·数字对象标识代码：10.1137/130942954
[42] Palomar，D.P.，Eldar，Y.C.：信号处理和通信中的凸优化。剑桥大学出版社，剑桥（2010）·Zbl 1200.90009号
[43] Parikh，N.，Boyd，S.：近似算法。已找到。趋势优化。1（3），127-239（2014）·数字对象标识代码：10.1561/24000003
[44] Polyak，B.T.：加速迭代方法收敛的一些方法。苏联计算。数学。数学。物理学。4(5), 1-17 (1964) ·Zbl 0147.35301号 ·doi:10.1016/0041-5553（64）90137-5
[45] Sra，S.、Nowozin，S.和Wright，S.J.：机器学习的优化。麻省理工学院出版社，剑桥（2012）
[46] Tseng，P.，Yun，S.：非光滑可分离最小化的坐标梯度下降法。数学。程序。序列号。B 117（1-2），387-423（2009）·兹比尔1166.90016 ·doi:10.1007/s10107-007-0170-0
[47] Yang，L.：一类非凸非光滑问题的带外推和线搜索的近似梯度法。arXiv:1711.06831v3（2018）
[48] Wen，B.，Chen，X.，Pong，T.K.：一类非凸非光滑最小化问题的带外推的近似梯度算法的线性收敛性。SIAM J.Optim公司。27(1), 124-145 (2017) ·Zbl 1359.90138号 ·doi:10.1137/16M1055323
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。