×
刘洪伟;王婷;刘泽贤

针对非光滑和凸极小化问题，一些改进的快速迭代收缩阈值算法和一种新的自适应非单调步长策略。 （英语） Zbl 1502.90130号

计算。最佳方案。申请。 83，第2期，651-691（2022）.
小结：“快速迭代收缩阈值算法”（FISTA）是最著名的一阶优化方案之一，步长在理论分析和数值实验中起着重要作用，通常由与Lipschitz常数相关的常数或回溯策略决定。本文设计了一种新的自适应非单调步长策略（NMS），该策略允许步长在有限次迭代后单调增加。值得注意的是，NMS可以在不知道Lipschitz常数或不进行回溯的情况下成功实现。而且NMS的额外成本低于一些现有回溯策略的成本。对于将NMS用于原始FISTA（FISTA_NMS）和修改后的FISTA，我们表明收敛结果保持不变。此外，在误差界条件下，我们证明了FISTA_NMS达到了\（o\ left（\ frac{1}{k^6}\ right）\）的收敛速度，而MFISTA_NMS则享有与\（t_k\）参数值相关的收敛速度（o\ leaft（\ frac{1{k^{2（a+1）}\ rift）\）；上述两种算法生成的迭代是收敛的。此外，通过利用重启技术加速上述两种方法，我们建立了函数值的线性收敛性，并在误差界条件下迭代。我们进行了一些数值实验来检验所提算法的有效性。

引用于1文件

MSC公司：

90C25型 凸面编程
94甲12 信号理论（表征、重建、滤波等）
65K10码 数值优化和变分技术
94A08型 信息与通信理论中的图像处理（压缩、重建等）
90C06型 数学规划中的大规模问题

关键词：

FISTA公司;基于近似的方法;自适应非单调步长策略;惯性前向后退算法;收敛速度;凸优化

软件：

伦敦银行支持向量机;TFOCS公司;取消锁定BoX
PDF格式BibTeX公司 XML格式引用
\textit{H.Liu}等人，计算。最佳方案。申请。83，第2号，651--691（2022；Zbl 1502.90130）
全文： 内政部

参考文献：

[1] Attouch，H。；Peypouquet，J.，Nesterov加速前后向方法的收敛速度实际上比\（｛\frac｛1｝｛｛｛k^2｝｝｝｝），SIAM J.Optim。，26, 1824-1834 (2016) ·Zbl 1346.49048号 ·数字对象标识代码：10.1137/15M1046095
[2] Attouch，H。；Cabot，A.，惯性前向后退算法的收敛速度，SIAM J.Optim。，28, 849-874 (2018) ·Zbl 1387.49047号 ·doi:10.1137/17M1114739
[3] 阿皮多普洛斯，V。；Aujol，J。；Dossal，C.，超越Nesterov规则的惯性前向-后向算法的收敛速度，数学。程序。，180, 137-156 (2020) ·兹比尔1439.90055 ·doi:10.1007/s10107-018-1350-9
[4] 贝克，A。；Teboulle，M.，二次约束凸极小化的线性收敛双基梯度投影算法，数学。操作。决议，31，398-417（2006）·Zbl 1278.90289号 ·doi:10.1287/门1060.0193
[5] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[6] SR贝克尔；坎迪斯，EJ；Grant，MC，凸锥问题模板及其在稀疏信号恢复中的应用，数学。掠夺。公司。，165-218年3月（2011年）·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[7] Bello，C。；Jose，Y。；Nghia，TTA，关于线性搜索的前向-后向分裂方法的收敛性，Optim。方法软件。，31, 1209-1238 (2016) ·Zbl 1354.65116号 ·doi:10.1080/10556788.2016.1214959
[8] Chambolle，A.，《总变异最小化算法及其应用》，数学杂志。成像视觉。，20, 89-97 (2004) ·Zbl 1366.94048号 ·doi:10.1023/B:JMIV.0000011321.19549.88
[9] 组合框，PL；Wajs，VR，近端前向-后向分裂信号恢复，多尺度模型。模拟。，4, 1168-1200 (2005) ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090
[10] Chang，CC；Lin，CJ，LIBSVM：支持向量机库，ACM。事务处理。智力。系统。技术。，2, 1-27 (2011) ·doi:10.145/1961189.1961199
[11] Combettes，P.L.，Pesquet，J.C.：信号处理中的近距离分裂方法。摘自：《科学与工程中反问题的定点算法》（Fixed-Point Algorithms for Inverse Problems In Science and Engineering），纽约斯普林格出版社（2011）·Zbl 1242.90160号
[12] Chambolle，A。；Dossal，C.，关于快速迭代收缩阈值算法迭代的收敛性，J.Optim。理论应用。，166, 968-982 (2015) ·Zbl 1371.65047号 ·doi:10.1007/s10957-015-0746-4
[13] Donoho，DL，压缩传感，IEEE Trans。《信息论》，521289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[14] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，964-979年6月16日（1979年）·Zbl 0426.6500号 ·doi:10.1137/0716071
[15] 罗，ZQ；Tseng，P.，仿射变分不等式问题矩阵分裂算法的误差界和收敛性分析，SIAM J.Optim。，2, 43-54 (1992) ·Zbl 0777.49010号 ·doi:10.1137/0802004年
[16] 罗，ZQ，新误差界及其在迭代算法收敛性分析中的应用，数学。程序。，88341-355（2000年）·Zbl 0965.65090号 ·doi:10.1007/s101070050020
[17] Lorenz，DA；Pock，T.，单调包含的惯性前向后退算法，J.Math。成像视觉。，51, 311-325 (2015) ·Zbl 1327.47063号 ·doi:10.1007/s10851-014-0523-2
[18] 梁，J。；法迪利，J。；Peyré，G.，不精确非泛算子的收敛速度，数学。程序。，159, 403-434 (2016) ·兹比尔1353.47106 ·doi:10.1007/s10107-015-0964-4
[19] Liu，H.W.，Wang，T.，Liu，Z.X.：基于局部误差界条件的惯性前向后退算法的收敛速度。arXiv:2007.07432号
[20] Molinari，C。；梁，J。；Fadili，J.，前向douglas-rachford分裂方法的收敛速度，J.Optim。理论应用。，182, 606-639 (2019) ·Zbl 1421.49014号 ·doi:10.1007/s10957-019-01524-9
[21] Nesterov，Y.，求解具有收敛速度的凸规划问题的一种方法（O\左（{\frac{1}{{k^2}}}}右），Dokl。阿卡德。诺克SSSR，269，543-547（1983）
[22] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5
[23] 奥多诺休，B。；Candès，E.，《加速梯度方案的自适应重启》，Found。计算。数学。，15, 715-732 (2015) ·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3
[24] Sra，S。；Nowozin，S。；SJ Wright，《机器学习优化》（2012），剑桥：麻省理工学院出版社，剑桥
[25] 孙，WY；Yuan，YX，《优化理论与方法：非线性规划》（2010），柏林：施普林格出版社，柏林
[26] 苏，W。；博伊德，S。；Candès，EJ，Nesterov加速梯度法建模的微分方程：理论与见解，J.Mach。学习。决议，17，1-43（2016）·Zbl 1391.90667号
[27] Scheinberg，K。；Goldfarb，D。；Bai，X.，带回溯的复合凸优化的快速一阶方法，发现。计算。数学。，14, 389-417 (2014) ·Zbl 1304.90161号 ·doi:10.1007/s10208-014-9189-9
[28] Tseng，P.，结构化凸优化的近似精度、梯度方法和误差界，数学。程序。，125, 263-295 (2010) ·Zbl 1207.65084号 ·doi:10.1007/s10107-010-0394-2
[29] 陶，S。；Boley，D。；Zhang，S.，ISTA和FISTA在LASSO问题上的局部线性收敛，SIAM J.Optim。，26, 313-336 (2016) ·Zbl 1358.90101号 ·doi:10.1137/151004549
[30] 温，B。；陈，XJ；Pong，TK，一类非凸非光滑极小化问题的外推近似梯度算法的线性收敛性，SIAM J.Optim。，27, 124-145 (2017) ·Zbl 1359.90138号 ·doi:10.1137/16M1055323
[31] SJ赖特；罗德岛诺瓦克；Figueiredo，MAT，可分离近似稀疏重建，IEEE T.信号处理。，572479-2493（2009年）·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[32] Wang，T.，Liu，H.：一种新的单调惯性前向-后向分裂算法在局部Hölder误差界条件下的收敛结果。申请。数学。最佳方案。(2022). doi:10.1007/s00245-022-09859-y·Zbl 1490.90223号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。