×
孙涛;罗伯特·巴里奥;姜浩;程丽芝

独立噪声下加速近似梯度算法的收敛速度。 （英语） Zbl 1420.90069

数字。算法 81，第2期，631-654（2019）.
摘要：我们考虑一种用于求解线性逆问题的具有“独立误差”（误差与历史信息几乎无关）的组合优化的加速近似梯度算法。我们提出了一种新的考虑确定性和随机噪声的不精确FISTA算法。我们证明了该算法的一些收敛速度，并将其与机器学习中许多算法的现有催化剂框架联系起来。我们证明了催化剂可以被视为FISTA算法的一个特例，其中函数的光滑部分消失。我们的框架给出了一个更通用的公式，为确定性和随机噪声情况以及催化剂框架提供了收敛结果。我们的一些结果为文献中的一些现有结果提供了更简单的替代分析，但它们也将结果扩展到更通用的情况。

MSC公司：

90立方 非线性规划
90C26型 非凸规划，全局优化
47N10号 算子理论在最优化、凸分析、数学规划、经济学中的应用

关键词：

近似梯度算法;不精确算法;独立噪声;收敛速度;加快

软件：

传奇;阿达格拉德
PDF格式BibTeX公司 XML格式引用
\textit{T.Sun}等人，数字。算法81，No.2，631--654（2019；Zbl 1420.90069）
全文： 内政部

参考文献：

[1] Agarwal，A.，Bartlett，P.L.，Ravikumar，P.，Wainwright，M.J.：随机凸优化预言复杂性的信息论下限。IEEE传输。Inf.理论58（5），3235-3249（2012）·Zbl 1365.94132号 ·doi:10.1109/TIT.2011.2182178
[2] Ash，R.B.，Doleans-Dae，C.：概率与测度理论。圣地亚哥学术出版社（2000）·Zbl 0944.60004号
[3] Auslider，A.：不可微凸优化的数值方法。摘自：《非线性分析与优化》，第102-126页。斯普林格（1987）·Zbl 0616.90052号
[4] Bai，M.R.，Chung，C.，Wu，P.-C.，Chiang，Y.-H.，Yang，C.-M.：空间音频信号处理中线性逆问题的解决策略。申请。科学。7, 582 (2017) ·doi:10.3390/第7060582页
[5] Beck，A.，Teboulle，M.：基于梯度的快速算法，用于约束全变差图像去噪和去模糊问题。IEEE传输。图像处理。18 (11), 2419-2434 (2009) ·Zbl 1371.94049号 ·doi:10.1109/TIP.2009.2028250
[6] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.图像。科学。2(1), 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[7] 比约克，澳大利亚：最小二乘问题的数值方法。SIAM（1996）·Zbl 0847.65023号
[8] Candes，E.，Recht，B.：通过凸优化实现精确矩阵补全。Commun公司。ACM 55（6），111-119（2012）·Zbl 1219.90124号 ·数字对象标识代码：10.1145/2184319.2184343
[9] Chambolle，A.、De Vore，R.A.、Lee，N.-Y.、Lucier，B.J.：非线性小波图像处理：变分问题、压缩和通过小波收缩去除噪声。IEEE传输。图像处理。7(3), 319-335 (1998) ·Zbl 0993.94507号 ·数字对象标识代码：10.1109/83.661182
[10] Cominetti，R.：将近点算法与近似方法相结合。J.优化。理论应用。95(3), 581-600 (1997) ·Zbl 0902.90129号 ·doi:10.1023/A:1022621905645
[11] Daubechies，I.，Defrise，M.，De-Mol，C.：具有稀疏约束的线性反问题的迭代阈值算法。Commun公司。纯应用程序。数学。57(11), 1413-1457 (2004) ·Zbl 1077.65055号 ·doi:10.1002/第242页
[12] Defazio，A.，Bach，F.，Lacoste-Julien，S.：Saga：支持非强凸复合目标的快速增量梯度法。摘自：《神经信息处理系统的进展》，第1646-1654页（2014年）
[13] Devolder，O.，Glineur，F.，Nesterov，Y.：具有不精确预言的光滑凸优化的一阶方法。数学。程序。146(1-2), 37-75 (2014) ·兹比尔1317.90196 ·doi:10.1007/s10107-013-0677-5
[14] Donoho，D.L.：压缩传感。IEEE传输。《信息论》52（4），1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[15] Duchi，J.，Hazan，E.，Singer，Y.：在线学习和随机优化的自适应次梯度方法。J.马赫。学习。第12号决议，2121-2159（2011年）·Zbl 1280.68164号
[16] Escande，P.，Weiss，P.：空间变化模糊算子的稀疏小波表示。SIAM J.伊玛格。科学。8(4), 2976-3014 (2015) ·Zbl 1381.94017号 ·数字对象标识代码：10.1137/151003465
[17] Figueiredo，M.A.T.，Nowak，R.D.：基于小波的图像恢复的EM算法。IEEE传输。图像处理。12(8), 906-916 (2003) ·Zbl 1279.94015号 ·doi:10.1109/TIP.2003.814255
[18] Figueiredo，M.A.T.，Nowak，R.D.，Wright，S.J.：稀疏重建应用于压缩传感和其他反问题的梯度投影。IEEE J.选择。顶部。签署程序。1(4), 586-597 (2007) ·doi:10.1109/JSTSP.2007.910281
[19] Hale，E.T.，Yin，W.，Zhang，Y.：ℓ1-正则化最小化与压缩传感应用。CAAM技术报告TR07-07，莱斯大学，http://www.caam.rice.edu/zhang/reports/tr0707.pdf (2007)
[20] Hale，E.T，Yin，W.，Zhang，Y.：固定点延续ℓ1-最小化方法和收敛性。SIAM J.Optim公司。19(3), 1107-1130 (2008) ·Zbl 1180.65076号 ·数字对象标识代码：10.1137/070698920
[21] Honorio，J.：学习稀疏ising模型的有偏随机优化的收敛速度。摘自：第29届国际机器学习会议论文集，第1099-1106页，Omnipress（2012）
[22] Xiaowei，H u，Prashanth，L.A.：András György和Csaba Szepesvári。（Bandit）带偏置噪声梯度预言的凸优化。摘自：《人工智能与统计》，第819-828页（2016年）
[23] Jiang，K.，Sun，D.，Toh，K.C.：大规模线性约束凸SDP的非精确加速近似梯度法。SIAM J.Optim公司。22（3），1042-1064（2012）·Zbl 1401.90120号 ·数字对象标识代码：10.1137/10847081
[24] Kaipio，J.、Somersalo，E.：统计反问题：离散化、模型简化和反犯罪。J.计算。申请。数学。198(2), 493-504 (2007) ·兹比尔1101.65008 ·doi:10.1016/j.cam.2005.09.027
[25] Lin，H.，Mairal，J.，Harchaoui，Z.：一级优化的通用催化剂。摘自：《神经信息处理系统进展》，第3384-3392页（2015年）
[26] Mairal，J.：用于大规模机器学习的增量优化-最小化优化。SIAM J.Optim公司。25(2), 829-855 (2015) ·兹比尔132090047 ·数字对象标识代码：10.1137/140957639
[27] Mohammad-Djafari，A.：成像科学中的逆问题：从经典正则化方法到最先进的贝叶斯方法。摘自：国际图像处理、应用和系统会议，第1-2页（2014年）
[28] Monteiro，R.D.C.，Svaiter，B.F.：凸优化的加速混合近端外梯度方法及其对二阶方法的影响。SIAM J.Optim公司。23(2), 1092-1125 (2013) ·Zbl 1298.90071号 ·数字对象标识代码：10.1137/10833786
[29] Mordukhovich，B.S.：变分分析和广义微分I：基础理论，第330卷。施普林格科技与商业媒体，柏林（2006）
[30] Nesterov，Y.：凸优化入门讲座：基础课程，第87卷。施普林格科技与商业媒体，柏林（2013）
[31] Reem，D.，De Pierro，A.：一些有误差的加速近端前向-后向算法的新收敛性分析和扰动弹性。反向探测。33(4), 044001 (2017) ·Zbl 1397.90363号 ·doi:10.1088/1361-6420/33/4/044001
[32] Robbins，H.，Siegmund，D.：非负几乎上鞅的收敛定理及其应用。摘自：《统计学中的优化方法》，第233-257页。Elsevier（1971）·Zbl 0286.60025号
[33] Tyrrell Rockafellar，R.，Wets，R.J.-B.：变分分析，第317卷。柏林施普林格科技与商业媒体（2009）
[34] Rockafellar，R.T.：凸分析。普林斯顿大学出版社，普林斯顿（2015）
[35] Salzo，S.、Villa，S.：不精确和加速近点算法。J.凸面分析。19(4), 1167-1192 (2012) ·Zbl 1283.90030号
[36] Schmidt，M.，Le Roux，N.，Bach，F.：用随机平均梯度最小化有限和。数学。程序。162(1), 83-112 (2017) ·Zbl 1358.90073号 ·doi:10.1007/s10107-016-1030-6
[37] Schmidt，M.，Roux，N.L.，Bach，F.R.：凸优化的不精确近似粒度方法的收敛速度。摘自：《神经信息处理系统进展》，第1458-1466页（2011年）
[38] Shalev-Shwartz，S.，Zhang，T.：近距离随机双坐标上升。arXiv:121.2717（2012）·兹比尔1342.90103
[39] Solodov，M.V.，Svaiter，B.F.：使用最大单调算子扩大的混合近似外梯度-近点算法。设定值分析。7(4), 323-345 (1999) ·Zbl 0959.90038号 ·doi:10.1023/A:1008777829180
[40] Sun，T.，Cheng，L.：重加权快速迭代收缩阈值算法ℓ1-ℓ1最小化。IET信号处理。10（1），28-36（2016）·doi:10.1049/iet-spr.2015.0096
[41] Sun，T.，Du，P.，Cheng，L.，Jiang，H.：稀疏恢复的交替投影。IET信号处理。11(2), 135-144 (2016) ·doi:10.1049/iet-spr.2016.0020
[42] Sun，T.，Zhang，H.，Cheng，L.：稀疏噪声下稀疏信号恢复的次梯度投影。电子。莱特。50(17), 1200-1202 (2014) ·doi:10.1049/el.2014.1335
[43] Sun，T.，Zhang，H.，Cheng，L.：加速线性化Bregman算法的预处理技术。派克靴。J.优化。11(3), 527-548 (2015) ·Zbl 1327.65126号
[44] Villa，S.、Salzo，S.，Baldassarre，L.、Verri，A.：加速和不精确的前向后退算法。SIAM J.Optim公司。23(3), 1607-1633 (2013) ·Zbl 1295.90049号 ·数字对象标识代码：10.1137/10844805
[45] Wright，S.J.：坐标下降算法。数学。程序。151(1), 3-34 (2015) ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3
[46] Xiao，L.，Zhang，T.：具有逐步方差减少的近似随机梯度法。SIAM J.Optim公司。24(4), 2057-2075 (2014) ·Zbl 1321.65016号 ·数字对象标识代码：10.1137/140961791
[47] Zaslavski，A.J.：hilbert空间中存在计算错误时近点方法的收敛性。SIAM J.Optim公司。20(5), 2413-2421 (2010) ·Zbl 1208.49042号 ·数字对象标识代码：10.1137/090766930
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。