×

非凸稀疏正则化的三算子分裂算法。 (英语) Zbl 1473.90126号

摘要:稀疏正则化在信号和图像处理以及机器学习等领域得到了广泛的应用。在本文中,我们主要考虑涉及三项的非凸极小化问题,用于稀疏信号恢复和低秩矩阵恢复等应用。我们采用了一种由D.戴维斯W.尹【集值变量分析25,第4期,829–858(2017;Zbl 1464.47041号)](即DYS)来解决由此产生的可能非凸问题,并发展了此三算子分裂算法在非凸情况下的收敛理论。我们证明,当步长选择小于可计算阈值时,整个序列收敛到一个稳定点。通过定义与DYS方法相关的一个新的能量递减函数,我们在附加的假设(F,G和H)是半代数的情况下,建立了整个序列的全局收敛性和局部收敛速度。我们还为生成序列的有界性提供了充分条件。最后,进行了一些数值实验,将DYS算法与一些经典的高效稀疏信号恢复算法和低秩矩阵补全算法进行了比较。数值结果表明,对于这些应用,DYS优于现有方法。

MSC公司:

90C26型 非凸规划,全局优化
90立方 非线性规划
90 C90 数学规划的应用
15A83号 矩阵完成问题
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 数据集。电影镜头,http://www.grouplens.org/taxonomy/term/14。
[2] A.Fannijiang和W.Liao,具有未解析网格的相干模式引导压缩传感,SIAM J.成像科学。,5(2012年),第179-202页·Zbl 1250.65035号
[3] A.Themelis和P.Patrinos,Douglas-Rachford分裂和无凸优化的ADMM:紧收敛结果,SIAM J.Optim。,30(2020年),第149-181页·Zbl 1434.90158号
[4] B.Mishra、G.Meyer、S.Bonnabel和R.Sepulchre,固定秩矩阵分解和黎曼低秩优化,计算。统计人员。,29(2014),第591-621页·Zbl 1306.65107号
[5] B.Mishra、K.A.Apuroop和R.Sepulchre,《低秩矩阵完成的黎曼几何》,预印本,https://arxiv.org/abs/1306.2672 (2013).
[6] B.Wen、X.J.Chen和T.K.Pong,带外推的近似凸差分算法,计算。最佳方案。申请。,69(2018),第297-324页·Zbl 1401.90175号
[7] 鲍忠良,董斌,侯立康,沈志伟,张晓庆,张晓青,小波框架系数零范数最小化图像复原,反问题,32(2016),115004·Zbl 1409.94026号
[8] D.Davis和W.Yin,三算子分裂方案及其优化应用,集值变量分析。,25(2017),第829-858页·Zbl 1464.47041号
[9] D.L.Donoho,通过稀疏约束实现超分辨率,SIAM J.Math。分析。,23(1992年),第1309-1331页·Zbl 0769.42007
[10] D.T.Pham和H.A.Le Thi,D.C.编程的凸分析方法:理论、算法和应用,数学学报。越南。,22(1997),第289-355页·Zbl 0895.90152号
[11] D.T.Pham和H.A.Le Thi,求解信任区域子问题的D.C.优化算法,SIAM J.Optim。,8(1998),第476-505页·Zbl 0913.65054号
[12] E.Esser,基于拉格朗日的交替方向方法和连接在分裂Bregman中的应用,技术报告,CAM报告09-31,加州大学洛杉矶分校,加利福尼亚州,2009年。
[13] E.Esser,Y.Lou和J.Xin,一种寻找非负最小二乘问题的结构化稀疏解的方法及其应用,SIAM J.Imaging Sci。,6(2013),第2010-2046页·Zbl 1282.90239号
[14] E.J.Candès和B.Recht,通过凸优化实现精确矩阵补全,Found。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号
[15] F.Bian和X.Zhang,非凸优化的参数化Douglas-Rachford分裂算法,应用。数学。计算。,410 (2021), 126425. ·Zbl 1510.90209号
[16] G.Li和T.K.Pong,非凸组合优化分裂方法的全局收敛性,SIAM J.Optim。,25(2015),第2434-2460页·Zbl 1330.90087号
[17] G.Li和T.K.Pong,非凸优化的Douglas-Rachford分裂及其在非凸可行性问题中的应用,数学。程序。序列号。A、 159(2016),第371-401页·兹比尔1346.90584
[18] G.Li,T.Liu和T.K.Pong,一类非凸优化问题的Peaceman-Rachford分裂,计算。最佳方案。申请。,68(2017),第407-436页·Zbl 1387.90198号
[19] H.Attouch、J.Bolt和B.F.Svaiter,半代数和驯服问题下降方法的收敛性:近似算法、前向背向分裂和正则高斯-赛德尔方法,数学。程序。,137(2013),第91-129页·Zbl 1260.49048号
[20] H.Attouch、J.Bolt、P.Redont和A.Soubeyran,非凸问题的近似交替最小化和投影方法:基于Kurdyka-Łojasiewicz不等式的方法,数学。操作。研究,35(2010),第438-457页·Zbl 1214.65036号
[21] H.Zou和T.Hastie,《通过弹性网进行正则化和变量选择》,J.R.Stat.Soc.Ser。B统计方法。,67(2005),第301-320页·Zbl 1069.62054号
[22] J.Bolt、A.Danilidis、A.Lewis和M.Shiota,分层函数的Clarke次梯度,SIAM J.Optim。,18(2007),第556-572页·Zbl 1142.49006号
[23] J.Bolte,A.Danilidis和A.Lewis,非光滑亚分析函数的Łojasewicz不等式及其在亚梯度动力系统中的应用,SIAM J.Optim。,17(2007),第1205-1223页·Zbl 1129.26012号
[24] J.Bolt、S.Sabach和M.Teboulle,非凸和非光滑问题的近似交替线性化最小化,数学。程序。序列号。A、 146(2014),第459-494页·Zbl 1297.90125号
[25] 蔡建峰、坎迪斯、沈振中,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页·Zbl 1201.90155号
[26] J.Gotoh、A.Takeda和K.Tono,稀疏优化问题的DC公式和算法,数学。程序。,169(2018),第141-176页·Zbl 06869181号
[27] 杨振中,张扬,压缩传感中L_1问题的交替方向算法,SIAM J.Sci。计算。,33(2011),第250-278页·Zbl 1256.65060号
[28] J.Yang、Y.Zhang和W.Yin,从部分傅里叶数据重建TV(L\/1-L\/2)信号的快速交替方向方法,IEEE J.Sel。顶部。信号处理。,4(2010年),第288-297页。
[29] 郭坤,韩德华,袁欣,“强+弱”凸规划Douglas-Rachford分裂方法的收敛性分析,SIAM J.Numer。分析。,55(2017),第1549-1577页·Zbl 1368.47038号
[30] K.Wei、J.-F.Cai、T.F.Chan和S.Leung,低秩矩阵恢复的黎曼优化保证,SIAM J.matrix Anal。申请。,37(2016),第1198-1222页·Zbl 1347.65109号
[31] K.Wei、J.-F.Cai、T.F.Chan和S.Leung,低秩矩阵完备的黎曼优化保证,逆问题。《成像》,14(2020),第233-265页·Zbl 1439.65059号
[32] L.Yang、T.K.Pong和X.Chen,一类非凸和非光滑问题的交替方向乘法器方法及其在背景/前景提取中的应用,SIAM J.Imaging Sci。,10(2017年),第74-110页·Zbl 1364.90278号
[33] 龚鹏,张长川,陆振中,黄建杰,叶建杰,非凸正则优化问题的一种通用迭代收缩和阈值算法,JMLR Workshop Conf.Proc。,28(2013)第37-45页。
[34] P.Jain、R.Meka和I.Dhillon,通过奇异值投影保证秩最小化,《神经信息处理系统进展》23,Curran Associates,Red Hook,NY,2010,第937-945页。
[35] P.Yin和J.Xin,PhaseLiftOff:一种基于迹和Frobenius范数差异的准确稳定的相位检索方法,Commun。数学。科学。,13(2015),第1033-1049页·Zbl 1342.94052号
[36] P.Yin、Y.Lou、Q.He和J.Xin,压缩传感中L(1)-L(2)的最小化,SIAM J.Sci。计算。,37(2015),第A536-A563页·Zbl 1316.90037号
[37] Q.Liu,X.Shen,Y.Gu,带收敛分析的非凸非光滑优化的线性化ADMM,IEEE Access,7(2019),第76131-76144页。
[38] R.Cabral、F.de la Torre、J.Costeira和A.Bernardino,《统一核范数和双线性因子分解方法用于低秩矩阵分解》,载于《2013年IEEE国际计算机视觉会议论文集》(ICCV 2013),IEEE,新泽西州皮斯卡塔韦,2013年,第2488-2495页。
[39] R.I.Bot、E.R.Csetnek和D.K.Nguyen,结构化非凸和非光滑问题的近似最小化算法,SIAM J.Optim。,29(2019),第1300-1328页·Zbl 1431.65088号
[40] R.Meka、P.Jain、C.Caramanis和I.S.Dhillon,通过在线学习实现排名最小化,收录于ICML,ACM,纽约,2008年,第656-663页。
[41] R.Tibshirani,通过Lasso,J.Roy进行回归收缩和选择。统计社会服务。B.统计方法。,58(1996),第267-288页·Zbl 0850.62538号
[42] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein,通过乘数交替方向方法进行分布式优化和统计学习,Found。趋势马赫数。学习。,3(2011年),第1-122页·Zbl 1229.90122号
[43] T.Goldstein和S.Osher,(L_1)正则化问题的分裂Bregman方法,SIAM J.成像科学。,2(2009年),第323-343页·Zbl 1177.65088号
[44] W.Yin、S.Osher、D.Goldfarb和J.Darbon,压缩传感应用中最小化(l_1)的Bregman迭代算法,SIAM J.成像科学。,1(2008),第143-168页·Zbl 1203.90153号
[45] Y.Liu和W.Yin,《Davis-Yin分裂和严格避免鞍点的信封》,J.Optim。理论应用。,181(2019),第567-587页·Zbl 07063787号
[46] Lou,P.Yin,Q.He,J.Xin,基于(l_1)和(l_2)之差计算高相干字典中的稀疏表示,科学学报。计算。,64(2015),第178-196页·Zbl 1327.65111号
[47] 娄义英,曾振堂,S.Osher,J.Xin,图像处理中各向异性和各向同性总变分模型的加权差分,SIAM J.Imaging Sci。,8(2015),第1798-1823页·Zbl 1322.94019号
[48] 王毅,尹文伟,曾俊华,非凸非光滑优化中ADMM的全局收敛性,科学学报。计算。,78(2019年),第29-63页·兹比尔1462.65072
[49] Z.W.Wen、W.T.Yin和Y.Zhang,用非线性逐次过松弛算法求解矩阵补全的低阶因式分解模型,数学。程序。计算。,4(2012年),第333-361页·Zbl 1271.65083号
[50] Z.Wen,W,Yin,D.Goldfarb,and Y.Zhang,基于收缩、子空间优化和延拓的稀疏重建快速算法,SIAM J.Sci。计算。,32(2010年),第1832-1857页·Zbl 1215.49039号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。