×

统一抽象不精确收敛定理和块坐标可变度量iPiano。 (英语) Zbl 1411.32009年

摘要:证明了一类显式建模相对误差的广义下降法的抽象收敛定理。收敛定理推广并统一了最近的几个抽象收敛定理。它适用于满足Kurdyka-Łojasiewicz(KL)不等式的可能非光滑和非凸下半连续函数,该不等式包含了一大类问题。许多最近使用KL不等式明确证明收敛性的算法可以在本文的抽象框架中进行转换,因此,生成的序列收敛到目标函数的一个稳定点。与相关方法相比,可通过以下方式获得额外的灵活性:下降特性,该下降特性与允许沿迭代改变的函数有关,通用距离度量,以及与距离项的有限线性组合有关的显式/隐式相对误差条件。作为获得的灵活性的应用,证明了块坐标可变度量版本iPiano(一种惯性前向-后向分裂算法)的收敛性,该算法在图像处理中的Mumford-Shah-like正则化修复问题上表现良好。

MSC公司:

32B20型 半分析集、亚分析集和推广
49J52型 非平滑分析
65克10 数值优化和变分技术

软件:

iPiano公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] P.A.Absil、R.Mahony和B.Andrews,{分析成本函数下降法迭代的收敛},SIAM J.Optim。,16(2005年),第531-547页·Zbl 1092.90036号
[2] L.Ambrosio和V.Tortorelli,通过\(γ\)-收敛对依赖于椭圆泛函跳跃的泛函的逼近,Comm.Pure Appl。数学。,43(1990),第999-1036页·兹比尔0722.49020
[3] H.Attouch和J.Bolt,{\it关于涉及分析特征的非光滑函数的近似算法的收敛性},数学。程序。,116(2009),第5-16页·Zbl 1165.90018号
[4] H.Attouch、J.Bolt、P.Redont和A.Soubeyran,《非凸问题的近似交替最小化和投影方法:基于Kurdyka-Łojasiewicz不等式}的方法》,数学。操作。研究,35(2010),第438-457页·Zbl 1214.65036号
[5] H.Attouch,J.Bolt和B.Svaiter,{半代数和驯服问题下降方法的收敛性:近似算法,前向-后向分裂,正则高斯-赛德尔方法},数学。程序。,137(2013),第91-129页·Zbl 1260.49048号
[6] A.Auslender,{芬切尔对偶函数的渐近性质及其在分解问题中的应用},J.Optim。理论应用。,73(1992年),第427-449页·Zbl 0794.49026号
[7] J.Bolte,P.L.Combettes和J.-C.Pesquet,《用于盲图像恢复的交替近端算法》,摘自《2010年IEEE图像处理国际会议论文集》,IEEE出版社,新泽西州皮斯卡塔韦,2010年,第1673-1676页。
[8] J.Bolt,A.Danilidis和A.Lewis,{it非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用},SIAM J.Optim。,17(2007),第1205-1223页·Zbl 1129.26012号
[9] J.Bolt、A.Danilidis、A.Lewis和M.Shiota,{分层函数的Clarke次梯度},SIAM J.Optim。,18(2007),第556-572页·Zbl 1142.49006号
[10] J.Bolt,A.Danilidis,O.Ley,and L.Mazet,{Łojasiewicz不等式的特征:次梯度流,talweg,凸性},Trans。阿默尔。数学。Soc.,362(2010),第3319-3363页·Zbl 1202.26026号
[11] J.Bolt和E.Pauwels,{半代数和驯化程序的优化-最小化程序和SQP方法的收敛性},数学。操作。决议,41(2016)·Zbl 1338.65156号
[12] J.Bolt、S.Sabach和M.Teboulle,{非凸和非光滑问题的近似交替线性化最小化},数学。程序。,146(2014),第459-494页·Zbl 1297.90125号
[13] S.Bonettini、I.Loris、F.Porta、M.Prato和S.Rebegoldi,《关于基于线性搜索的非凸优化近似梯度法的收敛性》,预印本,2016年·Zbl 1373.65040号
[14] R.I.Boţ和E.R.Csetnek,{非光滑和非凸优化问题的惯性Tseng型近似算法},J.Optim。理论应用。,171(2015),第600-616页·Zbl 1349.90688号
[15] R.I.Boţ,E.R.Csetnek,and S.Laíszloí,{\it两个非凸函数之和最小化的惯性前向后退算法},EURO J.Compute。最佳。,4(2016),第3-25页·Zbl 1338.90311号
[16] L.M.Bregman,{寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用},苏联计算机。数学。数学。物理。,7(1967年),第200-217页。
[17] R.Chill和M.Jendoubi,{渐近自治半线性发展方程收敛到稳态},非线性分析。,53(2003),第1017-1039页·兹比尔1033.34066
[18] E.Chouzenoux、J.-C.Pesquet和A.Repetti,{\it用于最小化可微函数和凸函数之和的可变度量前向-后向算法},J.Optim。理论应用。,162(2013),第107-132页·Zbl 1318.90058号
[19] E.Chouzenoux、J.-C.Pesquet和A.Repetti,{它是块坐标可变度量正向支持算法},J.Global Optim。,66(2016),第457-485页·Zbl 1351.90128号
[20] L.P.D.van den Dries,{缓和拓扑和(O)-极小结构},伦敦数学。Soc.课堂讲稿Ser。248,剑桥大学出版社,剑桥,1998年·Zbl 0953.03045号
[21] P.Frankel、G.Garrigos和J.Peypouquet,《Kurdyka-Łojasiewicz函数的变度量分裂方法和一般收敛速度》,J.Optim。理论应用。,165(2014),第874-900页·Zbl 1316.49039号
[22] I.Galic、J.Weickert、M.Welk、A.Bruhn、A.Belyaev和H.-P.Seidel,{\it Towards PDE-based image compression},《计算机视觉中的变分、几何和水平集方法:第三次国际研讨会》,VLSM 2005,讲义计算。科学。3752,N.Paragios,O.D.Faugeras,T.Chan,和C.Schnoörr,编辑,施普林格,柏林,2005年,第37-48页·Zbl 1159.68589号
[23] L.Grippof和M.Sciandone,{无约束优化的全局收敛块协调技术},Optim。方法软件。,10(1999年),第587-637页·Zbl 0940.65070号
[24] A.Haraux和M.Jendoubi,{具有解析非线性的二阶类梯度系统解的收敛性},J.Differ。Equ.、。,144(1998),第313-320页·Zbl 0915.34060号
[25] S.Hosseini,{通过Kurdyka-Łojasiewicz不等式在黎曼流形上的非光滑下降方法的收敛},INS预印本1523,数值模拟研究所,波恩莱茵谢·弗里德里希·威廉姆斯大学,2015。
[26] S.-Z.Huang和P.Taka∧č,{类梯度系统渐近自治和解析解的收敛性},非线性分析。,46(2001),第675-698页·Zbl 1002.35022号
[27] D.R.Hunter和K.Lange,《MM算法教程》,J.Amer。统计师。协会,58(2004),第30-37页。
[28] A.N.Iusem、T.Pennanen和B.F.Svaiter,{无单调性的近点算法的不精确变体},SIAM J.Optim。,13(2003),第1080-1097页·Zbl 1053.90134号
[29] K.Kurdyka,{关于o-极小结构中可定义函数的梯度},《傅里叶研究年鉴》,48(1998),第769-783页·Zbl 0934.32009
[30] K.Kurdyka和A.Parusiníski,{\it\(w_f\)-亚分析函数的分层和Łojasiewicz不等式},C.R.Acad。巴黎,318(1994),第129-133页·Zbl 0799.32007号
[31] C.拉格曼,{类梯度系统的点态收敛},数学。纳克里斯。,280(2007),第1543-1558页·Zbl 1130.37012号
[32] G.Li和T.Pong,非凸优化的Douglas Rachford分裂及其在非凸可行性问题中的应用,数学。程序。,159(2016),第371-401页·兹比尔1346.90584
[33] G.Li和T.K.Pong,{非凸组合优化分裂方法的全局收敛},SIAM J.Optim。,25(2015),第2434-2460页·Zbl 1330.90087号
[34] G.Li,T.Liu和T.K.Pong,{一类非凸优化问题的Peaceman-Rachford分裂},预印本,2015年·Zbl 1387.90198号
[35] H.Li和Z.Lin,{非凸规划的加速近似梯度法},《高级神经信息处理》。系统。28,C.Cortes,N.D.Lawrence,D.D.Lee,M.Sugiyama,and R.Garnett,eds.,Curran Associates,Red Hook,NY,2015年,第379-387页。
[36] J.Liang,J.Fadili,and G.Peyreí,{它是一种用于非凸优化的多步惯性前向-后向分裂方法},《高级神经网络信息处理》。系统。29,D.Lee,M.Sugiyama,U.Luxburg,I.Guyon,and R.Garnett,eds.,Curran Associates,Red Hook,NY,2016年,第4035-4043页。
[37] S.Łojasiewicz,{\it Une proprieéteétopologique des sous-ensembles analytiques reéels},摘自《Les Eéquations aux Deériveées Partielles》,巴黎国家科学中心,1963年,第87-89页·Zbl 0234.57007号
[38] S.Łojasiewicz,{\it Sur la geéome _trie semi-et sous-analytique},《傅里叶研究年鉴》,43(1993),第1575-1595页·Zbl 0803.32002号
[39] M.Mainberger和J.Weickert,{均匀扩散的基于边缘的图像压缩},《图像和模式的计算机分析》,讲义计算。科学。5702,X.Jiang和N.Petkov编辑,施普林格,柏林,2009年,第476-483页。
[40] B.Merlet和M.Pierre,{向后Euler格式和应用收敛到平衡},Commun。纯应用程序。分析。,9(2010年),第685-702页·Zbl 1215.65132号
[41] Y.Nesterov,{凸优化入门讲座:基础课程},应用。最佳方案。87,Kluwer学术出版社,马萨诸塞州诺维尔,2004年·Zbl 1086.90045号
[42] D.Noll,{使用Kurdyka-Łojasiewicz不等式}的非光滑下降方法的收敛性,J.Optim。理论应用。,160(2013),第553-572页·Zbl 1298.90079号
[43] P.Ochs,{对象级分组和非光滑优化方法的长期运动分析},博士论文,阿尔伯特·卢德维格斯大学,弗赖堡,2015;可从在线获取。
[44] P.Ochs,Y.Chen,T.Brox,and T.Pock,{\it iPiano:非凸优化的惯性近似算法},SIAM J.成像科学。,7(2014),第1388-1419页·Zbl 1296.90094号
[45] P.Ochs,A.Dosovitskiy,T.Brox,and T.Pock,{关于计算机视觉中非光滑非凸优化的迭代重加权算法},SIAM J.成像科学。,8(2015),第331-372页·Zbl 1326.65078号
[46] T.Pock和S.Sabach,{非凸和非光滑问题的惯性近似交替线性化最小化(iPALM)},SIAM J.成像科学。,9(2016),第1756-1787页·Zbl 1358.90109号
[47] B.T.Polyak,{加速迭代法收敛的一些方法},苏联计算机。数学。数学。物理。,4(1964年),第1-17页·Zbl 0147.35301号
[48] R.T.Rockafellar和R.J.-B.Wets,{变分分析},格兰德伦数学。威斯。317,斯普林格,纽约,1998年·Zbl 0888.49001号
[49] L.Simon,一类非线性演化方程的渐近性及其在几何问题中的应用,Ann.Math。,118(1983),第525-571页·Zbl 0549.35071号
[50] M.Solodov和B.Svaiter,{\it使用最大单调算子}的扩大的混合近似外梯度-最大点算法,集值分析。,7(1999),第323-345页·Zbl 0959.90038号
[51] M.Solodov和B.Svaiter,{\it A混合投影-近点算法},J.凸分析。,6(1999),第50-70页·Zbl 0961.90128号
[52] M.Solodov和B.Svaiter,{\it一些不精确近点算法的统一框架},Numer。功能。分析。最佳。,22(2001),第1013-1035页·Zbl 1052.49013号
[53] A.J.Wilkie,{模型完备性是实数有序域通过受限Pfaffian函数和指数函数}展开的结果,J.Amer。数学。Soc.,9(1996),第1051-1094页·Zbl 0892.03013号
[54] S.Zavriev和F.Kostyuk,{非凸优化问题中的重球方法},计算。数学。型号。,4(1993年),第336-341页·Zbl 1331.90056号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。