×
杰罗姆·博尔特;绍姆·萨巴赫;马克·特布勒

非凸和非光滑问题的近似交替线性化最小化。 （英语） Zbl 1297.90125号

数学。程序。 146，第1-2（A）号，459-494（2014）.
摘要：我们介绍了一种近交线性化最小化（PALM）算法，用于解决一类广泛的非凸和非光滑最小化问题。基于强大的Kurdyka-Łojasiewicz性质，我们导出了一个自包含的收敛分析框架，并建立了PALM生成的每个有界序列全局收敛到一个临界点。我们的方法允许使用半代数问题的数据分析各种类型的非凸非光滑问题和相关的非凸近端前向支持算法，后一个特性由各种基本应用中出现的许多函数共享。我们框架的一个副产品还表明，即使在凸设置中，我们的结果也是新的。作为结果的说明，我们导出了一个新的、简单的全局收敛算法来解决稀疏非负矩阵分解问题。

引用于2评论
引用于432文件

MSC公司：

90C26型 非凸规划，全局优化
90立方 非线性规划
49立方米 基于非线性规划的数值方法
65K10码 数值优化和变分技术
47J25型 涉及非线性算子的迭代程序
49平方米27 分解方法

关键词：

交替最小化;块坐标下降;高斯-赛德尔方法;Kurdyka-Łojasiewicz地产;非凸非光滑极小化;近端向前向后;稀疏非负矩阵分解
PDF格式BibTeX公司 XML格式引用
\textit｛J.Bolte｝等人，数学。程序。146，编号1--2（A），459--494（2014；Zbl 1297.90125）
全文： 内政部

参考文献：

[1] Attouch，H.，Bolte，J.：关于包含分析特征的非光滑函数的近端算法的收敛性。数学。程序。116, 5-16 (2009) ·Zbl 1165.90018号 ·文件编号：10.1007/s10107-007-0133-5
[2] Attouch，H.，Bolt，J.，Redont，P.，Soubeyran，A.：非凸问题的近似交替最小化和投影方法：基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。第35号决议，第438-457号决议（2010年）·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[3] Attouch，H.，Bolt，J.，Svaiter，B.F.：半代数和驯化问题下降方法的收敛性：近似算法，前向-后向分裂和正则高斯-赛德尔方法。数学。程序。序列号。A 137，91-129（2013）·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[4] Auslander，A.：无差别功能的组合和最小化方法。数字数学18，213-223（1971）·Zbl 0215.27504号 ·doi:10.1007/BF01397082
[5] Auslander，A.：乐观主义——方法数字。巴黎马森（1976）·Zbl 0326.90057号
[6] Auslender，A.：Fenchel对偶函数的渐近性质及其在分解问题中的应用。J.优化。理论应用。73, 427-449 (1992) ·Zbl 0794.49026号 ·doi:10.1007/BF00940050
[7] Auslender，A.，Teboulle，M.，Ben-Tiba，S.：将对数二次近似法与块非线性高斯-赛德尔算法耦合用于线性约束凸最小化。收录于：Thera，M.，Tichastschke，R.（编辑）《经济学和数学系统讲义》，第477卷。第35-47页（1998年）·Zbl 0944.65066号
[8] Bauschke，H.H.，Combettes，P.L.：希尔伯特空间中的凸分析和单调算子理论。施普林格，纽约（2011）·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[9] Beck，A.，Teboulle，M.：线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学2，183-202（2009）·Zbl 1175.94009号 ·doi:10.1137/080716542
[10] Beck，A.，Terameshvili，L.：关于块坐标下降型方法的收敛性。预印本（2011年）·Zbl 1297.90113号
[11] Berry，M.、Browne，M.，Langville，A.、Pauca，P.、Plemmons，R.J.：近似非负矩阵因式分解的算法和应用。计算。统计数据分析。52155-173（2007年）·Zbl 1452.90298号 ·doi:10.1016/j.csda.2006.11.006
[12] Bertsekas，D.P.，Tsitsiklis，J.N.：并行和分布式计算：数值方法。新泽西州普伦蒂斯·霍尔（1989）·Zbl 0743.65107号
[13] Blum，M.，Floyd，R.W.，Pratt，V.，Rivest，R.，Tarjan，R.：选择的时限。J.计算。系统。科学。7, 448-461 (1973) ·Zbl 0278.68033号 ·doi:10.1016/S0022-0000（73）80033-9
[14] Bolt，J.，Combettes，P.L.，Pesquet，J.-C.：用于盲图像恢复的交替近端算法。摘自：第17届IEEE图像处理国际会议论文集，香港，ICIP，第1673-1676页（2010）·Zbl 1263.90094号
[15] Bolt，J.，Danilidis，A.，Ley，O.，Mazet，L.：Łojasiewicz不等式的特征：次梯度流，talweg，凸性。事务处理。美国数学。Soc.3623319-3363（2010年）·Zbl 1202.26026号 ·doi:10.1090/S0002-9947-09-05048-X
[16] Bolt，J.，Danilidis，A.，Lewis，A.：非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17, 1205-1223 (2006) ·Zbl 1129.26012号 ·doi:10.1137/050644641
[17] Bolt，J.，Danilidis，A.，Lewis，A.，Shiota，M.：分层函数的Clarke次梯度。SIAM J.Optim公司。18, 556-572 (2007) ·Zbl 1142.49006号 ·doi:10.1137/060670080
[18] Cichocki，A.，Zdunk，R.，Phan，A.H.，Amari，S.：非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用。威利，纽约（2009）·doi:10.1002/9780470747278
[19] Grippo，L.，Sciandone，M.：凸约束下块非线性Gauss-Seidel方法的收敛性。操作。Res.Lett公司。26, 127-136 (2000) ·Zbl 0955.90128号 ·doi:10.1016/S0167-6377（99）00074-7
[20] Heiler，M.，Schnorr，C.：通过非负矩阵分解和序列锥规划学习稀疏表示。J.马赫。学习。第7号决议，1385-1407（2006）·Zbl 1222.68214号
[21] Hoyer，P.O.：具有稀疏约束的非负矩阵分解。J.马赫。学习。第5号决议，1457-1469（2004年）·Zbl 1222.68218号
[22] Kurdyka，K.：关于o-极小结构中可定义函数的梯度。《傅里叶学会年鉴》48，769-783（1998）·Zbl 0934.32009 ·doi:10.5802/如果1638
[23] Lee，D.D.，Seung，H.S.：从非负矩阵分解中学习对象的部分。《自然》401，788-791（1999）·Zbl 1369.68285号 ·doi:10.1038/44565
[24] Lin，C.J.：非负矩阵分解的投影梯度法。神经计算。19, 2756-2779 (2007) ·兹比尔1173.90583 ·doi:10.1162/neco.2007.19.10.2756
[25] Łojasiewicz，S.：Une propriétét拓扑des sous-ensemples analytiques réels，Leséquations aux Dériveées Partielles。国家科学研究中心，巴黎，8-89（1963）·Zbl 0215.27504号
[26] Luss，R.，Teboulle，M.：具有稀疏约束的秩一矩阵近似的条件梯度算法。SIAM版本55，65-98（2013）·兹比尔1263.90094 ·数字对象标识代码：10.1137/10839072
[27] Mordukhovich，B.：变分分析和广义微分。I.《基础理论》，《Grundlehren der Mathematischen Wissenschaften》，第330卷。柏林施普林格出版社（2006）·Zbl 1100.49002号 ·doi:10.1007/3-540-31247-1
[28] Ortega，J.M.，Rheinboldt，W.C.：多元非线性方程的迭代解。纽约学术出版社（1970）·Zbl 0241.65046号
[29] Palomar，D.P.，Eldar，Y.（编辑）：信号处理和通信中的凸优化。英国剑桥大学出版社（2010）·Zbl 1200.90009号
[30] 鲍威尔，M.J.D.：关于最小化算法的搜索方向。数学。程序。4, 193-201 (1973) ·Zbl 0258.90043号 ·doi:10.1007/BF01584660
[31] Rockafellar，R.T.，Wets，R.：变分分析Grundlehren der Mathematischen Wissenschaften，第317卷。柏林施普林格（1998）·Zbl 0888.49001号
[32] Sra，S.、Nowozin，S.和Wright，S.J.（编辑）：机器学习的优化。麻省理工学院出版社，剑桥（2011）
[33] Tseng，P.：不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109, 475-494 (2001) ·Zbl 1006.65062号
[34] W.I.Zangwill：非线性规划：统一方法。普伦蒂斯·霍尔（Prentice Hall），恩格尔伍德悬崖（Englewood Cliffs）（1969年）·Zbl 0195.20804号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。