×

非凸环境中乘数的最近交替方向法:收敛分析和速度。 (英语) Zbl 1480.90198号

作者对解决形式的优化问题感兴趣\[\下划线{x\in\mathbb{R}^{n}}{\min}\left\{g(Ax)+h(x)\right\}\]其中,\(g:\mathbb{R}^{n}\rightarrow\mathbb{R}\cup\{+\infty\}\)是一个适当的下半连续函数,\(h:\mat血红蛋白{R}^}\right arrow\ mathbb}R}\)则是一个具有\(L\)-Lipschitz连续梯度的连续可微函数,\。为此,他们提出了P-ADMM算法和近线性化ADMM(PL-ADMM)算法,并对这两种算法进行了收敛性分析。在对问题数据进行相对温和的假设下,作者首先建立了生成的迭代序列是有界的,然后证明了聚类点是KKT点。此外,假设增广拉格朗日函数的正则化满足Kurdyka-Lojasiewicz性质,作者证明了生成的迭代序列的全局收敛性,并导出了增广拉格朗日函数和迭代函数的收敛速度,前提是增广拉格朗日矩阵具有Lojasiewicz性质。

理学硕士:

90C26型 非凸规划,全局优化
05时47分 单调算子和推广
65千5 数值数学规划方法

软件:

BADMM公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] [1] Ames B,Hong M(2016)用于惩罚零方差判别分析的交替方向乘数法。计算。最佳方案。申请。64(3):725-754.Crossref,谷歌学者·Zbl 1352.90072号 ·doi:10.1007/s10589-016-9828-y
[2] [2] Attouch H,Bolt J(2009)关于涉及分析特征的非光滑函数的近似算法的收敛性。数学。编程116(1):5-16.Crossref,谷歌学者·Zbl 1165.90018号 ·文件编号:10.1007/s10107-007-0133-5
[3] [3] Attouch H,Bolt J,Svaiter BF(2013)半代数和驯服问题下降方法的收敛性:近似算法,前向背向分裂和正则化高斯-赛德尔方法。数学。编程137(1-2):91-129.Crossref,谷歌学者·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[4] [4] Attouch H,Bolt J,Redont P,Soubeyran A(2010)非凸问题的近似交替最小化和投影方法:基于Kurdyka-Łojasiewicz不等式的方法。数学。操作。物件。35(2):438-457.谷歌学者·兹伯利1214.65036
[5] [5] Banert S,BoţRI,Csetnek ER(2016)修正和扩展了ADMM算法的一些最新结果。工作文件,瑞典斯德哥尔摩皇家理工学院。谷歌学者
[6] [6] 贝克A(2017)最优化中的一阶方法。MOS-SIAM优化系列(工业和应用数学学会,费城)。Crossref,谷歌学者·Zbl 1384.65033号 ·数字对象标识代码:10.1137/1.9781611974997
[7] [7] Bolt J,Danilidis A,Lewis A(2006)非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17(4):1205-1223.Crossref,谷歌学者·Zbl 1129.26012号 ·doi:10.1137/050644641
[8] [8] Bolt J,Sabach S,Teboulle M(2014)非凸和非光滑问题的近似交替线性化最小化。数学。编程146(1):459-494.Crossref,谷歌学者·Zbl 1297.90125号 ·doi:10.1007/s10107-013-0701-9
[9] [9] Bolt J,Sabach S,Teboulle M(2018)非凸拉格朗日优化:监测方案和全局收敛。数学。操作。物件。43(4):1210-1232.Link,谷歌学者·Zbl 1440.90072号
[10] [10] Bolt J,Danilidis A,Lewis A,Shiota M(2007)分层函数的Clarke次梯度。SIAM J.Optim公司。18(2):556-572.Crossref,谷歌学者·Zbl 1142.49006号 ·doi:10.1137/060670080
[11] [11] Bolt J,Danilidis A,Ley M,Mazet L(2010)Łojasiewicz不等式的特征:次梯度流,talweg,凸性。事务处理。阿默尔。数学。Soc公司。362(6):3319-3363.Crossref,谷歌学者·Zbl 1202.26026号 ·doi:10.1090/S0002-9947-09-05048-X
[12] [12] BoţRI,Csetnek ER(2016)乘数的惯性交替方向方法。极小极大理论应用。1(1):29-49.谷歌学者·Zbl 1337.90082号
[13] [13] BoţRI,Csetnek ER(2016)非光滑和非凸优化问题的惯性Tseng型近似算法。J.优化。理论应用。171(2):600-616.Crossref,谷歌学者·Zbl 1349.90688号 ·doi:10.1007/s10957-015-0730-z
[14] [14] BoţRI,Csetnek ER(2019)单调算子的ADMM:收敛分析和速率。高级计算。数学。45(1):327-359.Crossref,谷歌学者·Zbl 07055804号 ·doi:10.1007/s10444-018-9619-3
[15] [15] BoţRI,Csetnek ER,Heinrich A(2013)一种用于寻找最大单调算子和的零的原始对偶分裂算法。SIAM J.Optim公司。23(4):2011-2036 Crossref,谷歌学者·兹比尔1314.47102 ·数字对象标识码:10.1137/12088255X
[16] [16] BoţRI,Csetnek ER,LászlóSC(2016)两个非凸函数之和最小化的惯性前向支持算法。EURO J.计算。最佳方案。4(1):3-25.Crossref,谷歌学者·Zbl 1338.90311号 ·doi:10.1007/s13675-015-0045-8
[17] [17] Boyd S、Parikh N、Chu E、Peleato B、Eckstein J(2010)《通过交替方向乘数法进行分布式优化和统计学习》。已找到。趋势机器学习。3(1):1-122.Crossref,谷歌学者·Zbl 1229.90122号 ·doi:10.1561/220000016
[18] [18] Chambolle A,Pock T(2011)凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。图像视觉40(1):120-145.Crossref,谷歌学者·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[19] [19] Combettes PL,VũBC(2014)可变度量拟Fejér单调性。非线性分析:理论方法应用。78:17-31谷歌学者Crossref·Zbl 1266.65087号 ·doi:10.1016/j.na.2012.09.008
[20] [20] Combettes PL,Ways VR(2005),通过近端前向-后向分裂恢复信号。多尺度模型。模拟4(4):1168-1200.Crossref,谷歌学者·Zbl 1179.94031号 ·数字对象标识代码:10.1137/050626090
[21] [21]Condat L(2013)一种用于凸优化的原对偶分裂方法,涉及Lipschitzian、近似和线性复合项。J.优化。理论应用。158(2):460-479.Crossref,谷歌学者·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9
[22] [22]崔毅,李晓东,孙东风,陶家钦(2016)关于耦合目标函数线性约束凸优化问题的优化ADMM的收敛性。J.优化。理论应用。169(3):1013-1041.Crossref,谷歌学者·Zbl 1342.90130号 ·doi:10.1007/s10957-016-0877-2
[23] [23]Fazel M,Pong TK,Sun DF,Tseng P(2013)Hankel矩阵秩最小化及其在系统识别和实现中的应用。SIAM J.矩阵分析。申请。34(3):946-977.Crossref,谷歌学者·Zbl 1302.90127号 ·doi:10.1137/110853996
[24] [24]Fortin M,Glowinski R(1983)关于使用增广拉格朗日函数的分解协调方法。Fortin M,Glowinski R,eds.增广拉格朗日方法:在边值问题求解中的应用(荷兰北部,阿姆斯特丹),97-146。谷歌学者·兹伯利0525.65045
[25] [25]Frankel P,Garrigos G,Peypouquet J(2015)Kurdyka-Łojasewicz函数的变度量分裂方法和一般收敛速度。J.优化。理论应用。165(3):874-900.Crossref,谷歌学者·兹伯利1316.49039 ·doi:10.1007/s10957-014-0642-3
[26] [26]Gabay D(1983)乘子方法在变分不等式中的应用。Fortin M,Glowinski R,eds.增广拉格朗日方法:在边值问题求解中的应用(荷兰北部,阿姆斯特丹),299-331.谷歌学者
[27] [27]Gabay D,Mercier B(1976)通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。2(1):17-40.Crossref,谷歌学者·Zbl 0352.65034号 ·doi:10.1016/0898-1221(76)90003-1
[28] [28]郭坤,韩德荣,吴TT(2017)线性约束下最小化两个非凸函数和的交替方向法的收敛性。国际。J.计算。数学。94(8):1653-1669。Crossref,谷歌学者·Zbl 1375.90239号 ·doi:10.1080/00207160.2016.1227432
[29] [29]Hare W,Sagastizábal C(2009)计算非凸函数的近点。数学。编程116(1-2):221-258.Crossref,谷歌学者·Zbl 1168.90010号 ·doi:10.1007/s10107-007-0124-6
[30] [30]Hong M,Luo ZQ(2017)关于交替方向乘数法的线性收敛性。数学。编程162(1-2):165-199.谷歌学者Crossref·Zbl 1362.90313号 ·doi:10.1007/s10107-016-1034-2
[31] [31]Hong M,Luo ZQ,Razaviyayn M(2016)一类非凸问题交替方向乘子法的收敛性分析。SIAM J.Optim公司。26(1):337-364.Crossref,谷歌学者·Zbl 1356.49061号 ·数字对象标识代码:10.1137/140990309
[32] [32]Kurdyka K(1998)关于o-极小结构中可定义函数的梯度。傅里叶学会年鉴48(3):769-783.Crossref,谷歌学者·Zbl 0934.32009 ·doi:10.5802/aif.1638
[33] [33]Lewis A,Malick J(2008),流形上的交替投影。数学。操作。物件。33(1):216-234.Link,谷歌学者·Zbl 1163.65040号
[34] [34]Li G,Pong TK(2015)非凸组合优化分裂方法的全局收敛性。SIAM J.Optim公司。25(4):2434-2460.谷歌学者交叉引用·Zbl 1330.90087号 ·doi:10.1137/140998135
[35] [35]Lin Z,Liu R,Li H(2015)机器学习中可分离凸规划的并行分裂和自适应惩罚线性化交替方向方法。机器学习。99(2):287-325.Crossref,谷歌学者·Zbl 1331.68189号 ·doi:10.1007/s10994-14-5469-5
[36] [36]Liu Q,Shen X,Gu Y(2017)非凸非光滑优化的线性化ADMM及其收敛性分析。谷歌学者
[37] [37]Łojasiewicz S(1963)《城市群拓扑分析》。1962年国际学术讨论会:巴黎国家科学研究中心(Centre National de la Recherche Scientifique,Paris)。谷歌学者·Zbl 0234.57007号
[38] [38]Mordukhovich B(2006)变分分析与广义微分,2卷。(柏林施普林格)。Crossref,谷歌学者·Zbl 1100.49002号 ·doi:10.1007/3-540-31247-1
[39] [39]Moreau JJ(1962)《函数凸集对偶与邻近点》(Fonctions converses duales et points proximaux dans un espace Hilbertien)。Comptes rendus学院。科学。序列号。A类255:2897-2899.谷歌学者·Zbl 0118.10502号
[40] [40]欧阳Y,陈Y,兰G,Pasiliao E Jr(2015)乘数的加速线性化交替方向方法。SIAM J.成像科学。8(1):644-681.Crossref,谷歌学者·Zbl 1321.90105号 ·数字对象标识码:10.1137/14095697X
[41] [41]Ren X,Lin Z(2013)基于自适应惩罚和温启动的线性化交替方向方法,用于快速求解变换不变的低阶纹理。国际。J.计算。愿景104(1):1-14.Crossref,谷歌学者·Zbl 1270.68354号 ·doi:10.1007/s11263-013-0611-6
[42] [42]Rockafellar RT,Wets RJB(1998)变分分析《数学科学基本原理》,第317卷(柏林施普林格出版社)。Crossref,谷歌学者·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3
[43] [43]Shefi R,Teboulle M(2014)基于凸极小化乘数近似方法的分解方法的收敛速度分析。SIAM J.Optim公司。24(1):269-297.Crossref,谷歌学者·Zbl 1291.90176号 ·doi:10.1137/130910774
[44] [44]Sun D,Toh KC,Yang L(2015)带4类约束的圆锥规划的收敛的3块半近似交替方向乘子方法。SIAM J.Optim公司。25(2):882-915.谷歌学者Crossref·Zbl 1328.90083号 ·数字对象标识代码:10.1137/140964357
[45] [45]VũBC(2013)涉及余强制算子的对偶单调包含的分裂算法。高级计算。数学。38(3):667-681.Crossref,谷歌学者·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8
[46] [46]Wang Y,Xu Z,Xu HK(2015)非凸复合问题带乘数的Bregman交替方向方法的收敛性。报告15-62,计算与应用数学,加州大学洛杉矶分校。谷歌学者
[47] [47]王毅,尹伟,曾杰(2019)非凸非光滑优化中ADMM的全局收敛性。科学杂志。计算。78(1):29-63.Crossref,谷歌学者·Zbl 1462.65072号 ·doi:10.1007/s10915-018-0757-z
[48] [48]Xu MH,Wu T(2011)一类线性化近端交替方向方法。J.优化。理论应用。151(2):321-337.Crossref,谷歌学者·Zbl 1242.90168号 ·doi:10.1007/s10957-011-9876-5
[49] [49]杨J,袁X(2013)核范数最小化的线性增广拉格朗日和交替方向方法。数学。计算。82:301-329.Crossref,谷歌学者·Zbl 1263.90062号 ·doi:10.1090/S0025-5718-2012-02598-1
[50] [50]杨莉·Zbl 1364.90278号 ·doi:10.1137/15M1027528
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。