玛丽亚姆·亚什蒂尼 非凸非光滑优化中近似线性化ADMM的收敛性和速率分析。 （英语） Zbl 1505.90096号 J.全球。最佳方案。 84，第4期，913-939（2022）. 摘要：在本文中，我们考虑一种近似线性化交替方向乘法器方法（PL-ADMM），用于求解线性约束的非凸和可能的非光滑优化问题。通过在原始更新中使用可变度量近似项和在乘法器更新中使用过松弛步骤，对算法进行了推广。建立了基于增广拉格朗日的推广结果，包括次梯度带、极限连续性、下降性和单调性。我们证明了PL-ADMM序列是有界的。在强大的Kurdyka-Łojasiewicz不等式下，我们证明了PL-ADMM序列具有有限长度，因此收敛，并且我们驱动了其收敛速度。 引用于1文件 MSC公司： 90C26型 非凸规划，全局优化 关键词：非凸非光滑优化;Kurdyka-Łojasiewicz不等式;交替方向乘法器法;汇聚;收敛速度;可变度量近似项 软件：RecPF公司;LMa拟合 PDF格式BibTeX公司 XML格式引用 \textit｛M.Yashtini｝，J.环球网。最佳方案。84，第4号，913--939（2022；Zbl 1505.90096） 全文： 内政部 参考文献： [1] 艾姆斯，B。；Hong，M.，（ell_1）惩罚零方差判别分析和主成分分析的交替方向乘数法，计算。最佳方案。申请。，64, 725-754 (2016) ·Zbl 1352.90072号 [2] Attouch，H。；Bolt，J.，关于涉及分析特征的非光滑函数的近似算法的收敛性，数学。程序。，116, 5-16 (2009) ·Zbl 1165.90018号 [3] Attouch，H。；博尔特，J。；Redont，P。；Soubeyran，A.，非凸问题的近端交替最小化和投影方法：一种基于Kurdyka-Łojasewicz不等式的方法，数学。操作。研究，35，438-457（2010）·Zbl 1214.65036号 [4] Attouch，H。；博尔特，J。；Svaiter，B.，半代数和驯服问题下降方法的收敛性：近似算法，前向-后向分裂，正则高斯-侧面方法，数学。程序。序列号。A、 137、91-129（2013）·Zbl 1260.49048号 [5] Bai，J.，Hager，W.W.，Zhang，H.：可分离凸优化的不精确加速随机ADMM，arXiv预印本arXiv:2010.12765，（2020） [6] Bai，J.，Han，D.，Sun，H.，Zhang，H.：具有较大步长的对称加速随机admm上的收敛性，arXiv预印本arXiv:2103.16154，（2021） [7] Bai，J。；李，J。；徐，F。；张，H.，可分离凸优化的广义对称ADMM，计算。最佳方案。申请。，70, 129-170 (2018) ·Zbl 1461.65126号 [8] Boley，D.，二次或线性规划上交替方向乘数法的局部线性收敛，SIAM J.Optim，23，2183-2207（2013）·Zbl 1288.65086号 [9] 博尔特，J。；Danilidis，A。；Lewis，A.，非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用，SIAM J.Optim，17，1205-1223（2006）·兹比尔1129.26012 [10] 博尔特，J。；Danilidis，A。；莱伊，M。；Mazet，L.，Łojasiewicz不等式的特征：次梯度流，talweg，凸性，Trans。美国数学。Soc.，362，3319-3363（2010年）·Zbl 1202.26026号 [11] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146, 459-494 (2014) ·Zbl 1297.90125号 [12] 博尔特，J。；Danilidis，A。；Shiota，M.，分层函数的Clarke次梯度，SIAM J.Optim。，18, 556-572 (2007) ·Zbl 1142.49006号 [13] 博伊·R·。；Nguyen，D.，非凸环境中乘数的最近交替方向方法：收敛分析和速率，数学。操作。研究，45，682-712（2020）·Zbl 1480.90198号 [14] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，2010年1月3日至22日·兹比尔1229.90122 [15] Cai，X.，Han，D.，Yuan，X.：当一个函数为强凸时，三块可分离凸最小化模型的ADMM的直接扩张是收敛的，http://www.optimization-online.org, 2013 (2015) [16] 陈，C。；他，B。；袁，X。；Ye，Y.，多块凸极小化问题ADMM的直接推广不一定收敛，数学。程序。，55, 57-79 (2016) ·Zbl 1332.90193号 [17] 陈，C。；沈毅。；You，Y.，关于三块乘法器交替方向法的收敛性分析，文章摘要。申请。分析。，2015, 1-7 (2013) ·Zbl 1302.90148号 [18] 陈，Y。；哈格，WW；亚什蒂尼，M。；叶，X。；Zhang，H.，Bregman算子分裂与变步长的全变差图像重建，计算。最佳方案。申请。，54, 317-342 (2013) ·Zbl 1290.90071号 [19] 西里克，AC；Balasubramanya，新墨西哥州；Lampe，L.，使用基于ADMM的压缩传感对上行链路无授权标称进行多用户检测，IEEE Wirel。Commun公司。莱特。，7, 46-49 (2017) [20] 戴，Y。；Han，D。；袁，X。；张伟，可分离凸规划的拉格朗日乘子序列更新方案，数学。计算。，86, 315-343 (2017) ·Zbl 1348.90520号 [21] Davis，D。；Yin，W.，三算子分裂格式及其优化应用，集值变量分析。，25, 829-858 (2017) ·Zbl 1464.47041号 [22] 邓，W。；赖，M。；彭，Z。；Yin，W.，具有（o（1/k）收敛性的并行多块ADMM，J.Sci。计算。，71, 712-736 (2017) ·Zbl 1398.65121号 [23] 邓，W。；Yin，W.，关于乘数的广义交替方向法的全局和线性收敛性，J.Sci。计算。，66889-916（2015）·Zbl 1379.65036号 [24] Dhar，S.，Yi，C.，Ramakrishnan，N.，Shah，M.：基于ADMM的可扩展机器学习火花，2015年IEEE国际大数据会议，IEEE，（2015），第1174-1182页 [25] 道格拉斯，J。；Rachford，H.，关于2和3个空间变量中热传导问题的数值解，Trans。美国数学。Soc.，82，421-439（1956年）·Zbl 0070.35401号 [26] 埃克斯坦，J。；Bertsekas，D.，关于Douglas Rachford分裂方法和最大单调算子的近点算法，数学。程序。，55, 293-318 (1992) ·Zbl 0765.90073号 [27] Fan，J.，《统计学中的小波评论：安东尼亚迪斯的评论》，J.Ital。Stat.Soc.，6131-138（1997）·Zbl 1454.62116号 [28] 宾夕法尼亚州Forero；卡诺，A。；Giannakis，GB，《使用无线传感器网络的分布式集群》，IEEE J.Sel。主题信号处理。，5, 707-724 (2011) [29] 弗兰克尔，P。；加里戈斯，G。；Peypouquet，J.，Kurdyka-Łojasiewicz函数的可变度量分裂方法和一般收敛速度，J.Optim。理论应用。，165, 874-900 (2015) ·Zbl 1316.49039号 [30] 加贝，D。；Mercier，B.，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2, 17-40 (1976) ·Zbl 0352.65034号 [31] 格洛温斯基，R。；Marroco，A.，《Sur l’approximation，paréments finis d’ordre un，et la résolution，parñalisation qualityéd une class de problemes de dirichlet nonéaires，ESAIM Math Modell Numer Anal Modelisation Mathématique et Analyse Numérique，9，41-76（1975）》·Zbl 0368.65053号 [32] Goldfarb，D。；Ma，S.，凸优化的快速多重分裂算法，SIAM J.Optim。，22, 533-556 (2012) ·Zbl 1254.65075号 [33] Goldfarb，D。；马，S。；Scheinberg，K.，最小化两个凸函数之和的快速交替线性化方法，数学。程序。，141, 349-382 (2013) ·Zbl 1280.65051号 [34] Goldstein，T。；奥多诺休，B。；塞泽尔，S。；Baraniuk，R.，《快速交替方向优化方法》，SIAM。J.图像。科学。，7, 1588-1623 (2014) ·Zbl 1314.49019号 [35] 郭，K。；Han，D。；Wu，T.，最小化线性约束下两个非凸函数和的交替方向法的收敛性，国际计算杂志。数学，94，1653-1669（2017）·Zbl 1375.90239号 [36] 哈格，WW；恩戈，C。；亚什蒂尼，M。；Zhang，H.，交替方向近似牛顿（ADAN）算法及其在并行MRI中的应用，J.Oper。中国研究社会，3139-162（2015）·Zbl 1317.90235号 [37] 哈格，WW；亚什蒂尼，M。；Zhang，H.，An（{O}（1/k））变步长Bregman算子分裂算法的收敛速度，SIAM J.Numer。分析。，531535-1556（2016）·Zbl 1381.49009号 [38] Han，D。；袁，X.，关于乘数交替方向法的注记，J.Optim。理论应用。，155, 227-238 (2012) ·Zbl 1255.90093号 [39] 他，B。；Hou，L。；袁，X.，关于可分凸规划增广拉格朗日方法的完全雅可比分解，SIAM J.Optim。，25, 2274-2312 (2015) ·Zbl 1327.90209号 [40] He，B.，Tao，M.，Xu，M.，Yuan，X.：一般可分离线性约束凸规划问题的基于交替方向的收缩方法，http://www.optimization-online.org, (2010) [41] 他，B。；陶，M。；袁，X.，可分凸规划的高斯后代换交替方向法，SIAM J.Optim。，22, 313-340 (2012) ·Zbl 1273.90152号 [42] 他，B。；陶，M。；Yuan，X.，交替方向乘子法的收敛速度和迭代复杂度，可分离凸规划的替换过程，数学。操作。决议，42，662-691（2017）·Zbl 1371.90103号 [43] 他，B。；袁，X.，关于Douglas-Rachford交替方向法的O（1/n）收敛速度，SIAM。J.数字。分析。，2, 700-709 (2012) ·Zbl 1245.90084号 [44] 他，B。；Yuan，X.，关于Douglas-Rachford交替方向乘数法的非遍历收敛速度，Numerische Mathematik，130，567-577（2014）·Zbl 1320.90060 [45] 洪，M。；罗，Z.，关于交替方向乘数法的线性收敛性，数学。程序。，162, 165-199 (2017) ·Zbl 1362.90313号 [46] 洪，M。；Luo，Z。；Razaviyayn，M.，一类非凸问题的交替方向乘子法的收敛性分析，SIAM J.Optim。，26, 337-364 (2016) ·Zbl 1356.49061号 [47] 江，B。；林，T。；马，S。；Zhang，S.，结构化非凸和非光滑优化：算法和迭代复杂性分析，计算。最佳方案。申请。，72, 115-157 (2019) ·Zbl 1411.90274号 [48] Li，G.等人。；Pong，TK，非凸组合优化分裂方法的全局收敛性，SIAM J.Optim。，25, 2434-2460 (2015) ·Zbl 1330.90087号 [49] Liégeois，R.，Mishra，B.，Zorzi，M.，Sepulchre，R.：神经成像时间序列中的稀疏加低阶自回归识别，2015年IEEE第54届决策与控制会议（CDC），IEEE，（2015），第3965-3970页 [50] 林，F。；Fardad，M。；Jovanovic，MR，通过乘法器的交替方向方法设计最优稀疏反馈增益，IEEE Trans。自动化。控制，58，2426-2431（2013）·Zbl 1369.93215号 [51] Lin，T。；马，S。；Zhang，S.，关于多块ADMM的次线性收敛速度，J.Oper。中国研究社会，3251-274（2015）·Zbl 1323.90052号 [52] Lin，T。；马，S。；Zhang，S.，一类凸极小化问题的未修正三块ADMM的全局收敛性，J.Sci。计算。，76, 69-88 (2018) ·兹比尔1415.65140 [53] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 964-979 (1979) ·Zbl 0426.6500号 [54] 刘，Q。；沈，X。；Gu，Y.，带收敛性分析的非凸非光滑优化的线性化ADMM，IEEE Access，776131-76144（2019） [55] Liu，Y.，Shang，F.，Liu，H.，Kong，L.，Licheng，J.，Lin，Z.：用于大规模机器学习的加速方差减少随机ADMM，IEEE Trans。模式分析。机器。智力。，(2020) [56] Lu，C.，用于稀疏和低阶优化的ADMM库，Methodology，68，49-67（2006） [57] Melo，J.G.，Monteiro，R.D.：线性约束非凸优化问题的线性化近端多块ADMM类的迭代复杂性，http://www.optimization-online.org, (2017) [58] Peaceman，D。；Rachford，H.，抛物型椭圆微分方程的数值解，SIAM J.Appl。数学。，3, 28-41 (1955) ·Zbl 0067.35801号 [59] Rockafellar，RT公司；Wets，R.，变分分析（1998），施普林格，柏林：Grundlehren der Mathematischen Wissenschaften，施普林格，柏林·兹比尔0888.49001 [60] 沈毅。；温，Z。；Zhang，Y.，基于低阶分解的矩阵分离的增广拉格朗日交替方向法，Optim。方法软件。，29, 239-263 (2014) ·Zbl 1285.90068号 [61] Themelis，A。；Patrinos，P.，Douglas-Rachford分裂和非凸优化的ADMM：紧收敛结果，SIAM J.Optim。，30, 149-181 (2020) ·兹比尔1434.90158 [62] Wang，F。；Can，W。；Xu，Z.，非凸组合问题多块Bregman ADMM的收敛性，科学。中国信息科学。，61, 12210:11-122101:12 (2018) [63] Wang，Y。；尹，W。；Zeng，J.，非凸非光滑优化中ADMM的全局收敛性，J.Sci。计算。，78, 29-63 (2019) ·Zbl 1462.65072号 [64] Wen，Z。；杨，C。；刘，X。；Marchesini，S.，经典和心电相位恢复的交替方向方法，反转。问题。，28, 1-18 (2012) ·Zbl 1254.78037号 [65] 吴，C。；Tai，X-C，增广拉格朗日方法，对偶方法，ROF、矢量电视和高阶模型的分裂Bregman迭代，SIAM J.Imag。科学。，3, 300-339 (2010) ·Zbl 1206.90245号 [66] 杨，J。；Zhang，Y。；Yin，W.，从部分傅里叶数据重建TVL1-L2信号的快速交替方向方法，IEEE J.Sel。主题信号处理。，4, 288-297 (2010) [67] Yang，L.等人。；Pong，T。；Chen，X.，一类非凸非光滑问题的交替方向乘法器方法及其在背景/前景提取中的应用，SIAM J.Imag。科学。，10, 74-110 (2017) ·Zbl 1364.90278号 [68] Yang，Y.，Sun，J.，Li，H.，Xu，Z.：ADMM-Net：压缩传感MRI的深度学习方法，arXiv预印本arXiv:1705.06869，（2017） [69] Yang，Y。；Sun，J。；李，H。；Xu，Z.，ADMM-CSNet：图像压缩传感的深度学习方法，IEEE Trans。模式分析。机器。智力。，42, 521-538 (2018) [70] Yashtini，M.，《多块非凸非光滑近端ADMM：Kurdyka-Łojasiewicz性质下的收敛和速率》，J.Optim。理论应用。，190, 966-998 (2021) ·Zbl 1478.90099号 [71] Yashtini，M.，Hager，W.W.，Chen，Y.，Ye，X.：使用灵敏度编码的部分并行MR图像重建，2012年IEEE图像处理国际会议，奥兰多，（2012），IEEE，第2077-2080页 [72] 亚什蒂尼，M。；Kang，SH，欧拉弹性去噪的交替方向乘数法，SSVM 2015，LNCS，9087，690-701（2015）·Zbl 1444.94026号 [73] 亚什蒂尼，M。；Kang，SH，欧拉Elastica图像修复的快速松弛正态二分裂方法和有效的加权TV方法，SIAM J.Imag。科学。，9, 1552-1581 (2016) ·Zbl 1366.94075号 [74] 亚什蒂尼，M。；康，SH；朱伟，变边加权彩色化模型的高效交替最小化方法，高级计算。数学。，451735-1767（2019）·Zbl 1409.94713号 [75] 袁，X。；曾S。；Zhang，J.，通过变分分析透镜识别结构化凸优化的ADMM的线性收敛性，J.Mach。学习。决议，21，1-75（2020年）·Zbl 1504.90096号 [76] Zhang，C.，极小极大凹罚下的几乎无偏变量选择，Ann.Stat.，38894-942（2010）·Zbl 1183.62120号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。