×

具有不确定近端正则化和最优近端参数的线性对称多块ADMM。 (英语) Zbl 1467.65061号

摘要:近端项在近端交替方向乘数法(ADMM)的文献中起着重要作用,因为(正定或不定)近端项可以促进ADMM的收敛,并进一步简化所涉及的子问题。然而,过大的近似参数会在数值上减慢收敛速度,尽管可以用它来建立收敛性。因此,本文重点研究具有适当近似项的线性化对称ADMM(LSADMM),以求解一类多块可分离凸最小化模型,并确定一个最优(最小)该LSADMM在收敛时仍然可以保证近似参数的值。我们的LSADMM将数据分为两组变量,并用适当的步长以不同的形式更新拉格朗日乘数两次。第二组子问题中涉及的近端参数区域被划分为三个不同集合的并集。我们证明了LSADMM在这两种情况下的全局收敛性和次线性遍历收敛速度,同时给出了一个反例来说明LSADMM的收敛性在其余情况下无法保证。理论上,我们得到了近似参数的最优下界。对所谓的隐变量高斯图形模型选择问题进行了数值实验,以证明所提算法的性能以及近似参数的最佳下界的显著优势。

MSC公司:

65K10像素 数值优化和变分技术
90C25型 凸面编程
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bai,J。;李,J。;冯敏,X。;张,H.,可分离凸优化的广义对称ADMM,计算。最佳方案。申请。,70129-170(2018)·Zbl 1461.65126号
[2] Ma,S.,凸极小化的交替近似梯度法,J.Sci。计算。,68, 2, 546-572 (2016) ·Zbl 1371.65056号
[3] 帕特里奇,M。;Jabri,M.,稳健主成分分析?,J.ACM,58、3、1-37(2011)·兹比尔1327.62369
[4] 陶,M。;Yuan,X.,从不完全和噪声观测中恢复矩阵的低秩和稀疏分量,SIAM J.Optim。,第21页,第1页,第57-81页(2011年)·Zbl 1218.90115号
[5] 他,B。;Yuan,X.,一类基于ADMM的三块可分离凸规划算法,计算。最佳方案。申请。,70, 3, 791-826 (2018) ·Zbl 1393.90085号
[6] Han,D。;W·孔。;Zhang,W.,用于低补丁库图像分解的部分分裂增广拉格朗日方法,J.Math。成像视觉。,51, 1, 145-160 (2015) ·兹比尔1332.68270
[7] Sun,D。;Toh,K-C;杨,L.,带(4)型约束的二次规划的收敛三块半最近交替方向乘子法,SIAM J.Optim。,25, 2, 882-915 (2014) ·Zbl 1328.90083号
[8] 李,X。;Sun,D。;Toh,KC,基于schur补码的凸二次锥规划半近似ADMM及其扩展,数学。程序。,155, 1-2, 333-373 (2016) ·Zbl 1342.90134号
[9] Chen,L。;Sun,D。;Toh,KC,一种用于高维凸复合圆锥规划的高效非精确对称高斯优化ADMM,数学。程序。,161, 1-2, 237-270 (2017) ·Zbl 1356.90105号
[10] Chang,X。;刘,S。;Li,X.,凸二次半定规划乘数的改进交替方向法,神经计算,214575-586(2016)
[11] 格洛温斯基,R。;Marrocco,A.,《Sur l’approximation,paréments finishs d’ordre un,et la résolution,parñalisation on quality,d'une class de problèmes de dirichlet nonéaires,J.Equine Vet》。科学。,2,R-2,41-76(1975年)·Zbl 0368.65053号
[12] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.,《通过交替方向乘数法进行分布式优化和统计学习》,Found。趋势马赫数。学习。,3, 1, 1-122 (2010) ·Zbl 1229.90122号
[13] 陈,C。;他,B。;Ye,Y。;Yuan,X.,多块凸极小化问题ADMM的直接推广不一定收敛,数学。程序。,155, 1-2, 57-79 (2016) ·Zbl 1332.90193号
[14] 蔡,X。;Han,D。;Yuan,X.,关于具有一个强凸函数的三块可分离凸极小化模型的ADMM直接扩张的收敛性,计算。最佳方案。申请。,66, 1, 39-73 (2017) ·Zbl 1372.90079号
[15] 陶,M。;Yuan,X.,多块可分离凸最小化的ADMM直接扩展的收敛性分析,高级计算。数学。,44, 3, 773-831 (2018) ·Zbl 1393.90089号
[16] 他,B。;陶,M。;袁,X.,可分凸规划的高斯后代换交替方向法,SIAM J.Optim。,22, 2, 313-340 (2012) ·Zbl 1273.90152号
[17] 他,B。;Xu,H。;Yuan,X.,关于多块可分凸极小化问题ALM的近端雅可比分解及其与ADMM的关系,J.Sci。计算。,66, 1204-1217 (2016) ·兹比尔1371.65052
[18] Gu,Y.,Jiang,B.,Han,D.:一种基于半近似的严格收缩Peaceman-Rachford分裂方法。arXiv:1506.02221(2015)
[19] Chang,X。;刘,S。;赵,P。;Li,X.,多块可分离凸规划的基于收敛预测校正的ADMM,J.Compute。申请。数学。,335, 270-288 (2018) ·Zbl 1397.90299号
[20] 他,B。;陶,M。;Yuan,X.,可分离凸规划的一种分裂方法,IMA J.Numer。分析。,35, 1, 394-426 (2015) ·Zbl 1310.65062号
[21] 高,B。;Ma,F.,线性约束凸优化的带正诱导近端正则化的对称交替方向法,J.Optim。理论应用。,176, 1, 178-204 (2018) ·Zbl 1453.65133号
[22] 王,JJ;Song,W.,多块可分离凸极小化模型的广义ADMM扭曲算法,J.Compute。申请。数学。,309, 342-358 (2016) ·Zbl 1462.90095
[23] 埃克斯坦,J。;Bertsekas,DP,关于最大单调算子的douglas-rachford分裂方法和近点算法,数学。程序。,55, 1-3, 293-318 (1992) ·Zbl 0765.90073号
[24] Eckstein,J.,凸程序的并行交替方向乘数分解,J.Optim。理论应用。,80, 1, 39-62 (1994) ·Zbl 0797.90075号
[25] 杨,J。;Yuan,X.,核范数最小化的线性化增广拉格朗日和交替方向方法,数学。计算。,82, 301-329 (2013) ·Zbl 1263.90062号
[26] 李,X。;莫,L。;袁,X。;Zhang,J.,稀疏群和融合套索模型的线性化交替方向乘法器方法,计算。统计数据分析。,79, 79, 203-221 (2014) ·Zbl 1506.62112号
[27] 林,Z。;刘,R。;Li,H.,机器学习中可分离凸程序的并行分裂和自适应惩罚线性化交替方向方法,马赫。学习。,99, 2, 287-325 (2015) ·Zbl 1331.68189号
[28] 他,B。;马,F。;Yuan,X.,凸规划乘数交替方向法的最优线性化,计算。最佳方案。申请。,75, 361-388 (2020) ·兹比尔1432.90111
[29] 李,M。;Sun,D。;Toh,KC,线性约束凸组合优化中具有不确定近似项的优化ADMM,SIAM J.Optim。,26, 2, 922-950 (2016) ·Zbl 1338.90305号
[30] Chang,X。;刘,S。;赵,P。;Song,D.,解两块可分离凸规划的线性化交替方向乘法器方法的推广,J.Compute。申请。数学。,357, 251-272 (2019) ·Zbl 1415.65134号
[31] 江,F。;W.中明。;Cai,X.,线性约束凸优化的具有最优不确定近端项的广义ADMM,J.Ind.Manag。最佳。,16, 2, 835-856 (2020) ·Zbl 1449.90290号
[32] 王,余;尹,W。;Zeng,J.,非凸非光滑优化中ADMM的全局收敛性,J.Sci。计算。,78, 1-2, 1-35 (2018)
[33] Rockafellar,RT,凸分析(1970),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 0193.18401号
[34] 马,S。;薛,L。;Zou,H.,潜在变量高斯图形模型选择的交替方向方法,神经计算。,25, 8, 2172-2198 (2013) ·Zbl 1418.62234号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。