×

改进了正则化ADMM和正则化非欧几里德HPE框架的逐点迭代复杂性。 (英语) Zbl 06693803号

摘要:本文描述了求解线性约束凸规划的交替方向乘子法(ADMM)的正则化变体。结果表明,对于标准ADMM方法,新变量的逐点迭代复杂度优于相应变量,并且在对数项之前,与后者的遍历迭代复杂度相同。我们的分析基于首次提出并建立了一个正则化非欧几里德混合近端外梯度框架的逐点迭代复杂性,其每次迭代的误差条件包括相对误差和可加误差。然后证明了新的ADMM变量是后一种框架的一个特殊实例,其中当ADMM步长小于1时,可和误差序列为零,或者当步长在区间\([1,(1+\sqrt{5})/2)\)中时,为非平凡序列。

MSC公司:

47时05分 单调算子和推广
47J22型 变体和其他类型的夹杂物
49平方米27 分解方法
90C25型 凸面编程
90立方 非线性规划
90C60型 数学规划问题的抽象计算复杂性
65K10码 数值优化和变分技术

软件:

GADMM公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] A.Alotaibi,P.L.Combettes和N.Shahzad,{通过Kuhn-Tucker集}的连续Fejer近似求解耦合复合单调包含,SIAM J.Optim。,24(2014),第2076-2095页·Zbl 1315.47057号
[2] D.Boley,{二次或线性规划上交替方向乘数法的局部线性收敛},SIAM J.Optim。,23(2013),第2183-2207页·Zbl 1288.65086号
[3] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein,《通过交替方向乘数法进行分布式优化和统计学习》,Found。趋势马赫数。学习。,3(2011年),第1-122页·兹比尔1229.90122
[4] L.M.Bricen͂o-Arias和P.L.Combettes,{二元复合单调包含的单调+斜分裂模型},SIAM J.Optim。,21(2011),第1230-1250页·Zbl 1239.47053号
[5] R.S.Burachik,A.N.Iusem和B.F.Svaiter,{单调算子的扩张及其在变分不等式中的应用},集值分析。,5(1997),第159-180页·Zbl 0882.90105号
[6] R.S.Burachik、C.A.Sagastizaíbal和B.F.Svaiter,{\it\(ϵ)-极大单调算子的放大:理论和应用},收录于《重整:非光滑、分段光滑、半光滑和光滑方法》(Lausanne,1997),应用。最佳方案。22,Kluwer,Dordrecht,1999年,第25-43页·Zbl 0928.65068号
[7] A.Chambolle和T.Pock,{\it凸问题的一阶原对偶算法及其在成像中的应用},J.Math。成像视觉。,40(2011年),第120-145页·Zbl 1255.68217号
[8] 崔永明,李晓霞,孙德华,陶国忠,{关于带耦合目标函数的线性约束凸优化问题的优化ADMM的收敛性},J.Optim。理论应用。,169(2016),第1013-1041页·Zbl 1342.90130号
[9] 邓文华,尹文华,{关于广义交替方向乘子法的全局收敛性和线性收敛性},科学学报。计算。,(2015),第1-28页。
[10] Y.Drori,S.Sabach,and M.Teboulle,{it一类非光滑凹凸鞍点问题的简单算法},Oper。Res.Lett.公司。,43(2015),第209-214页·Zbl 1408.90234号
[11] J.Eckstein和W.Yao,《理解乘数交替方向方法的收敛性:理论和计算观点》,太平洋J.Optim。,11(2015),第619-644页·Zbl 1330.90074号
[12] 方永兴、何斌、刘浩、袁永元,《乘数的广义交替方向法:新的理论见解和应用》,《数学》。程序。计算。,7(2015),第149-187页·Zbl 1353.90110号
[13] M.Fazel、T.K.Pong、D.Sun和P.Tseng,{\it Hankel矩阵秩最小化及其在系统识别和实现中的应用},SIAM J.矩阵分析。申请。,34(2013),第946-977页·Zbl 1302.90127号
[14] D.Gabay和B.Mercier,{通过有限元近似求解非线性变分问题的对偶算法。},计算。数学。申请。,2(1976年),第17-40页·Zbl 0352.65034号
[15] R.Glowinski,{非线性变分问题的数值方法},Springer Ser。计算。物理。,施普林格·弗拉格,柏林,1984年·Zbl 0536.65054号
[16] R.Glowinski和A.Marroco,{\it Sur l’A approximation,par eéleéments finis d’ordre un,et la reésolution,par peénalisation-qualiteé,d'une classe de problèmes de dirichlet nonline-aires},RAIRO Anal。努姆河。,9(1975年),第41-76页·Zbl 0368.65053号
[17] {\f5 T.Goldstein}、{\f5 B.O’Donoghue}、{\f5 S.Setzer}和{\f5 R.Baraniuk},{\f5快速交替方向优化方法},{\f5 SIAM J.Imaging Sci.}。,7(2014),第1588-1623页·Zbl 1314.49019号
[18] Y.Gu、B.Jiang和H.Deren,{基于半近似的严格收缩和平-拉赫福德分裂方法},2015。
[19] W.W.Hager、M.Yashtini和H.Zhang,变步长Bregman算子分裂算法的收敛速度,SIAM J.Numer。分析。,54(2016),第1535-1556页·Zbl 1381.49009号
[20] 何凤,袁晓元,{关于乘子对称交替方向法的步长}。
[21] B.He和X.Yuan,{it关于Douglas-Rachford交替方向法的收敛速度,SIAM J.Numer。分析。,50(2012年),第700-709页·Zbl 1245.90084号
[22] B.He和X.Yuan,{关于Douglas-Rachford交替方向乘数法的非遍历收敛速度},Numer。数学。,130(2015),第567-577页·Zbl 1320.90060
[23] Y.He和R.D.C.Monteiro,{求解复合鞍点和双层Nash平衡问题的加速块分解一阶方法},SIAM J.Optim。,25(2015),第2182-2211页·Zbl 1326.90107号
[24] Y.He和R.D.C.Monteiro,{一类复合凹凸鞍点问题的加速hpe型算法},SIAM J.Optim。,26(2016),第29-56页·Zbl 1329.90179号
[25] J.Hiriart-Urruti和C.Lemarechal,{凸分析和最小化算法II},施普林格,柏林,1993·Zbl 0795.49002号
[26] O.Kolossoski和R.D.C.Monteiro,{一种用于凹凸鞍点问题的加速非欧几里德混合近端外梯度型算法},Optim。方法软件。,出现时,doi:10.1080/10556788.2016.1266355·Zbl 1375.90236号
[27] {\lang1033T.Lin、S.Ma和S.Zhang,{\lang1033\sit找到了一种基于外梯度的交替方向凸最小化方法。}。计算。数学。,(2015),第1-25页。
[28] M.Marques Alves、R.D.C.Monteiro和B.F.Svaiter,{用改进的逐点迭代复杂性边界求解单调包含的正则化HPE型方法},SIAM J.Optim。,26(2016),第2730-2743页·Zbl 06662675号
[29] R.D.C.Monteiro和B.F.Svaiter,{关于迭代和遍历平均}的混合近端外梯度方法的复杂性,SIAM J.Optim。,20(2010年),第2755-2787页·Zbl 1230.90200
[30] R.D.C.Monteiro和B.F.Svaiter,{半变分不等式的Tseng修正F-B分裂和korpelevich方法变体的复杂性及其在鞍点和凸优化问题中的应用},SIAM J.Optim。,21(2011),第1688-1720页·Zbl 1245.90155号
[31] R.D.C.Monteiro和B.F.Svaiter,{块分解算法的迭代复杂性和乘法器的交替方向方法},SIAM J.Optim。,23(2013),第475-507页·Zbl 1267.90181号
[32] Y.Ouyang,Y.Chen,G.Lan,and E.Pasiliao Jr.,{一种加速线性化交替方向乘法器方法},SIAM J.成像科学。,8(2015),第644-681页·Zbl 1321.90105号
[33] C.Peijun,H.Jianguo,and Z.Xiaoqun,{一种凸可分离最小化的原对偶不动点算法及其在图像恢复中的应用},《反问题》,29(2013),第25011-25043页·Zbl 1279.65075号
[34] R.T.Rockafellar,{凸分析},普林斯顿大学出版社,新泽西州普林斯顿,1970年·Zbl 0193.18401号
[35] R.T.Rockafellar,{关于次微分映射的最大单调性},太平洋数学杂志。,33(1970年),第209-216页·Zbl 0199.47101号
[36] R.T.Rockafellar和R.J.-B.Wets,{变分分析},施普林格,柏林,1998年·Zbl 0888.49001号
[37] M.V.Solodov和B.F.Svaiter,{\it使用最大单调算子}的扩大的混合近似外梯度-最大点算法,集值分析。,7(1999),第323-345页·Zbl 0959.90038号
[38] M.V.Solodov和B.F.Svaiter,{一种不精确的混合广义近点算法和Bregman函数理论的一些新结果},数学。操作。研究,25(2000),第214-230页·Zbl 0980.90097号
[39] Y.Wang,W.Yin,and J.Zeng,{非凸非光滑优化中ADMM的全局收敛},2015·Zbl 1462.65072号
[40] X.Zhang,M.Burger,X.Bresson,and S.Osher,{将非局部正则化用于反褶积和稀疏重建},SIAM J.成像科学。,3(2010年),第253-276页·Zbl 1191.94030号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。