×

解决鞍点问题:具有较大步长的原始-对偶算法。 (英语) Zbl 1516.90115号

摘要:我们考虑了图像处理和机器学习领域中经常出现的一类鞍点问题。在本文中,我们提出了一种简单的原对偶算法,该算法将正定矩阵诱导的一般近项嵌入到一个子问题中。值得注意的是,由于我们放宽了收敛保证条件,我们的算法比许多现有的最先进的原始-对偶类算法具有更大的步长。此外,我们的算法包括众所周知的原对偶混合梯度法作为其特例,同时它也可能对推导部分线性化原对偶算法有益。最后,我们证明了我们的算法能够处理多块可分离鞍点问题。特别是,将其应用于具有线性约束的多块可分离最小化问题,可以得到一个并行算法。一些计算结果充分支持了我们放宽要求带来的有希望的改进。

MSC公司:

90立方厘米 数学规划中的极小极大问题
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Arrow,K.,Hurwicz,L.,Uzawa,H.:有贡献。收录:Chenery,H.B.、Johnson,S.M.、Karlin,S.、Marschak,T.、Solow,R.M.(编辑)《线性和非线性规划研究》,斯坦福大学社会科学数学研究,第二卷。斯坦福大学出版社,加利福尼亚州斯坦福市(1958年)·Zbl 0091.16002号
[2] 博内蒂尼,S。;Ruggiero,V.,《关于全变分图像恢复的原始-对偶混合梯度算法的收敛性》,J.Math。成像视觉。,44, 236-253 (2012) ·Zbl 1255.68210号 ·doi:10.1007/s10851-011-0324-9
[3] 博伊德,S。;北卡罗来纳州帕里赫。;Chu,E。;佩莱托,B。;Eckstein,J.,《通过交替方向乘数法进行分布式优化和统计学习》,Found。趋势马赫数。学习。,3, 1-122 (2010) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[4] 蔡,X。;Han,D。;Xu,L.,一种改进的一阶原对偶算法和新的校正步骤,J.Global Optim。,57, 1419-1428 (2013) ·Zbl 1282.90232号 ·doi:10.1007/s10898-012-9999-8
[5] 坎迪斯,E。;李,X。;马,Y。;Wright,J.,稳健主成分分析?,J.ACM,58,1-37(2011)·Zbl 1327.62369号 ·数字对象标识代码:10.1145/1970392.1970395
[6] 坎迪斯,E。;J.隆伯格。;Tao,T.,从不完整和不准确的测量中恢复稳定信号,Commun。纯应用程序。数学。,59, 1207-1223 (2006) ·邮编1098.94009 ·doi:10.1002/cpa.20124年
[7] Chambolle,A。;Pock,T.,凸问题的一阶原对偶算法及其在成像中的应用,J.Math。成像视觉。,40, 120-145 (2011) ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[8] Chambolle,A。;Pock,T.,成像连续优化介绍,《数值学报》。,25, 161-319 (2016) ·Zbl 1343.65064号 ·doi:10.1017/S096249291600009X
[9] Chang,X。;Yang,J.,结构化凸优化的黄金比率原对偶算法,J.Sci。计算。,87, 2, 47 (2021) ·Zbl 1468.90082号 ·doi:10.1007/s10915-021-01452-9
[10] 陈,P。;黄,J。;Zhang,X.,凸可分极小化的原对偶不动点算法及其在图像恢复中的应用,逆问题。,29, 2, 025011 (2013) ·Zbl 1279.65075号 ·doi:10.1088/0266-5611/29/025011
[11] Donoho,D.,压缩传感,IEEE Trans。通知。理论,521289-1306(2006)·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[12] 阿拉巴马州顿切夫;Rockafellar,RT,变分分析中解映射的正则性和条件,集值分析。,12, 1, 79-109 (2004) ·Zbl 1046.49021号 ·doi:10.1023/B:SVAN.0000023394.19482.30
[13] 阿拉巴马州顿切夫;Rockafellar,RT,隐函数和解决方案映射(2009),柏林:施普林格出版社,柏林·Zbl 1178.26001号 ·doi:10.1007/978-0-387-87821-8
[14] Drori,Y。;萨巴赫,S。;Teboulle,M.,一类非光滑凹凸鞍点问题的简单算法,Oper。Res.Lett.公司。,43, 2, 209-214 (2015) ·Zbl 1408.90234号 ·doi:10.1016/j.orl.2015.02.001
[15] 埃塞尔,E。;张,X。;Chan,T.,成像科学中凸优化的一类一阶原对偶算法的一般框架,SIAM J.成像科学。,3, 1015-1046 (2010) ·Zbl 1206.90117号 ·数字对象标识码:10.1137/09076934X
[16] He,B.,Ma,F.,Xu,S.,Yuan,X.:鞍点问题具有改进收敛条件的广义原对偶算法(2021)。arXiv:2112.00254v1·Zbl 1494.94009号
[17] 他,B。;Yuan,X.,鞍点问题原对偶算法的收敛性分析:从收缩角度,SIAM J.成像科学。,5, 119-149 (2012) ·Zbl 1250.90066号 ·数字对象标识代码:10.1137/100814494
[18] He,B.,Yuan,X.:凸规划的平衡增广拉格朗日方法(2021)。arXiv:2108.08554
[19] 他,B。;你,Y。;袁,X.,关于原-对偶混合梯度算法的收敛性,SIAM J.Imaging Sci。,7, 2526-2537 (2015) ·Zbl 1308.90129号 ·数字对象标识代码:10.1137/140963467
[20] He,H。;德赛,J。;Wang,K.,鞍点优化的原对偶预测校正算法,J.Global Optim。,66, 573-583 (2016) ·Zbl 1356.90160号 ·doi:10.1007/s10898-016-0437-1
[21] 江,F。;吴,Z。;蔡,X。;Zhang,H.,一类凹凸鞍点问题的一阶非精确原对偶算法,Numer。算法,88,1109-1136(2021)·Zbl 1478.90088号 ·数字对象标识代码:10.1007/s11075-021-01069-x
[22] 江,F。;吴,Z。;蔡,X。;Zhang,H.,鞍点问题一阶原对偶算法的统一线性收敛性,Optim。莱特。,1675-1700年(2022年)·Zbl 1493.90204号 ·doi:10.1007/s11590-021-01832-y
[23] Li,H.,Yan,M.:关于一些原对偶算法的改进条件(2022)。arXiv:22010.0139v1
[24] 李,Z。;Yan,M.,大步长原对偶算法的新收敛性分析,高级计算。数学。,47, 1, 1-20 (2021) ·Zbl 1515.65156号 ·doi:10.1007/s10444-020-09840-9
[25] Loris,I。;Verhoeven,C.,关于不可分离惩罚情况下迭代软阈值算法的推广,逆问题。,2011年12月27日·Zbl 1233.65039号 ·数字对象标识代码:10.1088/0266-5611/27/125007
[26] Moreau,J.,《函数converse dudual et points proximaux dans un espace hilbertien,C.R.Acad。科学。巴黎Ser。数学。,255, 2897-2899 (1962) ·Zbl 0118.10502号
[27] 奥康纳,D。;Vandenberghe,L.,关于原-对偶混合梯度法与Douglas-Rachford分裂的等价性,Math。程序。,179, 1, 85-108 (2020) ·Zbl 1498.90156号 ·doi:10.1007/s10107-018-1321-1
[28] 北卡罗来纳州帕里赫。;Boyd,S.,《近似算法》,Found。最佳趋势。,1, 123-231 (2013)
[29] Robinson,S.M.:多面体多函数的一些连续性。摘自:Oberwolfach的数学编程,第206-214页。斯普林格(1981)·Zbl 0449.90090号
[30] 鲁丁。;Osher,S。;Fatemi,E.,基于非线性总变差的噪声去除算法,Physica D,60,227-238(1992)·Zbl 0780.49028号 ·doi:10.1016/0167-2789(92)90242-F
[31] 王凯。;He,H.,鞍点问题的双外推原对偶算法,J.Sci。计算。,85, 3, 1-30 (2020) ·Zbl 1453.65146号
[32] Zhu,M.,Chan,T.:一种用于全变差图像恢复的高效原-对偶混合梯度算法。加州大学洛杉矶分校CAM报告08-34(2008)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。