×

鞍点问题的近似一阶原对偶算法。 (英语) Zbl 1461.65159号

摘要:我们提出了两种近似的一阶原对偶算法(PDA)来解决一类凹凸鞍点问题。引入的近似准则很容易实现,因为它们只涉及当前迭代中某个函数的次梯度。第一近似PDA不精确地解决了这两个子问题,并采用了基于非负可和序列的绝对误差准则。假设PDA的一个子问题可以精确求解,第二个近似PDA近似求解另一个子问题,并采用相对误差准则。相对误差准则只涉及在([0,1)范围内的一个参数,这使得该方法更适用。对于这两个版本,我们都建立了由迭代复杂性度量的全局收敛性和(O(1/N)收敛速度,其中计算迭代次数。对于具有绝对误差准则的不精确PDA,我们分别在部分基本函数和两个基本函数强凸的假设下,证明了加速的(O(1/N^2))和线性收敛速度。然后,我们证明了这些不精确准则也可以推广到解决一类更一般的问题。最后,我们对稀疏恢复和图像处理问题进行了一些数值实验。结果表明了所提方法的可行性和优越性。

MSC公司:

65千5 数值数学规划方法
65K10码 数值优化和变分技术
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿罗,肯尼斯·J。;列奥尼德·赫维茨(Leonid Hurwicz);Uzawa,Hirofumi,线性和非线性规划研究,由H.B.Chenery,S.M.Johnson,S.Karlin,T.Marschak,R.M.Solow贡献。斯坦福大学社会科学数学研究,第二卷,vii+229页(1958年),斯坦福大学出版社,加利福尼亚州斯坦福·Zbl 0091.16002号
[2] 阿特Touch,H\'{e} 迪; 螺栓,J{e} 第页\^ome;Patrick Redont;Soubeyran,Antoine,非凸问题的近似交替最小化和投影方法:基于Kurdyka-\L ojasiewicz不等式的方法,数学。操作。研究,35,2,438-457(2010)·Zbl 1214.65036号 ·doi:10.1287/门.1100.0449
[3] 海蒂·阿图什;螺栓,J{e} 第页\^ome;Svaiter,Benar Fux,半代数和驯服问题下降方法的收敛性:近似算法,前向-后向分裂,正则高斯-赛德尔方法,数学。程序。,137,1-2,序列号。A、 91-129(2013)·Zbl 1260.49048号 ·doi:10.1007/s10107-011-0484-9
[4] 蔡兴菊;韩德仁;徐玲玲,一种改进的一阶原对偶算法及其新的校正步骤,J.Global Optim。,57, 4, 1419-1428 (2013) ·Zbl 1282.90232号 ·doi:10.1007/s10898-012-9999-8
[5] Chambolle,Antonin,《总变差最小化算法及其应用》,J.Math。成像视觉,20,1-2,89-97(2004)·Zbl 1366.94048号 ·doi:10.1023/B:JMIV.00000011320.81911.38
[6] Antonin Chambolle;托马斯·波克,《凸问题的一阶原对偶算法及其在成像中的应用》,J.Math。成像视觉,40,1,120-145(2011)·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[7] Antonin Chambolle;Pock,Thomas,关于一阶原对偶算法的遍历收敛速度,数学。程序。,159,1-2,序列号。A、 253-287(2016)·Zbl 1350.49035号 ·doi:10.1007/s10107-015-0957-3
[8] Condat,Laurent,《涉及Lipschitz、近似和线性组合项的凸优化的原对偶分裂方法》,J.Optim。理论应用。,158, 2, 460-479 (2013) ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9
[9] 戴玉红;Fletcher,Roger,大型箱约束二次规划的投影Barzilai-Borwein方法,Numer。数学。,100, 1, 21-47 (2005) ·兹比尔1068.65073 ·doi:10.1007/s00211-004-0569-y
[10] Damek Davis;尹沃涛,三算子分裂格式及其优化应用,集值变量分析。,25, 4, 829-858 (2017) ·兹比尔1464.47041 ·doi:10.1007/s11228-017-0421-z
[11] 乔纳森·埃克斯坦(Jonathan Eckstein);Silva,Paulo J.S.,增广拉格朗日函数的实用相对误差准则,数学。程序。,141,1-2,序列号。A、 319-348(2013)·Zbl 1362.90312号 ·doi:10.1007/s10107-012-0528-9
[12] 乔纳森·埃克斯坦(Jonathan Eckstein);Yao,Wang,从拉格朗日分裂导出的近似ADMM算法,计算。最佳方案。申请。,68, 2, 363-405 (2017) ·Zbl 1378.90063号 ·数字对象标识代码:10.1007/s10589-017-9911-z
[13] 乔纳森·埃克斯坦(Jonathan Eckstein);Yao,Wang,Douglas-Rachford分裂的相对误差近似版本和ADMM,Math的特殊情况。程序。,170,2,序列号。A、 417-444(2018)·Zbl 1401.90151号 ·doi:10.1007/s10107-017-1160-5
[14] 埃塞尔(Ernie Esser);张晓群;Chan,Tony F.,成像科学中凸优化的一类一阶原对偶算法的一般框架,SIAM J.成像科学。,3, 4, 1015-1046 (2010) ·兹比尔1206.90117 ·数字对象标识码:10.1137/09076934X
[15] GM76 D.Gabay和B.Mercier,通过有限元近似求解非线性变分问题的对偶算法,计算。数学。申请。第2页,第17-40页(1976年)·Zbl 0352.65034号
[16] 格洛文斯基,R。;Marrocco,A.,Sur l“近似值,par”{e} 我\'{e} 个月结束“秩序”{e} 解决方案,第p段{e} 确定性\'{e},'une classe de probl\'emes de Dirichlet non lin\'{e} 艾利斯,修订版Fran \c{c} 美国证券交易所自动化。Informat公司。重新整理操作{e} 理性主义者S\'{e} r.(右)。《胭脂分析》。数字\'{e} r.(右)。,第9页,第2页,第41-76页(1975年)·Zbl 0368.65053号
[17] Gol15 T.Goldstein,M.Li和X.M.Yuan,统计学习和图像处理的自适应原始-对偶分裂方法,神经信息处理系统进展。,第2089-297页(2015)
[18] 韩德仁;何鸿金;杨海;Yuan,Xiaoming,一种用于线性约束下可分离凸最小化的定制Douglas Rachford分裂算法,Numer。数学。,127, 1, 167-200 (2014) ·Zbl 1295.90046号 ·doi:10.1007/s00211-013-0580-2
[19] 何炳胜;袁晓明,鞍点问题原对偶算法的收敛性分析:从收缩角度,SIAM J.成像科学。,5, 1, 119-149 (2012) ·Zbl 1250.90066号 ·数字对象标识代码:10.1137/100814494
[20] 他,丙生;你,燕飞;袁晓明,关于原-对偶混合梯度算法的收敛性,SIAM J.Imaging Sci。,7, 4, 2526-2537 (2014) ·Zbl 1308.90129号 ·数字对象标识代码:10.1137/140963467
[21] 何炳胜;马,冯;袁晓明,鞍点问题广义原对偶混合梯度法的算法框架,J.Math。成像视觉,58,2,279-293(2017)·Zbl 1387.90186号 ·doi:10.1007/s10851-017-0709-5
[22] 何鸿金;吉塔米特拉·德赛;王凯,鞍点优化的一种原对偶预测校正算法,J.Global Optim。,66, 3, 573-583 (2016) ·Zbl 1356.90160号 ·doi:10.1007/s10898-016-0437-1
[23] Hien17 L.T.K.Hien、R.B.Zhao和W.B.Haskell,大规模非双线性鞍点问题的不精确原对偶光滑框架,arXiv预印本1711.03669。(2017)
[24] Korpelevi{c},G.M.,《寻找鞍点和其他问题的外梯度法》,Ekonom。i Mat.Metody,第12、4、747-756页(1976年)·Zbl 0342.90044号
[25] 狮子,P.-L。;Mercier,B.,两个非线性算子之和的分裂算法,SIAM J.Numer。分析。,16, 6, 964-979 (1979) ·Zbl 0426.6500号 ·doi:10.1137/0716071
[26] 刘艳丽;徐云北;Yin,Wotao,通过预处理和简单子问题程序加速原对偶方法,科学杂志。计算。,第86、2、21页(2021年)·Zbl 1464.49018号 ·doi:10.1007/s10915-020-01371-1
[27] 尤拉·马利茨基;托马斯·波克,带线性搜索的一阶原对偶算法,SIAM J.Optim。,28, 1, 411-432 (2018) ·Zbl 1390.49033号 ·doi:10.137/16M1092015
[28] 贝内代塔·莫里尼;玛格丽塔·波塞利;Chan,Raymond H.,约束线性最小二乘问题的简化牛顿法,J.Compute。申请。数学。,233, 9, 2200-2212 (2010) ·兹比尔1186.65049 ·doi:10.1016/j.cam.2009.10.006
[29] Nam,S。;戴维斯,M.E。;Elad,M。;Gribonval,R.,cosparse分析模型和算法,应用。计算。哈蒙。分析。,34, 1, 30-56 (2013) ·Zbl 1261.94018号 ·doi:10.1016/j.acha.2012.03.006
[30] 豪尔赫·诺塞达尔;Wright,Stephen J.,数值优化,斯普林格运筹学和金融工程系列,xxii+664页(2006),斯普林格,纽约·Zbl 1104.65059号
[31] Par14 N.Parikh和S.Boyd,近似算法,发现。趋势优化。第1(3)页,第127-239页(2014年)
[32] 佩德雷戈萨2018 F.Pedregosa和G.Gidel,自适应三算子分裂,第35届ICML会议记录,第4085-4094页(2018)
[33] 朱利安·拉什(Julian Rasch);Chambolle,Antonin,不精确一阶原对偶算法,计算。最佳方案。申请。,76, 2, 381-430 (2020) ·Zbl 1443.90273号 ·doi:10.1007/s10589-020-00186-y
[34] 列奥尼德·鲁丁一世。;斯坦利·奥斯尔(Stanley Osher);Fatemi,Emad,基于非线性总变差的噪声去除算法,Phys。D、 60、1-4、259-268(1992)·Zbl 0780.49028号 ·doi:10.1016/0167-2789(92)90242-F
[35] Rockafellar,R.Tyrrell,《凸分析》,普林斯顿数学系列,第28期,第xviii+451页(1970),普林斯顿大学出版社,新泽西州普林斯顿·Zbl 0932.90001号
[36] Solodov,M.V。;Svaiter,B.F.,《投影-近点混合算法》,J.凸分析。,6, 1, 59-70 (1999) ·Zbl 0961.90128号
[37] Solodov,M.V。;Svaiter,B.F.,近点子问题的误差界和相关的不精确近点算法,数学。程序。,88,2,序列号。B、 371-389(2000)·Zbl 0963.90064号 ·doi:10.1007/s101070050022
[38] V\~{u},Bang C\^ong,涉及余强制算子的对偶单调包含的分裂算法,高级计算。数学。,38, 3, 667-681 (2013) ·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8
[39] 谢家欣;廖安平;杨晓波,具有相对误差准则的不精确交替方向乘法器方法,Optim。莱特。,11, 3, 583-596 (2017) ·Zbl 1367.90089号 ·doi:10.1007/s11590-016-1021-9
[40] 谢家欣,关于具有相对误差标准的不精确ADMM,计算。最佳方案。申请。,71, 3, 743-765 (2018) ·Zbl 1414.90275号 ·doi:10.1007/s10589-018-0022-2
[41] Yan,Ming,用线性算子最小化三个函数之和的一种新的原对偶算法,科学杂志。计算。,76, 3, 1698-1717 (2018) ·Zbl 1415.65142号 ·doi:10.1007/s10915-018-0680-3
[42] 张晓群;马丁·汉堡包;Osher,Stanley,基于Bregman迭代的统一原对偶算法框架,J.Sci。计算。,46,1,20-46(2011年)·Zbl 1227.65052号 ·doi:10.1007/s10915-010-9408-8
[43] Tan,Zhao;尤尼娜·C·埃尔达尔。;埃米尔·贝克;Nehorai,Arye,分析稀疏恢复的平滑和分解,IEEE Trans。信号处理。,62, 7, 1762-1774 (2014) ·Zbl 1394.94580号 ·doi:10.1109/TSP.2014.2304932
[44] Zhu08 M.Q.Zhu和T.F.Chan,一种有效的全变差图像恢复原-对偶混合梯度算法,加州大学洛杉矶分校CAM报告。(2008)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。