×
张晓凯;杨俊峰

一种用于结构凸优化的黄金比率原对偶算法。 （英语） Zbl 1468.90082号

科学杂志。计算。 87，第2期，第47号论文，第26页（2021年）.
摘要：我们设计、分析和测试了一种用于解决结构化凸优化问题的黄金比原对偶算法（GRPDA），其中目标函数是两个闭合的适当凸函数的和，其中一个包含线性变换的组合。GRPDA保留了经典原对偶算法（PDA）的所有优点，即原变量和对偶变量以高斯-赛德尔（Gauss-Seidel）方式更新，每次迭代的代价主要取决于两个分量函数的近点映射和两个矩阵-向量乘法的计算。与采用外推步骤的经典PDA相比，GRPDA的新颖之处在于它是基于基本上整个迭代轨迹的凸组合构造的。我们表明，与经典PDA相比，GRPDA在更大的参数范围内收敛，前提是凸组合参数的倒数有界于黄金比率，这解释了算法的名称。基于原始对偶间隙函数，还建立了\（\mathcal｛O｝（1/N）\）遍历收敛速度结果，其中\（N\）表示迭代次数。当原问题或对偶问题均为强凸时，构造了一个加速的GRPDA，将遍历收敛速度从（mathcal{O}（1/N））提高到（mathcal{O}（1/N^2））。此外，我们还证明了对于正则最小二乘和线性等式约束问题，凸组合参数的倒数可以从黄金比率扩展到2，同时可以采取松弛步骤。我们对LASSO、非负最小二乘和极小极大矩阵对策问题的初步数值结果，以及与一些最新的相关算法的比较，证明了所提算法的有效性。

引用于6文件

MSC公司：

90C25型 凸面编程
65K10码 数值优化和变分技术
65年20月 数值算法的复杂性和性能

关键词：

结构化凸优化;鞍点问题;原对偶算法;黄金比率;加快;收敛速度;不动点迭代

软件：

PDCO公司;LSQR（LSQR）
PDF格式BibTeX公司 XML格式引用
\textit{X.Chang}和\textit{J.Yang}，J.Sci。计算。87，第2期，第47号论文，第26页（2021年；Zbl 1468.90082）
全文： 内政部 arXiv公司

参考文献：

[1] Bauschke，HH；组合，PL，Hilbert空间中的凸分析和单调算子理论（2011），Cham:Springer，Cham·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[2] Beck，A.，优化中的一阶方法（2017），费城：工业和应用数学协会，费城·Zbl 1384.65033号 ·数字对象标识代码：10.1137/1.9781611974997
[3] 贝克，A。；Teboulle，M.，线性逆问题的快速迭代收缩阈值算法，SIAM J.Imaging Sci。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[4] Bertsekas，DP；Gafni，EM，变分不等式的投影方法及其在交通分配问题中的应用，数学。程序。螺柱，17，139-159（1982）·Zbl 0478.90071号 ·doi:10.1007/BFb0120965
[5] Bouwmans，T.、Aybat，N.S.、Zahzah，E.H.：稳定PCA算法。收录：Bouwman，T.、Aybat，N.S.、Zahzah，E.（编辑）《稳健低秩和稀疏矩阵分解手册：图像和视频处理中的应用》，第2章。CRC出版社，泰勒和弗朗西斯集团（2016）·Zbl 1339.68002号
[6] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2010) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[7] Chambolle，A。；埃哈特，MJ；Richtarik，P。；Schonlieb，C-B，具有任意采样和成像应用的随机原始-双重混合梯度算法，SIAM J.Optim。，28, 4, 2783-2808 (2018) ·Zbl 06951767号 ·doi:10.1137/17M1134834
[8] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，数学杂志。成像视觉。，40, 1, 120-145 (2011) ·兹比尔1255.68217 ·doi:10.1007/s10851-010-0251-1
[9] Chambolle，A。；Pock，T.，关于一阶原对偶算法的遍历收敛速度，数学。程序。，159, 1-2, 253-287 (2016) ·Zbl 1350.49035号 ·doi:10.1007/s10107-015-0957-3
[10] 陈，S。；马萨诸塞州桑德斯；Donoho，DL，通过基追踪进行原子分解，SIAM Rev.，43，1129-159（2001）·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X
[11] Donoho，DL，压缩传感，IEEE Trans。通知。理论，52，4，1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[12] Duchi，J.，Shalev-Shwartz，S.，Singer，Y.，Chandra，T.：高维学习中对（l_1）球的有效投影。摘自：第25届机器学习国际会议，第272-279页（2008）
[13] Esser，E。；张，X。；Chan，TF，成像科学中凸优化的一类一阶原对偶算法的一般框架，SIAM J.成像科学。，3, 4, 1015-1046 (2010) ·Zbl 1206.90117号 ·数字对象标识码：10.1137/09076934X
[14] 法泽尔，M。；Pong，TK公司；孙，DF；Tseng，P.，Hankel矩阵秩最小化及其在系统识别和实现中的应用，SIAM J.矩阵分析。申请。，34, 946-977 (2013) ·Zbl 1302.90127号 ·doi:10.1137/110853996
[15] 加贝，D。；Mercier，B.，通过有限元近似解非线性变分问题的对偶算法，计算。数学。申请。，2, 17-40 (1976) ·Zbl 0352.65034号 ·doi:10.1016/0898-1221（76）90003-1
[16] Glowinski，R.，Marrocco，A.：《超近似法》，部分定义了“秩序”，以及“解决方案”，部分定性，“非利奈狄利克雷特问题的统一分类”。R.A.I.R.O.，R2 9（R-2），41-76（1975）·Zbl 0368.65053号
[17] 海登，S。；Stanley，O.，纹理的低补丁库解释，SIAM J.成像科学。，6, 1, 226-262 (2013) ·Zbl 1335.68287号 ·doi:10.1137/110854989
[18] 他，B。；Yuan，X.，鞍点问题原对偶算法的收敛性分析：从收缩角度，SIAM J.成像科学。，5, 1, 119-149 (2012) ·Zbl 1250.90066号 ·数字对象标识代码：10.1137/100814494
[19] Jonathan，E。；Dimitri，P.，关于Douglas-Rachford分裂方法和最大单调算子的近点算法，数学。程序。，55, 1-3, 293-318 (1992) ·兹比尔0765.90073
[20] 狮子，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 6, 964-979 (1979) ·Zbl 0426.6500号 ·doi:10.1137/0716071
[21] Liu，Y.，Xu，Y.Y.，Yin，W.：通过预处理和简单子问题过程加速原对偶方法。arXiv:1811.08937v2（2018）
[22] Malitsky，Y.：变分不等式的黄金比例算法。数学。程序。（出现）·Zbl 07263698号
[23] 马利茨基，Y。；Pock，T.，线性搜索的一阶原对偶算法，SIAM J.Optim。，28, 1, 411-432 (2018) ·Zbl 1390.49033号 ·doi:10.1137/16M1092015年
[24] 蒙泰罗，RDC；Svaiter，BF，半变分不等式的Tseng修正FB分裂和Korpelevich方法的变体的复杂性及其在鞍点和凸优化问题中的应用，SIAM J.Optim。，21, 4, 1688-1720 (2011) ·Zbl 1245.90155号 ·数字对象标识代码：10.1137/100801652
[25] Nedic，A。；Ozdaglar，A.，鞍点问题的次梯度方法，J.Optim。理论应用。，142, 1, 205-228 (2009) ·Zbl 1175.90415号 ·doi:10.1007/s10957-009-9522-7
[26] Needell，D。；Ward，R.，近最优压缩传感保证各向异性和各向同性总变化最小化，IEEE Trans。图像处理。，22, 10, 3941-3949 (2013) ·Zbl 1373.94673号 ·doi:10.1109/TIP.2013.2264681
[27] Nemirovski，A.，Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15, 1, 229-251 (2006) ·兹比尔1106.90059 ·doi:10.1137/S1052623403425629
[28] 佩奇，CC；Saunders，MA，Lsqr：稀疏线性方程和稀疏最小二乘算法，ACM Trans。数学。柔软。，8, 43-71 (1982) ·Zbl 0478.65016号 ·数字对象标识代码：10.1145/355984.355989
[29] Pock，T.，Chambolle，A.：凸优化中一阶原对偶算法的对角线预处理。摘自：IEEE计算机视觉国际会议，第1762-1769页（2011年）
[30] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[31] Shefi，R。；Teboulle，M.，基于凸极小化乘数近似方法的分解方法的收敛速度分析，SIAM J.Optim。，24, 1, 269-297 (2014) ·Zbl 1291.90176号 ·doi:10.1137/130910774
[32] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.，58，1，267-288（1996）·Zbl 0850.62538号
[33] Uzawa，H。；阿罗，KJ；Hurwicz，L。；Uzawa，H.，凹规划的迭代方法，线性和非线性规划研究（1958），加州斯坦福：斯坦福大学出版社，加州斯坦福·Zbl 0091.16002号
[34] 杨，J。；Zhang，Y.，压缩传感中（ell_1）问题的交替方向算法，SIAM J.Sci。计算。，33, 1, 250-278 (2011) ·Zbl 1256.65060号 ·数字对象标识代码：10.1137/09077761
[35] Zhu，M.，Chan，T.F.：一种用于全变分图像恢复的高效原对偶混合梯度算法。收录：加州大学洛杉矶分校CAM报告08-34（2008）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。