×
张俊宇;王梦迪;洪明毅;张树忠

仿射约束多块鞍点问题的原对偶一阶方法。 （英语） Zbl 07702809号

SIAM J.Optim公司。 33，编号2，1035-1060（2023）.
摘要：我们考虑凹凸鞍点问题（\min_{\mathbf{x}}\max_{\mathbf{y}}\Phi（\mathbf{x}，\mathbf1{y}。尽管该问题的最小化对应项在ADMM的主题下得到了广泛的研究，但该极小极大问题很少被研究。本文提出了一个方便的（ε）-鞍点概念，并在此基础上分析了几种算法的收敛速度。当（mathbf{x}）和（mathbf{y}）中只有一个具有多个块和仿射约束时，提出了ADMM的几个自然扩展来解决这个问题。根据块的数量和平滑度，导出了我们算法的\（\mathcal｛O｝（1/T）\）或\（\mathcal｛O｝（1/\sqrt｛T｝）\）收敛率。当（mathbf{x}）和（mathbf{y}）都有多个块和仿射约束时，提出了一种新的（underline{text{E}}）xtra-\（underline{text{G}}\）乘子（EGMM）半径方法。在理想的光滑条件下，无论（mathbf{x}）和（mathbf{y}）中的块数是多少，都可以保证（mathcal{O}（1/T）的收敛速度。在多块优化问题上，对EGMM（完全原对偶方法）和ADMM（近似对偶方法）进行了深入的比较，以说明EGMM的优点。

引用于1文件

MSC公司：

65年第68季度 算法和问题复杂性分析
90立方 非线性规划
90C25型 凸面编程
90立方厘米 数学规划中的极小极大问题

关键词：

鞍点问题;多块问题;仿射约束;原对偶方法;迭代复杂性;一阶方法

软件：

SBEED公司;DSCOVR公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Zhang}等人，SIAM J.Optim。33，编号2，1035--1060（2023；Zbl 07702809）
全文： 内政部 arXiv公司

参考文献：

[1] Abernethy，J.，Lai，K.A.和Wibisono，A.，最小-最大优化的最后迭代收敛速度，预印本，https://arxiv.org/abs/1906.02027, 2019.
[2] Bertsekas，D.P.，非线性规划，J.Oper。Res.Soc.，48（1997），第334-334页·Zbl 1293.49056号
[3] Boyd，S.、Parikh，N.和Chu，E.，《通过乘数交替方向方法进行分布式优化和统计学习》，Now Publishers，马萨诸塞州诺威尔，2011年·Zbl 1229.90122号
[4] Cai，X.，Han，D.，and Yuan，X.关于带一个强凸函数的三块可分离凸极小化模型的admm直接扩张的收敛性，计算。最佳方案。申请。，66（2017），第39-73页·Zbl 1372.90079号
[5] Censor，Y.，Gibali，A.，and Reich，S.，《求解希尔伯特空间变分不等式的次梯度外梯度法》，J.Optim。理论应用。，148（2011），第318-335页·Zbl 1229.58018号
[6] Chambolle，A.和Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。《成像视觉》，40（2011），第120-145页·Zbl 1255.68217号
[7] Chambolle，A.和Pock，T.，关于一阶原对偶算法的遍历收敛速度，数学。程序。，159（2016），第253-287页·Zbl 1350.49035号
[8] Chen，C.，He，B.，Ye，Y.，and Yuan，X.，多块凸极小化问题ADMM的直接推广不一定收敛，数学。程序。，155（2016），第57-79页·Zbl 1332.90193号
[9] Chen，C.，Shen，Y.，You，Y.关于三块乘数交替方向法的收敛性分析，文章摘要。申请。分析。，Hindawi，伦敦，2013年·Zbl 1302.90148号
[10] Chen，Y.，Lan，G.，Ouyang，Y.一类鞍点问题的最优原对偶方法，SIAM J.Optim。，24（2014），第1779-1814页，doi:10.1137/130919362·兹比尔1329.90090
[11] Chen，Y.、Li，L.和Wang，M.，《利用状态和动作特征进行可伸缩双线性学习》，预印本，2018年。
[12] Chen，Y.，Li，X.，Xu，J.，度校正随机块模型的凸模块最大化，Ann.Statist。，46（2018），第1573-1602页·兹比尔1410.62105
[13] Dai，B.、Shaw，A.、Li，L.、Xiao，L.，He，N.、Liu，Z.、Chen，J.、Song，L.和SBEED：非线性函数逼近的收敛强化学习，《机器学习国际会议论文集》（PMLR’18），2018年，第1125-1134页。
[14] 邓伟（Deng，W.）和尹伟（Yin，W。计算。，66（2016），第889-916页·Zbl 1379.65036号
[15] Gao，X.，Xu，Y.-Y.和Zhang，S.-Z.，《随机原始-双重近端块坐标更新》，J.Oper。《中国研究社会》，第7期（2019年），第205-250页·Zbl 1438.90255号
[16] He，B.和Yuan，X.，关于Douglas-Rrachford交替方向法的O（1/n）收敛速度，SIAM J.Numer。分析。，50（2012），第700-709页，doi:10.1137/10836936·Zbl 1245.90084号
[17] Hong，M.和Luo，Z.-Q.，关于交替方向乘数法的线性收敛性，数学。程序。，162（2017），第165-199页·Zbl 1362.90313号
[18] Jalilzadeh，A.、Hamedani，E.Y.和Aybat，N.S.，《大尺度鞍点问题的双随机块坐标主对偶方法》，预印本，https://arxiv.org/abs/1907.03886, 2019.
[19] Juditsky，A.、Nemirovski，A.和Tauvel，C.，《用随机镜像算法求解变分不等式》，Stoch。系统，1（2011），第17-58页·Zbl 1291.49006号
[20] Korpelevich，G.M.，外推梯度法及其与修正拉格朗日函数的关系，Èkonom。i《Mat.Metody》，19（1983），第694-703页·Zbl 0542.90077号
[21] Li，M.，Sun，D.和Toh，K.C.，一个收敛的3块半近似admm，用于具有一个强凸块的凸最小化问题，亚太地区。《运营杂志》。决议，32（2015），1550024·Zbl 1327.90214号
[22] Liang，T.和Stokes，J.，《交互问题：生成性对抗网络的非渐进局部收敛》，载《第22届国际人工智能与统计会议论文集》，2019年，第907-915页。
[23] Lin，F.，Fardad，M.和Jovanović，M.R.，通过交替方向乘法器设计最佳稀疏反馈增益，IEEE Trans。自动化。控制，58（2013），第2426-2431页·Zbl 1369.93215号
[24] Lin，T.，Jin，C.，Jordan，M.等人，《最小最大优化的近Otinal算法》，预印本，https://arxiv.org/abs/2002.02417, 2020.
[25] Lin，T.，Ma，S.和Zhang，S.，关于多块变量ADMM的全局线性收敛性，SIAM J.Optim。，25（2015），第1478-1497页，doi:10.1137/140971178·Zbl 1333.90095号
[26] Lin，T.，Ma，S.和Zhang，S.，关于多块admm的次线性收敛速度，J.Oper。《中国研究社会》，3（2015），第251-274页·Zbl 1323.90052号
[27] Lin，T.，Ma，S.和Zhang，S.，无强凸性凸极小化族的多块ADMM迭代复杂性分析，科学杂志。计算。，69（2016），第52-81页·Zbl 1348.90522号
[28] Ma，S.和Aybat，N.S.，稳健主成分分析及其变体的高效优化算法，Proc。IEEE，106（2018），第1411-1426页。
[29] Mokhtari，A.、Ozdaglar，A.和Pattathil，S.，《鞍点问题超粒度和乐观梯度方法的统一分析：近点方法》，《国际人工智能与统计会议论文集》（PMLR'20），2020年，第1497-1507页·Zbl 1454.90057号
[30] Monteiro，R.D.C.和Svaiter，B.F.，块分解算法的迭代复杂性和乘法器的交替方向方法，SIAM J.Optim。，23（2013），第475-507页，doi:10.1137/10849468·Zbl 1267.90181号
[31] Nemirovski，A.，Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15（2004），第229-251页，doi:10.1137/S1052623403425629·Zbl 1106.90059号
[32] Nesterov，Y.，对偶外推及其在求解变分不等式和相关问题中的应用，数学。程序。，109（2007），第319-344页·Zbl 1167.90014号
[33] Nesterov，Y.和Scrimali，L.，解强单调变分和拟变分不等式，离散Contin。动态。系统。，31（2011），第1383-1396页·Zbl 1238.49019号
[34] Nisan，N.，Roughgarden，T.，Tardos，E.和Vazirani，V.V.，算法博弈论，剑桥大学出版社，英国剑桥，2007年·Zbl 1130.91005号
[35] Ouyang，Y.和Xu，Y.，凸-凹双线性鞍点问题一阶方法的复杂度下限，数学。程序。，185（2021），第1-35页·Zbl 1458.90516号
[36] von Neumann，J.、Morgenstern，O.和Kuhn，H.W.，《游戏与经济行为理论》纪念版，普林斯顿大学出版社，新泽西州普林斯顿，2007年·Zbl 1112.91002号
[37] Wang，Y.和Li，J.，凹凸极小极大优化的改进算法，预印本，https://arxiv.org/abs/2006.06359, 2020.
[38] Xiao，L.，Yu，A.W.，Lin，Q.，Chen，W.，DSCOVR：异步分布式优化的随机原始-对偶块坐标算法，J.Mach。学习。研究，20（2019），第1634-1691页·Zbl 1484.90081号
[39] Zhang，J.，Hong，M.和Zhang（S.），关于鞍点问题的迭代复杂度下限，预印本，https://arxiv.org/abs/1912.07481, 2019.
[40] Zhang，J.、Koppel，A.、Bedi，A.S.、Szepesvari，C.和Wang，M.，《利用通用工具进行强化学习的变分策略梯度法》，预印本，https://arxiv.org/abs/2007.02151, 2020.
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。