张俊宇;王梦迪;洪明毅;张树忠 仿射约束多块鞍点问题的原对偶一阶方法。 (英语) Zbl 07702809号 SIAM J.Optim公司。 33,编号2,1035-1060(2023). 摘要:我们考虑凹凸鞍点问题(\min_{\mathbf{x}}\max_{\mathbf{y}}\Phi(\mathbf{x},\mathbf1{y}。尽管该问题的最小化对应项在ADMM的主题下得到了广泛的研究,但该极小极大问题很少被研究。本文提出了一个方便的(ε)-鞍点概念,并在此基础上分析了几种算法的收敛速度。当(mathbf{x})和(mathbf{y})中只有一个具有多个块和仿射约束时,提出了ADMM的几个自然扩展来解决这个问题。根据块的数量和平滑度,导出了我们算法的\(\mathcal{O}(1/T)\)或\(\mathcal{O}(1/\sqrt{T})\)收敛率。当(mathbf{x})和(mathbf{y})都有多个块和仿射约束时,提出了一种新的(underline{text{E}})xtra-\(underline{text{G}}\)乘子(EGMM)半径方法。在理想的光滑条件下,无论(mathbf{x})和(mathbf{y})中的块数是多少,都可以保证(mathcal{O}(1/T)的收敛速度。在多块优化问题上,对EGMM(完全原对偶方法)和ADMM(近似对偶方法)进行了深入的比较,以说明EGMM的优点。 引用于1文件 MSC公司: 65年第68季度 算法和问题复杂性分析 90立方 非线性规划 90C25型 凸面编程 90立方厘米 数学规划中的极小极大问题 关键词:鞍点问题;多块问题;仿射约束;原对偶方法;迭代复杂性;一阶方法 软件:SBEED公司;DSCOVR公司 PDF格式BibTeX公司 XML格式引用 \textit{J.Zhang}等人,SIAM J.Optim。33,编号2,1035--1060(2023;Zbl 07702809) 全文: 内政部 arXiv公司 参考文献: [1] Abernethy,J.,Lai,K.A.和Wibisono,A.,最小-最大优化的最后迭代收敛速度,预印本,https://arxiv.org/abs/1906.02027, 2019. [2] Bertsekas,D.P.,非线性规划,J.Oper。Res.Soc.,48(1997),第334-334页·Zbl 1293.49056号 [3] Boyd,S.、Parikh,N.和Chu,E.,《通过乘数交替方向方法进行分布式优化和统计学习》,Now Publishers,马萨诸塞州诺威尔,2011年·Zbl 1229.90122号 [4] Cai,X.,Han,D.,and Yuan,X.关于带一个强凸函数的三块可分离凸极小化模型的admm直接扩张的收敛性,计算。最佳方案。申请。,66(2017),第39-73页·Zbl 1372.90079号 [5] Censor,Y.,Gibali,A.,and Reich,S.,《求解希尔伯特空间变分不等式的次梯度外梯度法》,J.Optim。理论应用。,148(2011),第318-335页·Zbl 1229.58018号 [6] Chambolle,A.和Pock,T.,凸问题的一阶原对偶算法及其在成像中的应用,J.Math。《成像视觉》,40(2011),第120-145页·Zbl 1255.68217号 [7] Chambolle,A.和Pock,T.,关于一阶原对偶算法的遍历收敛速度,数学。程序。,159(2016),第253-287页·Zbl 1350.49035号 [8] Chen,C.,He,B.,Ye,Y.,and Yuan,X.,多块凸极小化问题ADMM的直接推广不一定收敛,数学。程序。,155(2016),第57-79页·Zbl 1332.90193号 [9] Chen,C.,Shen,Y.,You,Y.关于三块乘数交替方向法的收敛性分析,文章摘要。申请。分析。,Hindawi,伦敦,2013年·Zbl 1302.90148号 [10] Chen,Y.,Lan,G.,Ouyang,Y.一类鞍点问题的最优原对偶方法,SIAM J.Optim。,24(2014),第1779-1814页,doi:10.1137/130919362·兹比尔1329.90090 [11] Chen,Y.、Li,L.和Wang,M.,《利用状态和动作特征进行可伸缩双线性学习》,预印本,2018年。 [12] Chen,Y.,Li,X.,Xu,J.,度校正随机块模型的凸模块最大化,Ann.Statist。,46(2018),第1573-1602页·兹比尔1410.62105 [13] Dai,B.、Shaw,A.、Li,L.、Xiao,L.,He,N.、Liu,Z.、Chen,J.、Song,L.和SBEED:非线性函数逼近的收敛强化学习,《机器学习国际会议论文集》(PMLR’18),2018年,第1125-1134页。 [14] 邓伟(Deng,W.)和尹伟(Yin,W。计算。,66(2016),第889-916页·Zbl 1379.65036号 [15] Gao,X.,Xu,Y.-Y.和Zhang,S.-Z.,《随机原始-双重近端块坐标更新》,J.Oper。《中国研究社会》,第7期(2019年),第205-250页·Zbl 1438.90255号 [16] He,B.和Yuan,X.,关于Douglas-Rrachford交替方向法的O(1/n)收敛速度,SIAM J.Numer。分析。,50(2012),第700-709页,doi:10.1137/10836936·Zbl 1245.90084号 [17] Hong,M.和Luo,Z.-Q.,关于交替方向乘数法的线性收敛性,数学。程序。,162(2017),第165-199页·Zbl 1362.90313号 [18] Jalilzadeh,A.、Hamedani,E.Y.和Aybat,N.S.,《大尺度鞍点问题的双随机块坐标主对偶方法》,预印本,https://arxiv.org/abs/1907.03886, 2019. [19] Juditsky,A.、Nemirovski,A.和Tauvel,C.,《用随机镜像算法求解变分不等式》,Stoch。系统,1(2011),第17-58页·Zbl 1291.49006号 [20] Korpelevich,G.M.,外推梯度法及其与修正拉格朗日函数的关系,Èkonom。i《Mat.Metody》,19(1983),第694-703页·Zbl 0542.90077号 [21] Li,M.,Sun,D.和Toh,K.C.,一个收敛的3块半近似admm,用于具有一个强凸块的凸最小化问题,亚太地区。《运营杂志》。决议,32(2015),1550024·Zbl 1327.90214号 [22] Liang,T.和Stokes,J.,《交互问题:生成性对抗网络的非渐进局部收敛》,载《第22届国际人工智能与统计会议论文集》,2019年,第907-915页。 [23] Lin,F.,Fardad,M.和Jovanović,M.R.,通过交替方向乘法器设计最佳稀疏反馈增益,IEEE Trans。自动化。控制,58(2013),第2426-2431页·Zbl 1369.93215号 [24] Lin,T.,Jin,C.,Jordan,M.等人,《最小最大优化的近Otinal算法》,预印本,https://arxiv.org/abs/2002.02417, 2020. [25] Lin,T.,Ma,S.和Zhang,S.,关于多块变量ADMM的全局线性收敛性,SIAM J.Optim。,25(2015),第1478-1497页,doi:10.1137/140971178·Zbl 1333.90095号 [26] Lin,T.,Ma,S.和Zhang,S.,关于多块admm的次线性收敛速度,J.Oper。《中国研究社会》,3(2015),第251-274页·Zbl 1323.90052号 [27] Lin,T.,Ma,S.和Zhang,S.,无强凸性凸极小化族的多块ADMM迭代复杂性分析,科学杂志。计算。,69(2016),第52-81页·Zbl 1348.90522号 [28] Ma,S.和Aybat,N.S.,稳健主成分分析及其变体的高效优化算法,Proc。IEEE,106(2018),第1411-1426页。 [29] Mokhtari,A.、Ozdaglar,A.和Pattathil,S.,《鞍点问题超粒度和乐观梯度方法的统一分析:近点方法》,《国际人工智能与统计会议论文集》(PMLR'20),2020年,第1497-1507页·Zbl 1454.90057号 [30] Monteiro,R.D.C.和Svaiter,B.F.,块分解算法的迭代复杂性和乘法器的交替方向方法,SIAM J.Optim。,23(2013),第475-507页,doi:10.1137/10849468·Zbl 1267.90181号 [31] Nemirovski,A.,Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O(1/t)的Prox方法,SIAM J.Optim。,15(2004),第229-251页,doi:10.1137/S1052623403425629·Zbl 1106.90059号 [32] Nesterov,Y.,对偶外推及其在求解变分不等式和相关问题中的应用,数学。程序。,109(2007),第319-344页·Zbl 1167.90014号 [33] Nesterov,Y.和Scrimali,L.,解强单调变分和拟变分不等式,离散Contin。动态。系统。,31(2011),第1383-1396页·Zbl 1238.49019号 [34] Nisan,N.,Roughgarden,T.,Tardos,E.和Vazirani,V.V.,算法博弈论,剑桥大学出版社,英国剑桥,2007年·Zbl 1130.91005号 [35] Ouyang,Y.和Xu,Y.,凸-凹双线性鞍点问题一阶方法的复杂度下限,数学。程序。,185(2021),第1-35页·Zbl 1458.90516号 [36] von Neumann,J.、Morgenstern,O.和Kuhn,H.W.,《游戏与经济行为理论》纪念版,普林斯顿大学出版社,新泽西州普林斯顿,2007年·Zbl 1112.91002号 [37] Wang,Y.和Li,J.,凹凸极小极大优化的改进算法,预印本,https://arxiv.org/abs/2006.06359, 2020. [38] Xiao,L.,Yu,A.W.,Lin,Q.,Chen,W.,DSCOVR:异步分布式优化的随机原始-对偶块坐标算法,J.Mach。学习。研究,20(2019),第1634-1691页·Zbl 1484.90081号 [39] Zhang,J.,Hong,M.和Zhang(S.),关于鞍点问题的迭代复杂度下限,预印本,https://arxiv.org/abs/1912.07481, 2019. [40] Zhang,J.、Koppel,A.、Bedi,A.S.、Szepesvari,C.和Wang,M.,《利用通用工具进行强化学习的变分策略梯度法》,预印本,https://arxiv.org/abs/2007.02151, 2020. 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。