×

随机变分不等式问题的基于方差的次梯度外梯度方法。 (英语) Zbl 07388743号

摘要:本文针对随机变分不等式问题,针对未知Lipschitz常数的鲁棒性,提出了一种基于方差的次梯度外推线性搜索算法。该算法可以看作是确定性变分不等式问题的次梯度外算法和期望值的随机逼近方法的集成。在每次迭代时,与传统的基于方差的外梯度算法两次将投影投影到可行集上不同,我们的算法进行了一个可以显式计算的次梯度投影。由于我们的算法在每次迭代中只需要一个投影,因此可以减少计算量。我们讨论了该算法的渐近收敛性、平均自然残差函数的次线性收敛速度以及最优预言复杂度。此外,在强Minty变分不等式和误差界条件下,我们建立了有限计算量下的线性收敛速度。初步的数值实验表明,该算法与现有的一些方法具有竞争力。

MSC公司:

65K15码 变分不等式及相关问题的数值方法
90立方厘米 互补、平衡问题和变分不等式(有限维)(数学规划方面)
90立方厘米 随机规划
62L20型 随机近似
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Burkholder,D.L.,Davis,B.J.,Gundy,R.F.:鞅上算子凸函数的积分不等式。发表于(1972)·Zbl 0253.60056号
[2] 蔡,X。;顾,G。;He,B.,关于具有Lipschitz连续单调算子的变分不等式的投影和压缩方法的(O(1/t))收敛速度,计算。最佳方案。申请。,57, 2, 339-363 (2014) ·Zbl 1304.90203号 ·doi:10.1007/s10589-013-9599-7
[3] Censor,Y.,Gibali,A.,Reich,S.:欧氏空间中变分不等式问题的Korpelevich超梯度方法的扩展。优化61(9),1119-1132(2012)·Zbl 1260.65056号
[4] Censor,Y。;Gibali,A。;Reich,S.,Hilbert空间变分不等式问题的次梯度外梯度方法的强收敛性,Optim。方法。柔软。,26, 4-5, 827-845 (2011) ·Zbl 1232.58008号 ·doi:10.1080/1056788.2010.551536
[5] Censor,Y。;Gibali,A。;Reich,S.,解Hilbert空间中变分不等式的次梯度外梯度方法,J.Optim。理论应用。,148, 2, 318-335 (2011) ·Zbl 1229.58018号 ·doi:10.1007/s10957-010-9757-3
[6] 陈,Y。;兰,G。;欧阳,Y.,一类变分不等式的加速格式,数学。程序。,165, 1, 113-149 (2017) ·Zbl 1386.90102号 ·doi:10.1007/s10107-017-1161-4
[7] 陈,X。;Sun,H。;Xu,H.,两阶段随机和分布鲁棒线性互补的离散近似,数学。程序。,1771255-289(2019)·Zbl 1418.90182号 ·doi:10.1007/s10107-018-1266-4
[8] Cui,S.,Shanbhag,U.V.:关于单调随机变分不等式问题的反射梯度和分裂方法的分析。在(2016)年
[9] Dang,CD;Lan,G.,关于广义单调算子变分不等式的非欧几里德外梯度方法的收敛性,计算。最佳方案。申请。,60, 2, 277-310 (2015) ·Zbl 1311.49020号 ·doi:10.1007/s10589-014-9673-9
[10] 法奇尼,F。;Pang,JS,有限维变分不等式与互补问题。I和II(2003),纽约:Springer,纽约·Zbl 1062.90002号
[11] Fukushima,M.,等价可微优化问题和非对称变分不等式问题的下降方法,数学。程序。,53, 1, 99-110 (1992) ·Zbl 0756.90081号 ·doi:10.1007/BF01585696
[12] Gürkan,G。;Yonca,Özge A。;Robonson,SM,随机变分不等式的样本路径解,数学。程序。,84, 2, 313-333 (1999) ·Zbl 0972.90079号 ·doi:10.1007/s101070050024
[13] 安大略省Iusem;Jofré,A。;罗得岛奥利维拉;汤普森,P.,随机变分不等式的带方差缩减的外梯度法,SIAM J.Optimiz。,27, 2, 686-724 (2017) ·Zbl 1365.65179号 ·doi:10.137/15M1031953
[14] 安大略省Iusem;Jofré,A。;罗得岛奥利维拉;汤普森,P.,随机变分不等式的基于方差的线搜索外梯度方法,SIAM J.Optimiz。,29, 1, 175-206 (2019) ·Zbl 1415.65145号 ·doi:10.1137/17M1144799
[15] 安大略省Iusem;Jofré,A。;Thompson,P.,单调随机变分不等式的增量约束投影方法,数学。操作。Res.,44,1236-263(2019年)·Zbl 1477.65101号
[16] 贾丹巴,B。;Raciti,F.,随机纳什均衡问题的变分不等式方法及其在古诺寡头垄断中的应用,J.Optim。理论应用。,165, 3, 1050-1070 (2015) ·Zbl 1316.49012号 ·doi:10.1007/s10957-014-0673-9
[17] Jalilzadeh,A.,Shanbhag,U.V.,eg-VSSA:超梯度变量样本大小随机近似方案:误差分析和复杂性权衡。在(2016)年
[18] 姜杰。;陈,X。;Chen,Z.,一类两阶段随机线性变分不等式问题的定量分析,计算。最佳方案。申请。,76, 2, 431-460 (2020) ·Zbl 1446.90117号 ·doi:10.1007/s10589-020-00185-z
[19] 姜浩。;Xu,H.,随机变分不等式问题的随机逼近方法,IEEE T.自动机。控制,53,6,1462-1475(2008)·Zbl 1367.90072号 ·doi:10.1109/TAC.2008.925853
[20] Kannan,A。;Shanbhag,UV,通过迭代正则化技术对单调Nash博弈均衡的分布式计算,SIAM J.Optimiz。,22, 4, 1177-1205 (2012) ·Zbl 1281.90072号 ·doi:10.1137/110825352
[21] 坎南,A。;Shanbhag,UV,伪单调随机变分不等式问题及其变体的最优随机外梯度格式,计算。最佳方案。申请。,74, 3, 779-820 (2019) ·Zbl 1439.90069号 ·文件编号:10.1007/s10589-019-00120-x
[22] Koshal,J。;Nediéc,A。;Shanbhag,UV,用于图上聚合游戏的分布式算法,Oper。第64、3、680-704号决议(2016年)·Zbl 1348.91074号 ·doi:10.1287/opre.2016.1501
[23] Koshal,J。;内迪奇,A。;Shanbhag,UV,随机变分不等式问题的正则化迭代随机逼近方法,IEEE T.自动机。控制,58,3594-609(2013)·Zbl 1369.49012号 ·doi:10.1109/TAC.2012.2215413
[24] Lei,J.,Shanbhag,U.V.:随机Nash博弈的线性收敛变量样本大小方案:最佳响应方案和分布式梯度响应方案。于(2018)年
[25] 林,GH;Fukushima,M.,《随机均衡问题和具有均衡约束的随机数学程序:一项调查》,太平洋。J.Optim。,455-482年6月3日(2010年)·兹比尔1200.65052
[26] Liu,M.,Mroueh,Y.,Ross,J.,Zhang,W.,Cui,X.,Das,P.,Yang,T.:更好地理解生成对抗网中的自适应梯度算法。摘自:《2020年学习代表国际会议论文集》(2020年)。https://openreview.net/forum?id=SJxIm0VtwH
[27] Mertikopoulos,P。;Zhou,Z.,在具有连续动作集和未知支付函数的游戏中学习,数学。程序。,173, 1, 465-507 (2019) ·Zbl 1420.91027号 ·doi:10.1007/s10107-018-1254-8
[28] Mertikopoulos,P.,Lecouat,B.,Zenati,H.,Foo,C.S.,Chandrasekhar,V.,Piliouras,G.:In:马鞍点问题中的乐观镜下降:额外(梯度)里程,第1-23页。美国新奥尔良(2019)
[29] 拉瓦特,美国。;Shanbhag,UV,关于光滑和非光滑凸随机Nash对策解集的特征,SIAM J.Optimiz。,21, 3, 1168-1199 (2011) ·Zbl 1235.90109号 ·数字对象标识代码:10.1137/100792644
[30] 罗宾斯,H。;Monro,S.,《随机近似方法》,《数学年鉴》。《统计》,22,400-407(1951)·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[31] Robbins H.,Siegund D.:非负几乎超鞅的收敛定理及其应用,In:统计学中的优化方法(俄亥俄州立大学研讨会论文集,俄亥俄州哥伦布),Rustagi,J.S.(编辑),纽约学术出版社,第233-257页(1971)·Zbl 0286.60025号
[32] Shanbhag,U.V.:随机变分不等式问题:应用、分析和算法。内部教程操作。研究第71-107页,(2013年)
[33] Shanbhag,U.V.,Blanchet,J.H.:《预算约束随机近似》,第368-379页,加利福尼亚州亨廷顿海滩(2015)
[34] 夏皮罗,A。;Dentcheva,D。;Ruszczynski,A.,《随机编程讲座:建模与理论》(2009),费城:SIAM,费城·邮编:1183.90005 ·数字对象标识代码:10.1137/1.9780898718751
[35] Solodov,MV;Svaiter,BF,变分不等式问题的一种新投影方法,SIAM J.Control Optim。,37, 3, 765-776 (1999) ·Zbl 0959.49007号 ·doi:10.1137/S0363012997317475
[36] Sun,H。;Chen,X.,《两阶段随机变分不等式:理论、算法和应用》,J.Oper。中国研究社会,9,1-32(2021)·Zbl 1474.90484号 ·doi:10.1007/s40305-019-00267-8
[37] 王,M。;林,GH;高,Y。;Ali,MM,一类随机变分不等式问题的样本平均近似方法,J.Syst。科学。复杂。,24, 6, 1143-1153 (2011) ·Zbl 1338.93406号 ·doi:10.1007/s11424-011-0948-2
[38] Xu,H.,一类随机变分不等式问题的样本平均近似方法,亚太地区。《运营杂志》。第27号、第1号、第103-119号决议(2010年)·Zbl 1186.90083号 ·doi:10.1142/S0217595910002569
[39] 杨,ZP;Wang,Y。;Lin,GH,基于方差的改进前向算法,用于随机变分不等式问题及其应用,亚太地区。《运营杂志》。第37、3、1-33号决议(2020年)·Zbl 1460.90194号 ·doi:10.1142/S0217595920500116
[40] 杨,ZP;张,J。;朱,X。;Lin,GH,基于抽样平均近似的一类随机互补问题的不可行内点算法及其应用,J.Compute。申请。数学。,352, 382-400 (2019) ·Zbl 1410.90143号 ·doi:10.1016/j.cam.2018.12.013
[41] 叶J.J.,袁欣,曾S.,张杰:变分分析视角下非光滑凸优化问题的一些一阶方法的线性收敛性。设定值变量分析。doi:doi:10.1007/s11228-021-00591-3(2021)
[42] Yousefian,F。;内迪奇,A。;Shanbhag,UV,关于随机变分不等式问题的随机近似方法中的平滑、正则化和平均,数学。程序。,165, 1, 391-431 (2017) ·Zbl 1457.90102号 ·doi:10.1007/s10107-017-1175年
[43] Yousefian,F。;内迪奇,A。;Shanbhag,UV,关于随机笛卡尔变分不等式的随机镜像-prox算法,随机块坐标和最优平均方案,集值Var.Anal。,26, 4, 789-819 (2018) ·Zbl 07002699号 ·doi:10.1007/s11228-018-0472-9
[44] Yousefian,F.,Nedić,A.,Shanbhag,U.V.:《随机变分不等式问题的最优稳健平滑外梯度算法》,第5831-5836页,加利福尼亚州洛杉矶(2014)
[45] Yousefian,F。;内迪奇,A。;Shanbhag,UV,非李普希茨随机多用户优化和纳什博弈的自调整随机近似方案,IEEE T.自动机。控制,61,1753-1766(2016)·Zbl 1359.91010号 ·doi:10.1109/TAC.2015.2478124
[46] Yu,C。;范德沙尔,M。;Sayed,AH,随机广义Nash均衡问题的分布式学习,IEEE T.信号处理。,65, 15, 3893-3908 (2017) ·Zbl 1414.94718号 ·doi:10.1109/TSP.2017.2695451
[47] Zhang,许继;杜,XW;杨,ZP;Lin,GH,随机变分不等式的不可行随机近似和投影算法,J.Optim。理论应用。,183, 3, 1053-1076 (2019) ·Zbl 1525.65060号 ·doi:10.1007/s10957-019-01578-9
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。