×
崔世生;乌代·尚巴格;马蒂亚斯·斯塔迪格尔;潘武荣

Hilbert空间中单调包含的随机松弛惯性前向后分裂。 （英语） 兹比尔1503.47068

计算。优化。应用。 83，第2期，465-524（2022）。
由Hilbert空间上定义的最大单调算子和单值单调、Lipschitz连续、期望值算子之和给出的算子的单调包含问题。考虑了松弛惯性前馈前馈方法的随机推广。通过采用一种基于微分支方法的在线方差缩减策略，证明了该方法产生的序列弱收敛于解集。估计了随机过程离散速度消失的速率。在强单调性、强收敛性条件下，证明了该方案的迭代和预言复杂性的综合评估。举例来说，当以几何速率提升迷你分支时，可以将速率语句增强为线性速率，而计算（ε）-解的预言复杂性提高到（mathcal{O}（1/ε））。这就允许了可能存在偏见的预言，反过来又允许了更广泛的适用性。基于Fitzpatrick函数定义了一个受限间隙函数，结果表明，平均序列的期望间隙以次线性速率减小，而计算适当定义的（ε）-解的预言复杂性为（α>1）给出了两阶段博弈和一个重叠群Lasso问题的数值结果。
审核人：K.C.Sivakumar（钦奈）

MSC公司：

47时05分 单调算子和推广

关键词：

单调算子分裂;随机近似;复杂性;方差减少;动态取样

软件：

数据传输协议
PDF格式BibTeX公司 XML格式引用
\textit{S.Cui}等人，计算。优化。申请。83，第2号，465--524（2022；Zbl 1503.47068）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Attouch，H。；Cabot，A.，结构单调包含的松弛惯性前向后退算法的收敛性，应用。数学。最佳。，80547-598（2019）·Zbl 1434.90129 ·doi:10.1007/s00245-019-09584-z
[2] Attouch，H。；Cabot，A.，最大单调算子的松弛惯性近似算法的收敛性，数学。程序。，184, 1, 243-287 (2020) ·Zbl 07263694号 ·doi:10.1007/s10107-019-01412-0
[3] Bauschke，H.H.，Combettes，P.L.：希尔伯特空间中的凸分析和单调算子理论。斯普林格（2016）·Zbl 1359.26003号
[4] Facchinei，F.，Pang，J.-S.：有限维变分不等式和互补问题——第一卷和第二卷。斯普林格（2003）·兹比尔1062.90002
[5] 李鲁丁；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Physica D，60，1，259-268（1992）·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F
[6] Jacob，L.，Obozinski，G.，Vert，J.-P.：重叠套索和图形套索的群套索。第26届机器学习国际年会论文集，第433-440页（2009）
[7] 赵，P。；罗查，G。；Yu，B.，分组和分层变量选择的复合绝对惩罚族，《Ann.Stat.》，37，6，3468-3497（2009）·兹比尔1369.62164 ·doi:10.1214/07-AOS584
[8] Tibshirani，R。；桑德斯，M。；Rosset，S。；朱，J。；K.奈特（K.K.Knight），《通过融合套索实现的稀疏与平滑》，J.皇家统计学会：B辑（统计方法），67，1，91-108（2005）·Zbl 1060.62049号 ·文件编号：10.1111/j.1467-9868.2005.00490.x
[9] RJ Tibshirani；Taylor，J.，广义套索的解路径，Ann.Statist。，39, 3, 1335-1371 (2011) ·Zbl 1234.62107号 ·doi:10.1214/11-AOS878
[10] Attouch，H。；布里塞诺·阿里亚斯，LM；Combettes，PL，耦合单调包含的并行分裂方法，SIAM J.控制。最佳。，48, 5, 3246-3270 (2010) ·Zbl 1218.47089号 ·doi:10.1137/090754297
[11] 拉塔法特，P。；弗里斯，新墨西哥州；Patrinos，P.，一种新的用于分布式优化的随机块坐标原始-对偶近端算法，IEEE Trans。自动。控制，64，10，4050-4065（2019）·Zbl 1482.90152号 ·doi:10.1109/TAC.2019.2906924
[12] Rockafellar，R.T.：共轭对偶与优化。工业和应用数学学会（1974）·Zbl 0296.90036号
[13] 梳形物，PL；Pesquet，J-C，用复合、Lipschitzian和平行和型单调算子混合求解夹杂物的Primal-对偶分裂算法，集值和变分分析，20，2，307-330（2012）·Zbl 1284.47043号 ·doi:10.1007/s11228-011-0191-y
[14] 姜浩。；Xu，H.，随机变分不等式问题的随机近似方法，IEEE Trans。自动。控制，53，6，1462-1475（2008）·Zbl 1367.90072号 ·doi:10.1109/TAC.2008.925853
[15] 弗吉尼亚州香巴格：第5章。《随机变分不等式问题：应用、分析和算法》，第71-107页（2013年）。doi:10.1287年12月13日-120
[16] 斯塔迪格尔，M。；Mertikopoulos，P.，非单调变分不等式中的收敛噪声前向-后向算法，IFAC-PapersOnLine，52，3，120-125（2019）·doi:10.1016/j.ifacol.2019.06.021
[17] Mertikopoulos，P.，Staudigl，M.：带噪声一阶反馈的连续博弈中的纳什均衡收敛。致：第56届IEEE决策与控制会议（2017年）
[18] Briceno-Arias，L.M.，Combettes，P.L.：非势博弈中Nash均衡的单调算子方法，第143-159页。斯普林格？？？(2013) ·Zbl 1284.91014号
[19] Yi，P。；Pavel，L.，分布式广义Nash均衡计算的算子分裂方法，Automatica，102111-121（2019）·Zbl 1411.91031号 ·doi:10.1016/j.automatica.2019.01.008
[20] Franci，B.，Staudigl，M.，Grammatico，S.：用于广义纳什均衡寻求的分布式前向-后向（半）正向算法。在：2020年欧洲控制会议（ECC），第1274-1279页（2020）。doi:10.23919/ECC51009.2020.9143676
[21] 弗里斯，TL；伯恩斯坦，D。；TE史密斯；托宾，RL；Wie，BW，动态网络用户平衡的变分不等式公式，Oper。决议，41，1，179-191（1993）·Zbl 0771.90037号 ·doi:10.1287/opre.41.179
[22] Fukushima，M.，一类单调映射的原始Douglas-Rachford分裂算法及其在交通平衡问题中的应用，数学。程序。，72, 1, 1-15 (1996) ·Zbl 0851.90138号 ·doi:10.1007/BF0529328
[23] Han，K。；伊芙·G。；TL Friesz，《利用软件实现计算大规模网络上的动态用户平衡》，Netw。小争吵。经济。，19, 3, 869-902 (2019) ·Zbl 1514.90064号 ·doi:10.1007/s11067-018-9433-y
[24] Börgens，E.，Kanzow，C.：Hilbert空间中广义Nash均衡问题的ADMM型方法。SIAM J.Optim.公司。，377-403 (2021). doi:10.1137/19M1284336·兹比尔1456.49025
[25] Tseng，P.，极大单调映射的一种改进的前向分裂方法，SIAM J.Control。最佳。，38, 2, 431-446 (2000) ·Zbl 0997.90062号 ·doi:10.1137/S0363012998338806
[26] Boţ，R.I.，Mertikopoulos，P.，Staudigl，M.，Vuong，P.T.：求解随机变分不等式的小批量前向-后向-前向方法。随机系统。（2021）doi:10.1287/stsy.2019.0064。doi:10.1287/stsy.2019.0064·Zbl 1489.90195号
[27] Cui，S.，Shanbhag，U.V.：关于单调和潜在随机层次博弈中平衡点的计算。arXiv预打印arXiv:2104.07860（2021）
[28] 通，DV；Gibali，A。；斯塔迪格尔，M。；Vuong，PT，在不知道全局参数的情况下计算大规模网络上的动态用户平衡，Netw。小争吵。经济。，21, 735-768 (2021) ·Zbl 1514.90101号 ·doi:10.1007/s11067-021-09548-3
[29] Diakonikolas，J.，Daskalakis，C.，Jordan，M.：结构化非凸极小极大优化的有效方法。国际人工智能与统计会议，第2746-2754页（2021年）
[30] Fitzpatrick，S.：用凸函数表示单调算子。摘自：功能分析和优化研讨会/小型会议，第59-65页（1988年）。数学科学研究所数学及其应用中心·Zbl 0669.47029号
[31] Simons，S.，Zalinescu，C.：Rockafellar刻画最大单调算子132（10）的新证明，2969-2972（2004）·Zbl 1062.47048号
[32] Iusem，A。；乔弗雷，A。；罗得岛奥利维拉；汤普森，P.，随机变分不等式的方差约简外梯度法，SIAM J.Optim。，27, 2, 686-72410526234 (2017) ·Zbl 1365.65179号 ·doi:10.1137/15M1031953
[33] 安大略省Iusem；Jofré，A。；罗得岛奥利维拉；汤普森，P.，随机变分不等式的基于方差的线搜索外梯度方法，SIAM J.Optim。，175-206年1月29日（2019年）·Zbl 1415.65145号 ·doi:10.1137/17M1144799
[34] Geiersbach，C。；Pflug，GC，Hilbert空间凸约束问题的投影随机梯度，SIAM J.Optim。，29, 3, 2079-2099 (2019) ·Zbl 1426.62238号 ·doi:10.1137/18M1200208
[35] Geiersbach，C。；Wollner，W.，《不确定性下PDE约束优化的网格细化随机梯度法》，SIAM J.Sci。计算。，42, 5, 2750-2772 (2020) ·Zbl 1452.62599号 ·doi:10.1137/19M1263297
[36] Polyak，BT，《加速迭代法收敛的一些方法》，苏联计算机。数学。数学。物理。，4, 5, 1-17 (1964) ·兹伯利0147.35301 ·doi:10.1016/0041-5553（64）90137-5
[37] Nesterov，Y.：凸优化入门讲座：基础课程。应用优化，第87卷。Kluwer学术出版社（2004）·Zbl 1086.90045号
[38] Polyak，B.T.：优化导论。优化软件（1987）·Zbl 0708.90083号
[39] Attouch，H。；Maingé，P-E，结合势和非势效应的二阶耗散演化方程的渐近行为，ESAIM:控制，光学。变分法，17，3，836-857（2011）·Zbl 1230.34051号
[40] 博ţ，RI；Csetnek，E.，单调包含问题的二阶前向向后动力系统，SIAM J.控制。最佳。，54, 3, 1423-1443 (2016) ·Zbl 1339.34070号 ·数字对象标识代码：10.1137/15M1012657
[41] Attouch，H。；Peypouquet，J.，由最大单调算子控制的惯性动力学和近似算法的收敛，数学。程序。，174, 1, 391-432 (2019) ·Zbl 1412.37083号 ·doi:10.1007/s10107-018-1252-x
[42] Su，W.，Boyd，S.，Candes，E.J.：Nesterov加速梯度法建模的微分方程：理论和见解。J.马赫。学习。决议（2016）·Zbl 1391.90667号
[43] Nesterov，Y.，解决具有收敛速度的凸规划问题的方法\（o（1/k^2）\，苏联数学。Doklady，27，2，372-376（1983）·Zbl 0535.90071号
[44] 加达特，S。；Panloup，F。；Saadane，S.，《随机重球》，电子。《统计学杂志》，12，1，461-529（2018）·Zbl 1392.62244号 ·doi:10.1214/18-EJS1395
[45] Lorenz，DA；Pock，T.，单调包含的惯性前向后退算法，J.Math。图像。视觉。，51, 2, 311-325 (2015) ·Zbl 1327.47063号 ·doi:10.1007/s10851-014-0523-2
[46] 布里塞尼奥·阿里亚斯，LM；Combettes，PL，对偶复合单调包含的单调+斜分裂模型，SIAM J.Optim。，21, 4, 1230-1250 (2011) ·Zbl 1239.47053号 ·数字对象标识码：10.1137/10081602X
[47] 机器人，RI；Csetnek，ER，用于解决单调包含问题的惯性前向-后向原始-对偶分裂算法，数字算法，71，3，519-540（2016）·Zbl 1338.47076号 ·doi:10.1007/s11075-015-0007-5
[48] Bot，R.I.，Sedlmayer，M.，Vuong，P.T.：用于求解单调包含的松弛惯性前向-后向算法及其在GANS中的应用。arXiv预打印arXiv:2003.07886（2020）
[49] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的鲁棒随机逼近方法，SIAM J.Optim。，19, 4, 1574-1609 (2009) ·Zbl 1189.90109号 ·doi:10.1137/070704277
[50] Juditsky，A.，Nemirovski，A.，Tauvel，C.：用随机镜像-插值算法求解变分不等式，第17-58页（2011年）。doi:10.1214/10-SSY011·Zbl 1291.49006号
[51] Yousefian，F。；Nedić，A。；Shanbhag，UV，关于随机变分不等式问题的随机近似方法中的平滑、正则化和平均，数学。程序。，1651391-431（2017）·Zbl 1457.90102号 ·doi:10.1007/s10107-017-1175-y
[52] Gidel，G.、Berard，H.、Vignoud，G.，Vincent，P.、Lacoste-Julien，S.：关于生成性对抗网络的变分不等式观点。arXiv预印arXiv:1802.10551（2018）
[53] Mishchenko，K.，Kovalev，D.，Shulgin，E.，Richtárik，P.，Malitsky，Y.：重新审视随机外梯度。摘自：《国际人工智能与统计会议》，第4573-4582页（2020年）。PMLR公司
[54] Kannan，A。；Shanbhag，UV，伪单调随机变分不等式问题及其变体的最优随机外梯度格式，计算。优化。申请。，74, 3, 779-820 (2019) ·Zbl 1439.90069号 ·文件编号：10.1007/s10589-019-00120-x
[55] Cui，S.，Shanbhag，U.V.：关于单调随机变分不等式问题的单投影方案的方差减少和随机投影变量的分析。集值和变分分析（待发布）（2021年）·兹比尔1473.90097
[56] Rosasco，L。；南部维拉。；Vũ，BC，多元单调包含的随机惯性前向向后分裂算法，优化，65，6，1293-1314（2016）·Zbl 06587813号 ·doi:10.1080/02331934.2015.1127371
[57] Palaniappan，B.，Bach，F.：鞍点问题的随机方差减少方法。摘自：《神经信息处理系统进展》，第1416-1424页（2016年）
[58] Gower，RM；施密特，M。；巴赫，F。；Richtárik，P.，《机器学习的方差减少方法》，Proc。IEEE，108、11、1968-1983（2020）·doi:10.1109/JPROC.2020.3028013
[59] 弗里德兰德，议员；Schmidt，M.，数据拟合的混合确定性随机方法，SIAM科学杂志。计算。，34, 3, 1380-1405 (2012) ·Zbl 1262.90090号 ·doi:10.1137/10830629
[60] Jalilzadeh，A.，Shanbhag，U.V.，Blanchet，J.H.，Glynn，P.W.：非光滑随机凸规划的平滑可变样本大小加速近似方法。arXiv预印arXiv:1803.00718（2018）
[61] Jofré，A。；汤普森，P.，关于乘性噪声随机光滑凸优化的方差减少，数学。程序。，174, 1-2, 253-292 (2019) ·Zbl 1411.65082号 ·doi:10.1007/s10107-018-1297-x
[62] 加迪米，S。；兰·G。；Zhang，H.，非凸随机组合优化的Mini-bactch随机逼近方法，数学。程序。，155, 1-2, 267-305 (2016) ·Zbl 1332.90196号 ·doi:10.1007/s10107-014-0846-1
[63] Gunzburger，医学博士；CG韦伯斯特；Zhang，G.，具有随机输入数据的偏微分方程的随机有限元方法，Acta Numer。，23, 521-650 (2014) ·Zbl 1398.65299号 ·doi:10.1017/S0962492914000075
[64] Nesterov，Y.，《凸优化入门讲座：基础课程》（2004），Dordrecht:Kluwer，Dordecht·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[65] Davis博士。；Drusvyatskiy，D.，基于随机模型的弱凸函数最小化，SIAM J.Optim。，29, 1, 207-239 (2019) ·Zbl 1415.65136号 ·doi:10.1137/18M1178244
[66] Lan，G.：机器学习的一阶和随机优化方法。数据科学中的Springer系列。施普林格（2020）·Zbl 1442.68003号
[67] 组合框，PL；Pesquet，J-C，带随机扫描的随机准Fejér块坐标不动点迭代，SIAM J.Optim。，25, 2, 1221-1248 (2015) ·Zbl 1317.65135号 ·doi:10.137/140971233
[68] 组合框，PL；Pesquet，J-C，随机准Fejér块坐标不动点迭代与随机扫描ii:均方和线性收敛，数学。程序。，174, 1, 433-451 (2019) ·Zbl 1469.65109号 ·doi:10.1007/s10107-018-1296-y
[69] Rosasco，L。；南部维拉。；Vũ，BC，单调夹杂物的随机正向-反向分裂，J.Optim。理论应用。，169, 2, 388-406 (2016) ·兹伯利06586792 ·doi:10.1007/s10957-016-0893-2
[70] Spall，JC，使用同时扰动梯度近似的多元随机近似，IEEE Trans。自动。控制，37，3，332-341（1992）·Zbl 0745.60110号 ·doi:10.1109/9.119632
[71] Spall，JC，同时扰动随机近似的单测量形式，Automatica，33，1，109-112（1997）·Zbl 0867.93086号 ·doi:10.1016/S0005-1098（96）00149-5
[72] Duvocelle，B.，Mertikopoulos，P.，Staudigl，M.，Vermeulen，D.：时变博弈中的学习。arXiv预印arXiv:1809.03066（2018）
[73] 巴蒂，K。；罗伊，J-S；Strugarek，C.，Hilbert-值扰动次梯度算法，数学。操作。研究，32，3，551-562（2007）·兹比尔1341.90093 ·doi:10.1287/门1070.0253
[74] 巴蒂，K。；罗伊，J-S；Strugarek，C.，闭环问题的随机梯度型算法，数学。程序。，119, 1, 51-78 (2009) ·Zbl 1159.62053号 ·doi:10.1007/s10107-007-0201-x
[75] Lei，J.，Shanbhag，U.V.：图上随机Nash均衡问题的分布式可变样本大小梯度响应和最佳响应方案。arXiv:1811.11246（2019）·Zbl 1487.91003号
[76] Lei，J.，Shanbhag，U.V.：复合非凸随机优化的异步方差减少块方案：块特定步长和适应的批大小。优化方法和软件，第1-31页（2020年）
[77] 博温，JM；Dutta，J.，最大单调包含和Fitzpatrick函数，J.Optim。理论应用。，171, 3, 757-784 (2016) ·Zbl 1354.90135号 ·doi:10.1007/s10957-015-0813-x
[78] Auslender，A.，Gourgand，M.，Guillet，A.：不等式变量的解析。收录：经济学和数学系统讲稿（数学经济学）（1974年）·Zbl 0293.49023号
[79] 陈，Y。；兰·G。；欧阳，Y.，一类鞍点问题的最优原对偶方法，SIAM J.Optim。，24, 4, 1779-1814 (2014) ·兹比尔1329.90090 ·doi:10.1137/130919362
[80] 蒙泰罗，RDC；Svaiter，BF，关于迭代和遍历平均的混合近端外梯度方法的复杂性，SIAM J.Optim。，20, 6, 2755-2787 (2010) ·Zbl 1230.90200 ·doi:10.1137/090753127
[81] Chen，Y.，Lan，G.，Ouyang，Y.：一类变分不等式的加速格式。数学。程序。(2017). doi:10.1007/s10107-017-1161-4·Zbl 1386.90102号
[82] Nesterov，Y.，对偶外推及其在求解变分不等式和相关问题中的应用，数学。程序。，109, 2, 319-344 (2007) ·Zbl 1167.90014号 ·doi:10.1007/s10107-006-0034-z
[83] Malitsky，Y.，变分不等式的Golden比率算法，数学。程序。，1841833-410（2020）·Zbl 07263698号 ·doi:10.1007/s10107-019-01416-w
[84] 波拉奇克，RS；Milán，RD，非单调变分不等式的投影算法，集值和变分分析。，28, 1, 149-166 (2020) ·Zbl 1434.90201号 ·doi:10.1007/s11228-019-00517-0
[85] Rockafellar，RT公司；Wets，RJ，《随机变分不等式：单阶段到多阶段》，数学。程序。，165, 1, 331-360 (2017) ·Zbl 1378.49010号 ·doi:10.1007/s10107-016-0995-5
[86] Rockafellar，T.R.，Wets，R.J.-B.：变分分析。斯普林格（1998）·Zbl 0888.49001号
[87] Shapiro，A.，Dentcheva，D.，Ruszczynski，A.X.：随机编程讲座：建模与理论。SIAM（2009）·邮编：1183.90005
[88] Friedman，J.、Hastie，T.、Tibshirani，R.：《统计学习的要素》第1卷。斯普林格（2001）·兹比尔0973.62007
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。