×
帕特里克·R·约翰斯通。；乔纳森·埃克斯坦；托马斯·弗林；你，Shinjae

随机投影分裂。 （英语） Zbl 07806000号

计算。最佳方案。申请。 87，第2期，397-437（2024）.
摘要：对于涉及任意有限个最大单调算子之和的包含问题，我们提出了投影分裂（PS）算法族的一个新的随机变量。这个新的变体使用随机预言机来评估其中一个操作符（假设它是Lipschitz连续的），并使用（确定性的）预解式来处理其余操作符。我们的建议是具有这种随机能力的PS的第一个版本。我们设想主要应用是机器学习（ML）问题，该方法的随机特性有助于数据集的“微型”采样。由于该方法使用单调算子公式，因此它不仅可以处理Lipschitz平滑损失最小化，而且还可以处理min-max和非合作博弈公式，与通常应用于此类设置的梯度下降余弦方法相比，具有更好的收敛性。该方法可以通过投影和邻近算子处理任意数量的约束和非光滑正则化子。我们证明了迭代对期望残差的解和收敛速度结果的近似收敛性，并与分布稳健稀疏logistic回归问题的数值实验相接近。

MSC公司：

90立方厘米 数学编程

关键词：

近端算子分裂；单调包含；凸优化；随机梯度下降

软件：

公正控制；利比亚支持向量机；UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{P.R.Johnstone}等人，计算。最佳方案。申请。87，第2号，397--437（2024；Zbl 07806000）
全文： 内政部

参考文献：

[1] Alacaoglu，A.，Malitsky，Y.，Cevher，V.：具有方差减少的前向反射反向法。计算。最佳方案。申请。(2021) ·Zbl 1478.90130号
[2] 阿洛塔比，A。；组合框，PL；Shahzad，N.，通过Kuhn-Tucker集的连续Fejér逼近求解耦合复合单调包含，SIAM J.Optim。，24, 4, 2076-2095 (2014) ·兹伯利1315.47057 ·doi:10.1137/130950616
[3] 巴尔迪，P。；萨多夫斯基，P。；怀特森，D.，《通过深度学习在高能物理中寻找奇异粒子》，《国家通讯》。，5, 1, 1-9 (2014) ·doi:10.1038/ncomms5308
[4] Balduzzi，D.，Racaniere，S.，Martens，J.，Foerster，J.，Tuyls，K.，Graepel，T.：玩家可微分游戏的机制。摘自：Dy，J.，Krause，A.（编辑）《第35届国际机器学习会议论文集》，《机器学习研究论文集》第80卷，第354-363页。PMLR（2018）
[5] Bauschke，HH；Combettes，PL，Hilbert空间中的凸分析和单调算子理论（2017），柏林：Springer，柏林·Zbl 1359.26003号 ·doi:10.1007/978-3-319-48311-5
[6] 博伊，RI；Mertikopoulos，P。；斯塔迪格尔，M。；Vuong，PT，求解随机变分不等式的Minibatch前向-后向-前向方法，Stoch。系统。，11, 2, 112-139 (2021) ·Zbl 1489.90195号 ·doi:10.1287/stsy.2019.0064
[7] Böhm，A.，Sedlmayer，M.，Csetnek，E.R.，Boţ，R.I.：用曾氏方法，一次两步跨越GAN训练。arXiv预印本arXiv:2006.09033（2020）
[8] Bottou，L.：具有随机梯度下降的大规模机器学习。摘自：《2010年COMPSTAT会议记录：第19届国际计算统计会议》，第177-186页。柏林施普林格出版社（2010年）·Zbl 1436.68293号
[9] 博图，L。；FE柯蒂斯；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60，2，223-311（2018）·Zbl 1397.65085号 ·doi:10.1137/16M1080173
[10] 布里塞尼奥·阿里亚斯，LM；Combettes，PL，对偶复合单调包含的单调+斜分裂模型，SIAM J.Optim。，21203-1250（2011年）·Zbl 1239.47053号 ·数字对象标识码：10.1137/10081602X
[11] Bubeck，S.，《凸优化：算法和复杂性》，Found。趋势马赫。学习。，8, 3-4, 231-357 (2015) ·Zbl 1365.90196号 ·doi:10.1561/2200000050
[12] Celis，L.E.，Keswani，V.：改进对抗性学习以实现公平分类。arXiv预印本arXiv:1901.10443（2019）
[13] Chang，C.C.，Lin，C.J.:LIBSVM：支持向量机库。ACM事务处理。智力。系统。Technol公司。2，27:1-27:27（2011年）。软件可在网址：http://www.csie.ntu.edu.tw/cjlin/libsvm
[14] Chavdarova，T.，Pagliardini，M.，Stich，S.U.，Fleuret，F.，Jaggi，M.：用目光短浅来驯服GANs。参加：国际学习代表大会（2021年）。https://openreview.net/forum？id=ZW0yXJyNmoG
[15] 组合框，PL；Eckstein，J.，单调包含的异步块迭代原始-对偶分解方法，数学。程序。，168，1-2645-672（2018）·Zbl 1514.47095号 ·doi:10.1007/s10107-016-1044-0
[16] Combettes，P.L.，Pesquet，J.C.：信号处理中的近距离分裂方法。收录于：Bauschke，H.、Burachik，R.、Combettes，P.、Elser，V.、Luke，D.、Wolkowicz，H.（编辑）《科学与工程反问题的定点算法》，第185-212页。柏林施普林格出版社（2011）·Zbl 1242.90160号
[17] 组合框，PL；Pesquet，JC，用复合、Lipschitzian和平行和型单调算子的混合物求解内含物的原始-对偶分裂算法，集值变量分析。，20, 2, 307-330 (2012) ·Zbl 1284.47043号 ·doi:10.1007/s11228-011-0191-y
[18] 组合框，PL；Pesquet，JC，随机拟Fejér块坐标不动点迭代与随机扫描，SIAM J.Optim。，25, 2, 1221-1248 (2015) ·Zbl 1317.65135号 ·doi:10.1137/140971233
[19] Daskalakis，C.，Ilyas，A.，Syrgkanis，V.，Zeng，H.：乐观训练GAN。参加：学习代表国际会议（2018年）。https://openreview.net/forum？id=SJJySbbAZ
[20] Davis，D。；Yin，W.，三算子分裂格式及其优化应用，集值变量分析。，25, 4, 829-858 (2017) ·兹比尔1464.47041 ·doi:10.1007/s11228-017-0421-z
[21] Diakonikolas，J.：近最优和无参数单调包含的Halpern迭代和变分不等式的强解。摘自：学习理论会议，第1428-1451页。PMLR（2020年）
[22] Dua，D.，Graff，C.：UCI机器学习库（2017）。http://archive.ics.uci.edu/ml
[23] Eckstein，J.，块迭代算子分裂的简化形式和类似于乘法器的多块交替方向方法的异步算法，J.Optim。理论应用。，173, 1, 155-182 (2017) ·Zbl 06768800号 ·doi:10.1007/s10957-017-1074-7
[24] 埃克斯坦，J。；Svaiter，BF，两个极大单调算子之和的射影分裂方法族，数学。程序。，111, 1, 173-199 (2008) ·Zbl 1134.47048号
[25] 埃克斯坦，J。；Svaiter，BF，最大单调算子和的一般投影分裂方法，SIAM J.Control。最佳。，48, 2, 787-811 (2009) ·Zbl 1194.49038号 ·doi:10.1137/070698816
[26] Edwards，H.和Storkey，A.：审查与对手的陈述。arXiv预印arXiv:1511.05897（2015）
[27] Gabay，D.：乘数法在变分不等式中的应用。在：Fortin，M.，Glowinski，R.（编辑）《增广拉格朗日方法：对边值问题求解的应用》，第九章，第299-340页。荷兰北部，阿姆斯特丹（1983年）·Zbl 0525.65045号
[28] Gidel，G.、Berard，H.、Vignoud，G.，Vincent，P.、Lacoste-Julien，S.：关于生成性对抗网络的变分不等式观点。参加：国际学习代表大会（2019年）。https://openreview.net/forum？id=r1laEnA5Ym
[29] Goodfellow，I.，Pouget Abadie，J.，Mirza，M.，Xu，B.，Warde Farley，D.，Ozair，S.，Courville，A.，Bengio，Y.：生成对抗性网络。收录于：Ghahramani，Z.、Welling，M.、Cortes，C.、Lawrence，N.、Weinberger，K.Q.（编辑）《神经信息处理系统进展》，第27卷。Curran Associates（2014年）
[30] Grnarova，P.，Kilcher，Y.，Levy，K.Y.，Lucchi，A.，Hofmann，T.：生成性最小化网络：在没有竞争的情况下训练GAN。arXiv预打印arXiv:2103.12685（2021）
[31] Hsieh，Y.G.，Iutzeler，F.，Malick，J.，Mertikopoulos，P.：关于单调用随机超粒度方法的收敛性。收录：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d'AlchéBuc，F.、Fox，E.、Garnett，R.（编辑）《神经信息处理系统的进展》，第32卷。Curran Associates（2019）
[32] Hsieh，Y.G.，Iutzeler，F.，Malick，J.，Mertikopoulos，P.：积极探索，保守更新：具有可变步长尺度的随机外梯度方法。收录于：Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.F.、Lin，H.（编辑）《神经信息处理系统进展》，第33卷，第16223-16234页。Curran Associates（2020年）
[33] 黄，C。；Kairouz，P。；陈，X。；桑卡尔，L。；Rajagopal，R.，《情境软件生成性对抗性隐私》，《熵》，第19、12、656页（2017年）·doi:10.3390/e19120656
[34] Johnstone，公关；Eckstein，J.，射影分裂的收敛速度，SIAM J.Optim。，29, 3, 1931-1957 (2019) ·Zbl 07098595号 ·doi:10.1137/18M1203523
[35] Johnstone，P.R.，Eckstein，J.：单步投射分裂：利用协同强制。arXiv预印arXiv:1902.09025（2019）
[36] Johnstone，公关；Eckstein，J.，用向前的步骤进行射影分裂只需要连续性，Optim。莱特。，14, 1, 229-247 (2020) ·Zbl 1433.90113号 ·doi:10.1007/s11590-019-01509-7
[37] Johnstone，公关；Eckstein，J.，单步投射分裂：利用协同强制，计算。最佳方案。申请。，78, 1, 125-166 (2021) ·邮编1468.90084 ·doi:10.1007/s10589-020-00238-3
[38] 约翰斯通，公关；Eckstein，J.，《向前步射影分裂》，《数学》。程序。，191, 2, 631-670 (2022) ·Zbl 1508.47112号 ·doi:10.1007/s10107-020-01565-3
[39] Korpelevich，G.，求鞍点和其他问题的外梯度法，Matekon，13，4，35-49（1977）
[40] Kuhn，D.，Esfahani，P.M.，Nguyen，V.A.，Shafieezadeh Abadeh，S.：Wasserstein分布式鲁棒优化：机器学习的理论和应用。摘自：Netessine，S.（编辑）《分析时代的运筹学与管理科学》，运筹学教程，第130-166页。信息（2019）
[41] Li，C.J.，Yu，Y.，Loizou，N.，Gidel，G.，Ma，Y.、Roux，N.L.，Jordan，M.I.：关于重新开始迭代平均的双线性对策的随机外梯度的收敛性。arXiv预打印arXiv:2107.00464（2021）
[42] Lin，T.，Jin，C.，Jordan，M.：关于非凸极小极大问题的梯度下降上升。参见：Singh，H.D.III，A（ed.）《第37届国际机器学习会议论文集》，《机器学习研究论文集》第119卷，第6083-6093页。PMLR（2020年）
[43] 狮子队，PL；Mercier，B.，两个非线性算子之和的分裂算法，SIAM J.Numer。分析。，16, 6, 964-979 (1979) ·Zbl 0426.6500号 ·doi:10.1137/0716071
[44] Malitsky，Y。；Tam，MK，无协同效应单调夹杂物的前向背向分裂方法，SIAM J.Optim。，30, 2, 1451-1472 (2020) ·Zbl 1445.47041号 ·doi:10.1137/18M1207260
[45] Mescheder，L.，Geiger，A.，Nowozin，S.：针对GAN的哪些训练方法实际上是收敛的？摘自：Dy，J.，Krause，A.（eds.）《第35届国际机器学习会议论文集》，《机器学习研究论文集》第80卷，第3481-3490页。PMLR（2018）
[46] Mescheder，L.、Nowozin，S.、Geiger，A.：GAN的数字。收录：Guyon，I.、Luxburg，U.V.、Bengio，S.、Wallach，H.、Fergus，R.、Vishwanathan，S.和Garnett，R.（编辑）《神经信息处理系统进展》，第30卷。Curran Associates（2017年）
[47] 蒙泰罗，RD；Svaiter，BF，关于迭代和遍历平均的混合近端外梯度方法的复杂性，SIAM J.Optim。，20, 6, 2755-2787 (2010) ·Zbl 1230.90200 ·doi:10.1137/090753127
[48] Nagarajan，V.，Kolter，J.Z.：梯度下降GAN优化是局部稳定的。收录：Guyon，I.、Luxburg，U.V.、Bengio，S.、Wallach，H.、Fergus，R.、Vishwanathan，S.和Garnett，R.（编辑）《神经信息处理系统进展》，第30卷。Curran Associates（2017年）
[49] Namkoong，H.，Duchi，J.C.：具有（f）-发散的分布稳健优化的随机梯度方法。收录：Lee，D.，Sugiyama，M.，Luxburg，U.，Guyon，I.，Garnett，R.（编辑）《神经信息处理系统进展》，第29卷。Curran Associates（2016年）
[50] Nemirovski，A.，关于Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的具有收敛速度（O（1/t））的Prox方法，SIAM J.Optim。，15, 1, 229-251 (2004) ·Zbl 1106.90059号 ·doi:10.1137/S1052623403425629
[51] 北卡罗来纳州帕里赫。；Boyd，S.，《近似算法》，Found。最佳趋势。，1, 3, 123-231 (2013)
[52] Pedregosa，F.、Fatras，K.、Casotto，M.：近端分裂满足方差减少。载：Chaudhuri，K.，Sugiyama，M.（编辑）《第二十二届国际人工智能与统计会议论文集》，《机器学习研究论文集》，第89卷，第1-10页。PMLR（2019年）
[53] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，400-407（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[54] Rockafellar，R.T.：与鞍函数和极大极小问题相关的单调算子。非线性函数。分析。18（第1部分），397-407（1970）·Zbl 0237.47030号
[55] Ryu，EK；Boyd，S.，单调算子方法入门，应用。计算。数学，15，1，3-43（2016）·Zbl 1342.47066号
[56] Shafieezadeh-Abadeh，S.，Esfahani，P.M.，Kuhn，D.：分布稳健逻辑回归。收录于：Cortes，C.，Lawrence，N.D.，Lee，D.D.，Sugiyama，M.，Garnett，R.（编辑）《神经信息处理系统进展》，第28卷，第1576-1584页。Curran Associates（2015年）
[57] Sinha，A.、Namkoong，H.、Duchi，J.：通过原则性对抗训练证明了一些分布稳健性。在：国际学习代表大会（2018）。https://openreview.net/forum？id=Hk6kPgZA-
[58] Tseng，P.，极大单调映射的一种改进的前向分裂方法，SIAM J.Control。最佳。，38, 2, 431-446 (2000) ·Zbl 0997.90062号 ·doi:10.1137/S0363012998338806
[59] Van Dung，N.，Vu，B.C.：随机反射正向分裂算法的收敛性分析。arXiv预打印arXiv:2102.08906（2021）
[60] Wadsworth，C.，Vera，F.，Piech，C.：通过对抗性学习实现公平：累犯预测的应用。arXiv预印arXiv:1807.00199（2018）
[61] Yu，Y.，Lin，T.，Mazumdar，E.，Jordan，M.I.：具有方差减少的最小最大优化的快速分布鲁棒学习。arXiv预打印arXiv:2104.13326（2021）
[62] Yurtsever，A.，Vu，B.C.，Cevher，V.：随机三复合凸极小化。收录：Lee，D.，Sugiyama，M.，Luxburg，U.，Guyon，I.，Garnett，R.（编辑）《神经信息处理系统进展》，第29卷。Curran Associates（2016年）
[63] Zhang，B.H.，Lemoine，B.，Mitchell，M.：通过对抗性学习缓解不必要的偏见。摘自：2018年AAAI/ACM人工智能、道德和社会会议记录，第335-340页（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。