×
德米特里·奥斯特罗夫斯基。；安德鲁·洛伊；梅萨姆·拉扎维亚因

非凸光滑min-max问题中一阶Nash均衡的有效搜索。 （英语） Zbl 1480.91016号

SIAM J.Optim公司。 31,4号，2508-2538（2021）.
小结：我们提出了一个有效的算法来寻找形式为（x}中的x）的min-max问题的一阶Nash均衡，其中目标函数在变量上是光滑的，并且相对于（y）是凹的；集合（X）和（Y）是凸的且“投影友好”，而集合（Y）则是紧的。我们的目标是找到一个（（varepsilon_{mathsf{x}}，varepsilen_{mathsf{y}}）-一阶Nash均衡，该均衡与一个比常用的近端梯度范数更强的平稳性准则有关。提出的方法相当简单：我们对原始函数进行近似近似点迭代，Nesterov算法提供的不精确预言运行在正则化函数（F（x_t，\cdot），x_t）上，作为当前的原始迭代。由此产生的迭代复杂度为\（O（\varepsilon_{mathsf{x}}^{-2}\，\varepsilon_{mathsf{y}}^}-1/2}）\）到对数因子。作为一个副产品，选择\（\varepsilon_{mathsf{y}}=O（\varesilon_{mathsf{x}}^2）\）考虑到为原函数的标准Moreau包络寻找一个\（\ varepsilen_{mathsf{x}{-3}）-驻点的复杂性。此外，当目标相对于\（y）是强凹的时，我们算法的复杂度估计提高到\（O（\varepsilon_{\mathsf{x}}^{-2}\kappa_{mathsf}^{1/2}），直到对数因子，其中\（\kappa _{\mathsf{y}}）是为耦合适当调整的条件数。在这两种情况下，复杂性估计是迄今为止最为人所知的，并且只知道（较弱的）近似梯度范数准则。同时，我们的方法是“用户友好的”：（i）该算法是建立在将Nesterov的加速算法的一个变体作为子程序运行的基础上，避免了额外的梯度步骤；（ii）收敛性分析利用了不精确oracle加速方法的已知结果。最后，我们将该方法推广到非欧几里德近似几何。

引用于7文件

MSC公司：

91A11号机组 平衡优化
90立方厘米 数学规划中的极小极大问题

关键词：

一阶纳什均衡；固定点；非凸min-max问题

软件：

新冠肺炎；SBEED公司
PDF格式BibTeX公司 XML格式引用
\textit{D.M.Ostrovskii}等人，SIAM J.Optim。31，编号42508-2538（2021；兹bl 1480.91016）
全文： 内政部 arXiv公司

参考文献：

[1] S.Baharlouei、M.Nouiehed、A.Berami和M.Razaviyayn，Renyi公平推断，《第八届国际学习代表大会（ICLR 2020）会议记录》，埃塞俄比亚亚的斯亚贝巴，2020年。
[2] K.Ball、E.A.Carlen和E.H.Lieb，迹范数的Sharp一致凸性和光滑不等式，发明。数学。，115（1994年），第463-482页·Zbl 0803.47037号
[3] B.Barazandeh和M.Razaviyayn，用近似梯度法求解非凸非可微Min-max对策，预印本，https://arxiv.org/abs/2003.08093, 2020.
[4] H.H.Bauschke、J.Bolt和M.Teboulle，超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用，数学。操作。研究，42（2016），第330-348页·Zbl 1364.90251号
[5] J.Borwein、A.Guirao、P.Haíjek和J.Vanderwerff，Banach空间上的一致凸函数，Proc。阿默尔。数学。Soc.，137（2009），第1081-1091页·Zbl 1184.52009年
[6] S.Bubeck，凸优化：算法和复杂性，发现。趋势马赫数。学习。，8（2015），第231-357页·Zbl 1365.90196号
[7] Y.Carmon、J.C.Duchi、O.Hinder和A.Sidford，寻找驻点的下限\（1），数学。程序。，184（2020），第71-120页·Zbl 1451.90128号
[8] B.Dai、A.Shaw、L.Li、L.Xiao、N.He、Z.Liu、J.Chen和L.Song，SBEED：非线性函数逼近的收敛强化学习，《2018年国际机器学习会议论文集》，第1133-1142页。
[9] C.D.Dang和G.Lan，非光滑随机优化的随机块镜下降法，SIAM J.Optim。，25（2015），第856-881页，https://doi.org/10.1137/10936361。 ·Zbl 1353.90095号
[10] J.M.丹斯金，《最大最小理论及其应用》，SIAM J.Appl。数学。，14（1966年），第641-664页，https://doi.org/10.1137/0114053。 ·Zbl 0144.43301号
[11] O.Devolder，光滑凸优化中的随机一阶方法，CORE讨论论文，2011年。
[12] O.Devolder、F.Glineur和Y.Nesterov，用不精确预言机进行光滑凸优化的一阶方法，数学。程序。，146（2014），第37-75页·Zbl 1317.90196号
[13] I.Goodfellow、J.Pouget-Abadie、M.Mirza、B.Xu、D.Warde-Farley、S.Ozair、A.Courville和Y.Bengio，《生成对抗网》，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2014年，第2672-2680页。
[14] C.Jin、P.Netrapalli和M.I.Jordan，非凸非凸Minimax优化中的局部最优性是什么？，预印本，https://arxiv.org/abs/1902.00618v2, 2019.
[15] A.Juditsky和A.Nemirovski，非光滑凸大规模优化的一阶方法，I：通用方法，摘自《机器学习优化》，麻省理工学院出版社，马萨诸塞州剑桥，2011年，第121-148页。
[16] H.Karimi、J.Nutini和M.Schmidt，Polyak-Łojasewicz条件下梯度和近梯度方法的线性收敛，《数据库中的机器学习和知识发现》，Springer，Cham，2016，第795-811页。
[17] W.Kong和R.D.Monteiro，解决非凸凹面Min-max问题的加速非精确近似点方法，预印本，https://arxiv.org/abs/1905.13433, 2019.
[18] T.Lin，C.Jin和M.I.Jordan，关于非凸凹极小极大问题的梯度下降-上升，预印本，https://arxiv.org/abs/1906.00331, 2019.
[19] T.Lin、C.Jin和M.I.Jordan，《Minimax优化的近最优算法》，预印本，https://arxiv.org/abs/2002.02417, 2020.
[20] S.Lu，I.Tsaknakis和M.Hong，《非凸min-max问题的块交替优化：信号处理和通信中的算法和应用》，《IEEE声学、语音和信号处理国际会议（ICASSP）论文集》，2019年，第4754-4758页。
[21] A.Madry、A.Makelov、L.Schmidt、D.Tsipras和A.Vladu，面向抵抗对手攻击的深度学习模型，预印本，https://arxiv.org/abs/1706.06083v4, 2019.
[22] A.Nemirovski，关于Lipschitz连续单调算子变分不等式和光滑凹凸鞍点问题的收敛速度为O（1/t）的Prox方法，SIAM J.Optim。，15（2004），第229-251页，https://doi.org/10.1137/S1052623403425629。 ·Zbl 1106.90059号
[23] A.Nemirovski和D.Yudin，优化中的问题复杂性和方法效率，John Wiley&Sons，纽约，1983年·Zbl 0501.90062号
[24] Y.Nesterov，非光滑函数的平滑最小化，数学。程序。，103（2005），第127-152页·Zbl 1079.90102号
[25] Y.Nesterov，《如何使梯度变小》，Optima数学优化学会新闻稿，2012年5月，第10-11页。
[26] Y.Nesterov，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页·Zbl 1287.90067号
[27] Y.Nesterov，凸优化入门讲座：基础课程，应用。最佳方案。87，施普林格，纽约，2013年·Zbl 1086.90045号
[28] Y.Nesterov和A.Nemirovski，《关于（l_1）/核范数最小化的一阶算法》，《数值学报》。，22（2013），第509-575页·Zbl 1293.65089号
[29] M.Nouiehed、M.Sanjabi、J.D.Lee和M.Razaviyayn，使用迭代一阶方法求解一类非凸Min-max对策，预印本，https://arxiv.org/abs/1902.08297, 2019.
[30] D.Ostrovskii和Z.Harchaoui，自适应信号去噪的高效一阶算法，《第35届ICML会议论文集》，第80卷，2018年，第3946-3955页。
[31] Y.Ouyang和X.Yangyang，凸-凹双线性鞍点问题一阶方法的复杂度下限，预印本，https://arxiv.org/abs/1808.02901, 2018. ·Zbl 1458.90516号
[32] R.T.Rockafellar，《凸分析》，普林斯顿大学出版社，新泽西州普林斯顿，2015年。
[33] M.Sion，《关于一般极小极大定理》，太平洋数学杂志。，8（1958年），第171-176页·Zbl 0081.11502号
[34] K.K.Thekumparampil、P.Jain、P.Netrapalli和S.Oh，平滑最小极大优化的高效算法，预印本，https://arxiv.org/abs/1907.01543, 2019.
[35] 赵瑞敏，最大结构非凸优化的原始-对偶平滑框架，预印本，https://arxiv.org/abs/2003.04375, 2020.
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。