×

求解一组变量光滑且强凸,另一组变量低维的凸极小问题。 (英语。俄文原件) 兹比尔1483.90111

自动。远程控制 82,第10期,1679-1691(2021); Avtom翻译。Telemekh公司。2021年,第10期,60-75页(2021年)。
小结:本文讨论了在两组变量中只有一组具有光滑性和强凸性的min-min型凸问题的一些求解方法。结果表明,所提出的基于Vaidya方法、快速梯度方法和带方差减少的加速梯度方法具有线性收敛性。提出用Vaidya方法求解外部问题,用快速梯度法求解内部(光滑和强凸)问题。由于其在机器学习应用中的重要性,我们分别考虑了目标函数是大量函数之和的情况。在这种情况下,使用带方差减少的加速梯度法代替快速梯度法。数值实验结果表明,对于两组变量中的一组具有先验分布的logistic回归问题,所提出的方法具有优势。

MSC公司:

90C25型 凸面编程

软件:

PRMLT公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 于内斯特罗夫。E.,用收敛速度最小化凸函数的方法(O(1/k^2)),Dokl。阿卡德。诺克SSSR,269,3543-547(1983)
[2] Lan,G.,《机器学习的一阶和随机优化方法》(2020),亚特兰大:斯普林格,亚特兰大·Zbl 1442.68003号 ·doi:10.1007/978-3-030-39568-1
[3] Gasnikov,A.V.,《Soveremenye chislennye metody optimizatsii》。Metod universal’nogo Gradient nogo spuska(现代数值优化方法.通用梯度下降法)(2020),莫斯科:MTsNMO,莫斯科
[4] Alkousa,M.S。;Dvinskikh,D.M。;Stonyakin,F.S。;加斯尼科夫,A.V。;Kovalev,D.,鞍点问题的加速方法,计算。数学。数学。物理。,60, 11, 1787-1809 (2020) ·Zbl 1485.90091号 ·doi:10.1134/S0965542520110020
[5] Gladin,E.、Kuruzov,I.、Stonyakin,F.、Pasechnyuk,D.、Alkousa,M.和Gasnikov,A.,《用一个变量的小维数解决强凹凸复合鞍点问题》。https://arxiv.org/pdf/2010.02280.pdf .
[6] Tianyi,L.、Chi,J.和Michael,I.J.,《Minimax优化的近优算法》。https://arxiv.org/pdf/2002.02417v5.pdf .
[7] Yuanhao,W.和Jian,L.,凹凸极小极大优化的改进算法。https://arxiv.org/pdf/2006.06359.pdf .
[8] Zhongruo Wang、Krishnakumar Balasubramanian、Shiqian Ma和Meisam Razaviyayn,具有改进复杂性的非凸Minimax问题的零阶算法。https://arxiv.org/pdf/2001.07819.pdf .
[9] Gasnikov,A.V。;Gasnikova,E.V.,Modeli ravnovesnogo raspredeleniya transportnykh potokov V bol'shikh setyakh。乌奇。pos.(大型网络交通流平衡分布模型,手册)(2020年),莫斯科:莫斯科。菲兹-泰克。莫斯科研究所
[10] Bolt,J.、Glaudin,L.、Pauwels,E.和Serrurier,M.,最小最大和最小问题的Hölderian回溯方法。https://arxiv.org/pdf/2007.08810.pdf .
[11] Jungers,M.、Trélat,E.和Abou-Kandil,H.、Min-max和Min-Min Stackelberg闭环信息结构策略,J.Dyn。控制系统。施普林格,2011年,第17(3)期,第387-425页·Zbl 1228.91019号
[12] Farhangi,H.和Konur,D.,多目标稳健优化的基于集合的最小最大和最小稳健,Proc。第67年。Conf.Expo Inst.Ind.Eng.(宾夕法尼亚州匹兹堡,2017),Inst.Ind.Eng.,2017,第1217-1222页。
[13] Vaidya,P.M.,凸集上最小化凸函数的新算法,计算机科学基础。每年30日。交响乐团。(1989),第338-343页。
[14] Vaidya,P.M.,凸集上最小化凸函数的新算法,数学。程序。,73, 291-341 (1996) ·Zbl 0852.90112号
[15] Lan,G.、Zhize Li和Yi,Zhou。,一种用于凸优化的统一方差减少加速梯度法,第33 Conf.Neural Inf.Process。系统。(NeurIPS 2019)(加拿大温哥华,2019)。https://arxiv.org/pdf/1905.12412.pdf .
[16] Tyurin,A.I。;Gasnikov,A.V.,凸优化问题的快速梯度下降法,使用在请求点生成函数的(delta,L)-模型的预言机,计算。数学。数学。物理。,59, 7, 1137-1150 (2019) ·兹比尔1531.90101
[17] Bubeck,S.,《凸优化:算法和复杂性》,Found。趋势马赫数。学习。,8, 3-4, 231-357 (2015) ·Zbl 1365.90196号 ·doi:101561/2200000050
[18] Gladin,E.、Sadiev,A.、Gasnikov,A.、Stonyakin,F.、Dvurechensky,P.、Beznosikov,A和Alkousa,M.,《使用混合Oracle算法解决平滑最小和最小最大问题》。https://arxiv.org/pdf/2103.00434.pdf .
[19] Polyak,B.T.,Vvedenie v optimizatsiyu(优化导论)(1983),莫斯科:瑙卡,莫斯科·Zbl 0652.49002号
[20] Gasnikov,A.V。;Dvurechenskii,体育。;Kamzolov,D.I。;于内斯特罗夫。E。;斯波科因伊,V.G。;Stetsyuk,P.I。;Suvorikova,A.L。;Chernov,A.V.,《寻找多级运输模型中的平衡》,Tr.Mosk。菲兹-泰克。研究所,7,4-28,143-155(2015)
[21] Bishop,C.,模式识别和机器学习(2006),纽约:Springer,纽约·Zbl 1107.68072号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。