×

凸最小化问题的快速梯度下降,其中预言机在请求点产生函数的\((\delta,L)\)模型。 (英语。俄文原件) Zbl 07139606号

计算。数学。数学。物理。 59,第7号,1085-1097(2019); Zh的翻译。维奇尔。Mat.Mat.Fiz公司。59,第7期,1137-1150(2019)。
摘要:提出了函数的(delta,L)-模型的一个新概念,它是Devolder-Glineur-Nesterov((delta、L)-oracle的推广。在这个概念中,构造了梯度下降法和快速梯度下降法,并证明了许多已知方法(组合方法、水平方法、条件梯度和近似方法)的构造是本文所提方法的特例。

MSC公司:

90C25型 凸面编程
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 于。E.Nesterov,《凸优化简介》(Mosk.Tsentr-Nepreryvnogo-Matematicheskogo Obrazovaniya,莫斯科,2010)[俄语]。
[2] A.S.Nemirovski和D.B.Yudin,问题的复杂性和优化方法的效率(Nauka,莫斯科,1979)[俄语]·Zbl 0501.90061号
[3] 于。Nesterov,“最小化复合函数的梯度方法”,数学。程序。140 (2), 125-161 (2013). ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5
[4] O.Devolder、F.Glineur和Yu。Nesterov,“具有不精确预言的一阶方法:强凸情形”,CORE讨论论文,2013/16(2013)。https://www.uclouvain.be/cps/ucl/doc/core/documents/核心2013_16web.pdf·Zbl 1317.90196号
[5] A.Ben-Tal和A.Nemirovski,现代凸优化讲座:分析、算法和工程应用,http://www2.isye.gatech.edu/nemirovs/Lect_ModConvOpt.pdf·Zbl 0986.90032号
[6] A.Taylor、J.Hendrickx和F.Glineur,“复合凸优化一阶方法的精确最坏情况性能”,arXiv:1512.07516·Zbl 1371.90108号
[7] P.Ochs、J.Fadili和T.Brox,“非光滑非凸Bregman最小化:统一和新算法”,arXiv:1707.02278·兹伯利1416.49015
[8] J.Miral,“使用一阶代理函数进行优化”,载于《机器学习国际会议》(ICML-2013),2013年,第28卷,第783-791页。
[9] M.D.Gupta和T.Huang,“Bregman距离到l1正则逻辑回归”,第19届国际模式识别会议,2008年,第1-4页。
[10] A.V.Gasnikov,“现代数值优化方法.通用梯度下降法”,arXiv:1711.00394
[11] O.Devolder、F.Glineur和Yu。Nesterov,“用不精确预言机进行光滑凸优化的一阶方法”,《数学》。项目146,37-75(2014)·兹比尔1317.90196 ·doi:10.1007/s10107-013-0677-5
[12] O.Devolder,“大规模凸优化的一阶方法中的精确性、不精确性和随机性”,卢浮天主教大学ICTEAM和CORE博士论文。2013
[13] O.Devolder、F.Glineur和Yu。Nesterov,“不精确预言下光滑凸问题的中间梯度方法”,卢万天主教大学技术报告,运筹学与计量经济中心(CORE),2013年。
[14] P.Dvurechensky和A.Gasnikov,“随机不精确预言凸问题的随机中间梯度法”,J.Optim。理论应用。171 (1), 121-145 (2016). ·兹比尔1351.90150 ·doi:10.1007/s10957-016-0999-6
[15] 于。Nesterov,“凸优化问题的通用梯度方法”,数学。程序。152, 381-404 (2015). ·Zbl 1327.90216号 ·doi:10.1007/s10107-014-0790-0
[16] C.Guzman和A.Menirovski,“关于大规模光滑凸优化的复杂度下限”,《复杂性杂志》31(1),1-14·Zbl 1304.65155号
[17] 于。Nesterov,“原始-对偶方法最小化目标函数模型的复杂性界限”,数学。程序。171, 311-330 (2018). ·Zbl 1397.90351号 ·doi:10.1007/s10107-017-1188-6
[18] M.Jaggi,“重温Frank-Wolfe:无投影稀疏凸优化”,载于《机器学习国际会议》(ICML-2013),2013年,第427-435页。
[19] Z.Harchaoui、A.Juditsky和A.Nemirovski,“规范化光滑凸优化的条件梯度算法”,数学。程序。152 (1-2), 75-112 (2015). ·Zbl 1336.90069号 ·doi:10.1007/s10107-014-0778-9
[20] B.T.Polyak,《优化导论》(Nauka,莫斯科,1983年;优化软件,纽约,1987年)·Zbl 0652.49002号
[21] N.Parikh和S.Boyd,“近似算法”,基础趋势优化。1 (3), 127-239 (2014). ·数字对象标识代码:10.1561/24000003
[22] H.Lin、J.Mairal和Z.Harchaoui,“一阶优化的通用催化剂”,《神经信息处理系统进展》,2015年,第3384-3392页·兹比尔1469.68101
[23] A.Rakhlin、O.Shamir和K.Sridharan,“使梯度下降对强凸随机优化最优”。第29届国际机器学习大会(ICML-12),2012年,第449-456页。
[24] A.Juditsky和A.Nemirovski,“非光滑凸大规模优化的一阶方法,I:通用方法”,《机器学习优化》(麻省理工学院出版社,剑桥,2011年),第121-148页·Zbl 1365.94077号
[25] A.Nemirovski,《凸规划的基于信息的复杂性》,Technion,1994/95秋季学期。http://www2.isye.gatech.edu/奈米罗夫斯/勒克斯-EMCO.pdf
[26] G.Lan,“对于光滑和非光滑凸优化,束级类型方法一致最优”,数学。程序。149 (1-2), 1-45 (2015). ·Zbl 1321.90104号 ·doi:10.1007/s10107-013-0737-x
[27] A.S.Nemirovskii和Yu。E.Nesterov,“光滑凸最小化的优化方法”,计算。数学。数学。物理。25 (2), 21-30 (1985). ·Zbl 0591.90072号 ·doi:10.1016/0041-5553(85)90100-4
[28] S.Boyd和L.Vandenberghe,《凸优化》(剑桥大学出版社,剑桥,2004)·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[29] A.V.Gasnikov,《寻找大型运输网络平衡的有效数值方法》,数学和物理博士论文,(莫斯科,2016)·Zbl 1407.90053号
[30] A.V.Gasnikov,P.E。Dvurechensky和Yu。E.Nesterov,“具有不精确预言的随机梯度方法”,Trudy Mosc。菲兹-泰克恩。第8(1)号指令,41-91(2016)。
[31] A.Tyurin,“约束优化问题的相似三角形方法的镜像版本”,arXiv:1705.09809
[32] A.S.Anikin、A.V.Gasnikov、P.E.Dvurechenskii、A.I.Tyurin和A.V.Chernov,“仿射约束下具有简单结构的强凸泛函最小化的对偶方法”,计算。数学。数学。物理。57, 1262-1276 (2017). ·Zbl 1380.49046号 ·doi:10.1134/S0965542517080048
[33] F.P.Vasil’ev,《优化方法》(Faktorial,莫斯科,2011),第1卷[俄语]。
[34] A.Juditsky和Yu。Nesterov,“一致凸最小化的确定性和随机原始-对偶次梯度算法”,《随机系统》。4 (1), 44-80 (2014). ·Zbl 1297.90097号 ·doi:10.1287/10-SSY010
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。