×
拉杜·亚历山大·德拉戈米尔;阿德里安·泰勒。;亚历山大·阿斯普雷蒙特;杰罗姆·博尔特

Bregman一阶方法的最优复杂性和证明。 （英语） Zbl 1494.90076号

数学。程序。 194，编号1-2（A），41-83（2022）.
小结：我们提供了一个下界，表明NoLips方法（也称为Bregman梯度或镜像下降）的（O（1/k））收敛速度对于满足相对光滑假设的问题是最优的。这一假设出现在Bregman梯度法的最新发展中，加速度仍然是一个悬而未决的问题。这个下限的主要灵感来源于性能评估框架的扩展Y.德罗里和M.Teboulle先生[数学课程.145，第1-2（A）号，451-482（2014；Zbl 1300.90068号)]Bregman一阶方法。该技术允许在相对平滑最小化的情况下计算NoLips的最坏情况。特别是，我们使用数值生成的最坏情况示例作为获得一般下限的基础。

引用于6文件

MSC公司：

90C25型 凸面编程
90C06型 数学规划中的大规模问题
90C60型 数学规划问题的抽象计算复杂性
90C22型 半定规划
65年第68季度 算法和问题复杂性分析

引文：

Zbl 1300.90068号

软件：

香蒜酱;莫塞克;YALMIP公司
PDF格式BibTeX公司 XML格式引用
\textit{R.-A.Dragomir}等人，《数学》。程序。194，编号1--2（A），41-83（2022；Zbl 1494.90076）
全文： 内政部 arXiv公司

参考文献：

[1] 澳大利亚银行。；Teboulle，M.，凸优化和圆锥优化的内部梯度和近似方法，SIAM J.Optim。，16, 3, 697-725 (2006) ·Zbl 1113.90118号 ·doi:10.1137/S1052623403427823
[2] 巴赫，F.，次梯度和条件梯度方法之间的二重性，SIAM J.成像科学。，25, 1, 115-129 (2015) ·Zbl 1358.90155号
[3] Bauschke，HH；波尔特，J。；陈，J。；特布尔，M。；Wang，X.，关于无强凸性和Lipschitz梯度连续性的非欧几里德梯度方法的线性收敛性，J.Optim。理论应用。，182, 3, 1068-1087 (2019) ·Zbl 1429.65121号 ·doi:10.1007/s10957-019-01516-9
[4] Bauschke，HH；波尔特，J。；Teboulle，M.，《超越Lipschitz梯度连续性的下降引理：一阶方法重访与应用》，数学。操作。决议，42，2，330-348（2017）·Zbl 1364.90251号 ·doi:10.1287/门.2016.0817
[5] Bauschke，HH；组合框，PL，.：希尔伯特空间中的凸分析和单调算子理论（2011），柏林：施普林格出版公司，柏林·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[6] 贝克，A。；Teboulle，M.，用于凸优化的镜像下降和非线性投影次梯度方法，Oper。Res.Lett.公司。，31, 3, 167-175 (2003) ·Zbl 1046.90057号 ·doi:10.1016/S0167-6377（02）00231-6
[7] 贝克，A。；Teboulle，M.，一种快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[8] Ben-tal，A。；Margalit，T。；Nemirovski，A.，有序子集镜像下降优化方法及其在层析成像中的应用，SIAM J.Optim。，179-108年12月1日（2001年）·Zbl 0992.92034号 ·doi:10.1137/S1052623499354564
[9] 贝特罗，M。；博卡奇，P。；Desidera，G。；Vicidomini，G.，泊松数据图像去模糊：从细胞到星系，逆问题。，25, 123006 (2009) ·Zbl 1186.85001号 ·doi:10.1088/0266-5611/25/12/123006
[10] 波尔特，J。；萨巴赫，S。；特布尔，M。；Vaisburd，Y.，超越凸性和Lipschitz梯度连续性的一阶方法及其在二次反问题中的应用，SIAM J.Optim。，28, 3, 2131-2151 (2018) ·Zbl 1402.90118号 ·doi:10.1137/17M1138558
[11] Bubeck，S.：在线优化简介。课堂讲稿（2011）
[12] Böi，M.N.，Combettes，P.L.：Bregman正向-反向算子分裂。arXiv预印本arXiv:1908.03878（2019）·兹比尔1487.47097
[13] Censor，Y。；Zenios，SA，具有D函数的近似最小化算法，J.Optim。理论应用。，73, 3, 451-464 (1992) ·兹比尔0794.90058 ·doi:10.1007/BF00940051
[14] Dragomir，R.A.，d'Aspremont，A.，Bolte，J.：低秩最小化的四次一阶方法。最优化理论应用杂志。(2021). 文件编号：10.1007/s10957-021-01820-3·1470.90050兹罗提
[15] Drori，Y.，光滑凸最小化的基于信息的精确复杂性，J.Complex。，39, 1-16 (2017) ·Zbl 1357.68072号 ·doi:10.1016/j.jco.2016.11.001
[16] Drori，Y.，Shamir，O.：用随机梯度下降寻找平稳点的复杂性。arXiv预印本：《第37届国际机器学习会议论文集》，PMLR，第119卷，第2658-2667页（2020）
[17] Drori，Y。；Taylor，AB，《凸极小化的有效一阶方法：构造性方法》，数学。程序。，184, 183-220 (2020) ·Zbl 1451.90118号 ·doi:10.1007/s10107-019-01410-2
[18] Drori，Y。；Teboulle，M.，光滑凸最小化的一阶方法的性能：一种新方法，数学。程序。，145, 1-2, 451-482 (2014) ·兹比尔1300.90068 ·doi:10.1007/s10107-013-0653-0
[19] Drori，Y。；Teboulle，M.，凯利切割平面法的最佳变体，数学。程序。，160, 1-2, 321-351 (2016) ·兹比尔1349.90880 ·doi:10.1007/s10107-016-0985-7
[20] Eckstein，J.，《使用Bregman函数的非线性近点算法及其在凸规划中的应用》，数学。操作。第18号、第1号、第202-226号决议（1993年）·Zbl 0807.47036号 ·doi:10.1287/门。2002年18月18日
[21] 古兹曼，C。；Nemirovski，A.，关于大规模光滑凸优化的复杂度下限，J.Complex。，31, 1, 1-14 (2015) ·Zbl 1304.65155号 ·doi:10.1016/j.jco.2014.08.003
[22] Hanzely，F.，Richtarik，P.，Xiao，L.：相对光滑凸优化的加速Bregman近似梯度方法。ArXiv预印ArXiv:1808.03045v1（2018）·Zbl 1473.90114号
[23] 朱迪茨基，A。；涅米罗夫斯基，A。；赖特，SS；Nowozin，SSJ，非光滑凸大规模优化的一阶方法，I：通用方法，机器学习优化，121-147（2010），剑桥：麻省理工学院出版社，剑桥
[24] Kim，D。；Fessler，JA，光滑凸最小化的优化一阶方法，数学。程序。，159, 1-2, 81-107 (2016) ·Zbl 1345.90113号 ·doi:10.1007/s10107-015-0949-3
[25] Lofberg，J.：YALMIP：MATLAB中用于建模和优化的工具箱。摘自：《CACSD会议记录》（2004年）
[26] 卢，H。；弗伦德，RM；Nesterov，Y.，用一阶方法进行相对光滑凸优化及其应用，SIAM J.Optim。，28, 1, 333-354 (2018) ·Zbl 1392.90090号 ·doi:10.1137/16M1099546
[27] 莫罗，JJ，Proximitéet dualitédans un espace hilbertien，公牛。社会数学。Fr.，93，2，273-299（1965）·Zbl 0136.12101号 ·doi:10.24033/bsmf.1625
[28] Mosek，A.：MATLAB手册的Mosek优化工具箱。9.0版。(2019). http://docs.mosek.com/9.0/toolbox/index.html
[29] Mukkamala，M.C.，Ochs，P.，Pock，T.，Sabach，S.：非凸优化中惯性Bregman近似梯度算法的凹凸回溯。arXiv预印arXiv:1904.03537（2019）·Zbl 1486.90147号
[30] Nemirovski，A.，Yudin，D.B.：优化中的问题复杂性和方法效率（1983）·Zbl 0501.90062号
[31] Nesterov，Y.：一种求解收敛速度为O（1/K2）的凸规划问题的方法。In：苏联数学。Doklady，第27卷，第2期，第367-372页（1983年）
[32] Nesterov，Y.，《凸优化入门讲座：基础课程》（2003），柏林：施普林格出版公司，柏林·Zbl 1086.90045号
[33] Nesterov，Y.：无约束凸优化中的可实现张量方法。核心讨论文件（2018年）·Zbl 1459.90157号
[34] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[35] 泰勒，A。；亨德里克斯，J。；Glineur，F.，复合凸优化一阶方法的精确最坏情况性能，SIAM J.Optim。，27, 3, 1283-1313 (2015) ·Zbl 1371.90108号 ·doi:10.1137/16M108104X
[36] Taylor，AB；亨德里克斯，JM；Glineur，F.，《光滑强凸插值和一阶方法的精确最坏情况性能》，数学。程序。，161, 1-2, 307-345 (2017) ·Zbl 1359.90098号 ·doi:10.1007/s10107-016-1009-3
[37] Taylor，A.B.，Hendrickx，J.M.，Glineur，F.：性能评估工具箱（PESTO）：一阶优化方法的自动最坏情况分析。2017年IEEE第56届决策与控制年会（CDC），维多利亚州墨尔本，2017年，第1278-1283页。（2017年）。doi:10.1109/CDC.2017.8263832·Zbl 1371.90108号
[38] Teboulle，M.，熵近端映射及其在非线性规划中的应用，数学。操作。研究，17，3，670-690（1992）·Zbl 0766.90071号 ·doi:10.1287/门17.3.670
[39] Teboulle，M.，优化一阶方法的简化视图，数学。程序。，170, 1, 67-96 (2018) ·Zbl 1391.90482号 ·doi:10.1007/s10107-018-1284-2
[40] 范登伯格，L。；Boyd，S.，《半定规划》，SIAM Rev.，38，1，45-49（1996）·Zbl 0845.65023号 ·数字对象标识代码：10.1137/1038003
[41] Walid，K。；巴彦，A。；Bartlett，PL，连续和离散时间内的加速镜像下降，Adv Neural Inf Process Syst，28，2845-2853（2015）
[42] Woodworth，B.，Srebro，N.：随机一阶凸优化的下限。arXiv预印arXiv:1709.03594（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。