江波；林天一；张树忠 一种用于加速复合凸优化的统一自适应张量近似方案。 （英语） Zbl 1453.90121号 SIAM J.Optim公司。 30，第4期，2897-2926（2020）. 摘要：在本文中，我们提出了一个统一的两阶段方案，以加速复合凸优化模型光滑部分上的任何高阶正则张量近似方法。该方案的优点是不需要假定梯度、Hessian和/或高阶导数的Lipschitz常数的任何先验知识。这是通过调整算法中使用的参数来实现的自适应地在其发展过程中，它已成功地纳入高阶非凸优化[C.购物车等，发现。计算。数学。18，第5期，1073–1107（2018；Zbl 1405.90125号);E.G.伯金等，数学。程序。163，第1-2（A）号，359-368（2017年；Zbl 1365.90236号)]. 通过采用[Birgin等人，loc.cit.]中对子问题的类似近似度量非凸优化，我们为三种特定算法建立了整体迭代复杂性界，以获得复合凸问题的（epsilon）-最优解。一般来说，如果在近似中使用一阶导数信息，我们证明了自适应高阶方法的迭代界为（O左（1/ε{1/（p+1）}右），其迭代复杂度与[M.Baes先生《估计序列方法：扩展和近似》，苏黎世联邦理工学院运筹研究所（2009）；Y.内斯特罗夫，“无约束凸优化中的可实现张量方法”，数学。程序。，2019年11月21日在线发布，https://doi.org/10.1007/s10107-019-01449-1]，其中假设Lipschitz常数已知，假设子问题精确求解。因此，我们的结果部分解决了将自适应策略纳入高阶的问题加速Nesterov在[loc.cit.]中提出的方法，尽管我们的策略不能保证辅助问题的凸性，而且这种自适应策略已经在高阶非凸优化中流行[Cartis等人，loc.cit.；Birgin等人，loc.cit.]。具体地说，我们证明了梯度方法的迭代复杂度为\（O\左（1/\epsilon^{1/2}\右）），这是已知的最佳可能（参见[Y.内斯特罗夫，关于凸优化的讲座。第二版。查姆：斯普林格（2018；Zbl 1427.90003号)]而具有精确/不精确Hessian矩阵的自适应三次正则化方法的迭代复杂度为（O左（1/ε{1/3}右）），这与[于。内斯特罗夫，数学。程序。112，第1（B）号，159-181（2008年；Zbl 1167.90013号)]. 我们的数值实验结果清楚地表明了带三次正则化的自适应牛顿方法中显示的加速度对一组正则化logistic回归实例的影响。 引用于6文件 MSC公司： 90C25型 凸面编程 90 C59 数学规划中的近似方法和启发式 90C60型 数学规划问题的抽象计算复杂性 关键词：凸优化；张量法；加快；自适应方法；迭代复杂性 引文：Zbl 1405.90125号；Zbl 1365.90236号；Zbl 1427.90003号；兹比尔1167.90013 软件：阿达格拉德；亚当；RMS公司 PDF格式BibTeX公司 XML格式引用 \textit{B.Jiang}等人，SIAM J.Optim。30，第4号，2897--2926（2020；Zbl 1453.90121） 全文： 内政部 arXiv公司 参考文献： [1] A.A.Ahmadi、A.Olshevsky、P.A.Parrilo和J.N.Tsitsiklis，决定四次多项式凸性的NP-hardeness及其相关问题，数学。程序。，137（2013），第453-476页·Zbl 1274.90516号 [2] Y.Arjevani、O.Shamir和R.Shiff，平滑凸优化二阶方法的Oracle复杂性，数学。程序。，178（2019），第327-360页·Zbl 1430.90460号 [3] M.Baes，估计序列方法：扩展和近似，瑞士苏黎世ETH运筹研究所，2009年。 [4] A.Beck和M.Teboulle，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009），第183-202页，https://doi.org/10.1137/080716542。 ·兹比尔1175.94009 [5] A.S.Berahas、R.Bollapragada和J.Nocedal，《Newton-Sketch和子样本牛顿方法的研究》，Optim。方法软件，35（2020），第661-680页·Zbl 1454.90112号 [6] R.Bollapragada、R.H.Byrd和J.Nocedal，优化的精确和不精确子采样牛顿方法，IMA J.Numer。分析。，39（2019），第545-578页·兹比尔1462.65077 [7] E.G.Birgin、J.L.Gardenghi、J.M.Martiínez、S.A.Santos和Ph.L.Toint，《使用非标度KKT条件和高阶模型评估非线性约束优化的复杂性》，SIAM J.Optim。，26（2016），第951-967页，https://doi.org/10.1137/15M1031631。 ·兹比尔1335.90094 [8] E.G.Birgin、J.L.Gardenghi、J.M.Martiánez、S.A.Santos和Ph.L.Toint，使用高阶正则化模型的无约束非线性优化的最坏情况评估复杂性，数学。程序。，163（2017年），第359-368页·Zbl 1365.90236号 [9] B.Bullins和R.Peng，快速非光滑优化的高阶加速方法，预印本，https://arxiv.org/abs/1906.01621, 2019. [10] S.Bubeck，Q.Jiang，Y.T.Lee，Y.Li和A.Sidford，高度光滑凸优化的近优方法，预印本，https://arxiv.org/abs/1812.08026, 2018. [11] R.H.Byrd、J.Nocedal和F.Oztoprak，（l_1）正则化优化的不精确连续二次近似方法，数学。程序。，157（2016），第375-396页·Zbl 1342.49037号 [12] L.Calatroni和A.Chambolle，平滑复合目标加速下降方法的回溯策略，预印本，https://arxiv.org/abs/1709.09004, 2017. ·兹比尔1427.90215 [13] Y.Carmon和J.Duchi，梯度下降有效地发现立方正则非凸牛顿步，预印本，https://arxiv.org/abs/1612.00547v2, 2016. ·Zbl 1461.65135号 [14] C.Cartis、N.I.M.Gould和P.L.Toint，无约束优化的自适应三次正则化方法，第一部分：动机、收敛性和数值结果，数学。程序。，127（2011），第245-295页·Zbl 1229.90192号 [15] C.Cartis、N.I.M.Gould和P.L.Toint，无约束优化的自适应三次正则化方法，第二部分：最坏情况函数和导数估值复杂性，数学。程序。，130（2011年），第295-319页·兹比尔1229.90193 [16] C.Cartis、N.I.M.Gould和P.L.Toint，凸无约束优化自适应立方正则化方法的复杂性评估，Optim。方法软件，27（2012），第197-219页·Zbl 1252.90061号 [17] C.Cartis、N.I.M.Gould和P.L.Toint，关于光滑非凸最小化的一阶和无导数算法的预言复杂性，SIAM J.Optim。，22（2012），第66-86页，https://doi.org/10.1137/100812276。 ·Zbl 1250.90083号 [18] C.Cartis、N.I.M.Gould和Ph.L.Toint，使用高阶正则化模型改进无约束非线性优化的二阶评估复杂性，预印本，https://arxiv.org/abs/1708.04044, 2017. ·Zbl 1439.90056号 [19] C.Cartis、N.I.M.Gould和Ph.L.Toint，二阶最优性及其以外：凸约束非线性优化中的表征和评估复杂性，Found。计算。数学。，18（2018），第1073-1107页·Zbl 1405.90125号 [20] C.Cartis、N.I.M.Gould和Ph.L.Toint，《通用正则化方法：改变功率、平滑度和精度》，SIAM J.Optim。，29（2019），第595-615页，https://doi.org/10.1137/16M1106316。 ·Zbl 1436.90136号 [21] X.Chen，Ph.L.Toint，and H.Wang，具有非Lipschitz奇异性的部分可分凸约束优化的复杂性，SIAM J.Optim。，29（2019），第874-903页，https://doi.org/10.1137/18M1166511。 ·Zbl 1411.90318号 [22] X.Chen和Ph.L.Toint，带非Lipschitzian群稀疏项的凸约束优化的高阶评估复杂性，数学。程序。，出现；2020年1月28日在线发布，https://doi.org/10.1007/s10107-020-01470-9。 ·Zbl 1465.90095 [23] J.Duchi、E.Hazan和Y.Singer，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。Res.，12（2011），第2121-2159页·Zbl 1280.68164号 [24] A.Gasnikov、P.Dvurechensky、E.Gorbunov、E.Vorontsova、D.Selikhanovych、C.A.Uribe、B.Jiang、H.Wang、S.Zhang、S.Bubeck、Q.Jiang，Y.T.Lee、Y.Li和A.Sidford，用Lipschitz P-th导数最小化凸函数的近优方法，第三十二届学习理论会议论文集，亚利桑那州凤凰城，Proc。机器。学习。2019年第99号决议，第1392-1393页。 [25] S.Ghadimi、G.Lan和H.Zhang，非凸随机组合优化的Minibatch随机逼近方法，数学。程序。，155（2016），第267-305页·Zbl 1332.90196号 [26] S.Ghadimi和G.Lan非凸非线性随机规划的加速梯度法，数学。程序。，156（2016），第59-99页·Zbl 1335.62121号 [27] S.Ghadimi，H.Liu，T.Zhang，非精确信息下三次正则化的二阶方法，预印本，https://arxiv.org/abs/11710.05782, 2017. [28] H.Ghanbari和K.Scheinberg，具有线性和加速次线性收敛速度的正则凸优化的近似拟Newton方法，计算。最佳方案。申请。，68（2018），第597-627页·Zbl 1397.90301号 [29] G.N.Grapiglia和Y.Nesterov，最小化复合凸函数的加速正则化牛顿方法，SIAM J.Optim。，29（2019），第77-99页，https://doi.org/10.1137/17M1142077。 ·Zbl 1406.49030号 [30] G.N.Grapiglia和Y.Nesterov，Holder连续高阶导数函数最小化的张量方法，预印本，https://arxiv.org/abs/1904.12559, 2019. ·Zbl 1406.49030号 [31] G.N.Grapiglia和Y.Nesterov，求凸函数近似驻点的张量方法，预印本，https://arxiv.org/abs/1907.07053, 2019. ·Zbl 1406.49030号 [32] 江斌，李振中，张三生，关于非负四次型锥的研究，已发现。计算。数学。，17（2017），第161-197页·Zbl 1367.15043号 [33] B.Jiang、T.Lin和S.Zhang，加速凸优化自适应三次正则化和梯度方法的统一方案，预印本，https://arxiv.org/abs/1710.04788, 2017. [34] B.Jiang、T.Lin、S.Ma和S.Zhang，结构化非凸和非光滑优化：算法和迭代复杂性分析，计算。最佳方案。申请。，72（2019年），第115-157页·Zbl 1411.90274号 [35] B.Jiang，H.Wang，and S.Zhang，凸优化的最优高阶张量方法，数学。操作。Res.，以显示·Zbl 1484.90078号 [36] A.Karparthy，《机器学习趋势的巅峰》，媒体，2017年4月7日发布，网址：https://medium.com/@karpathy/a-peek-at-trends-in-machine-learning-ab8a1085a106。 [37] D.Kingma和J.Ba，Adam：随机优化方法，预印本，https://arxiv.org/abs/11412.6980, 2014. [38] J.D.Lee、Y.Sun和M.A.Saunders，最小化复合函数的近似牛顿型方法，SIAM J.Optim。，24（2014），第1420-1443页，https://doi.org/10.1137/10921428。 ·Zbl 1306.65213号 [39] Q.Lin和L.Xiao，用于稀疏优化的自适应加速近端梯度法及其同伦延拓，计算。最佳方案。申请。，60（2014年），第633-674页·Zbl 1341.90102号 [40] D.G.Luenberger和Y.Ye，《线性和非线性规划》，第4版，国际。序列号。操作。资源管理科学。228，施普林格，查姆，2016年·Zbl 1319.90001号 [41] J.M.Martiönez，《关于约束优化的高阶模型正则化》，SIAM J.Optim。，27（2017），第2447-2458页，https://doi.org/10.1137/17M1115472。 ·Zbl 1387.90200号 [42] R.D.C.Monteiro、C.Ortiz和B.F.Svaiter，凸优化的自适应加速一阶方法，计算。最佳方案。申请。，64（2016），第31-73页·Zbl 1344.90049号 [43] R.D.C.Monteiro和B.F.Svaiter，凸优化的加速混合近端外梯度方法及其对二阶方法的影响，SIAM J.Optim。，23（2013），第1092-1125页，https://doi.org/10.1137/10833786。 ·Zbl 1298.90071号 [44] Y.Nesterov，收敛速度为（O（1/k^2）的无约束凸极小化问题的一种方法，Dokl。阿卡德。Nauk SSSR，269（1983），第543-547页（俄语）。 [45] Y.Nesterov和B.T.Polyak，牛顿方法的立方正则化及其全局性能，数学。程序。，108（2006），第177-205页·Zbl 1142.90500 [46] Y.Nesterov，加速牛顿法在凸问题上的三次正则化，数学。程序。，112（2008），第159-181页·Zbl 1167.90013号 [47] Y.Nesterov，最小化复合函数的梯度方法，数学。程序。，140（2013），第125-161页·Zbl 1287.90067号 [48] Y.Nesterov，《凸优化讲座》，第2版，Springer Optim。申请。137，施普林格，查姆，2018年·Zbl 1427.90003号 [49] Y.Nesterov，无约束凸优化中的可实现张量方法，数学。程序。，出现；2019年11月21日在线发布，https://doi.org/10.1007/s10107-019-01449-1。 ·Zbl 1459.90157号 [50] J.Nocedal和S.J.Wright，《数值优化》，施普林格出版社，2006年·Zbl 1104.65059号 [51] K.Scheinberg、D.Goldfarb和X.Bai，带回溯的复合凸优化的快速一阶方法，Found。计算。数学。，14（2014），第389-417页·Zbl 1304.90161号 [52] K.Scheinberg和X.Tang，具有全局复杂性分析的实用不精确近似拟Newton方法，数学。程序。，160（2016），第495-529页·Zbl 1366.90166号 [53] T.Tieleman和G.Hinton，讲座（6.5）-RMSProp:用梯度最近大小的运行平均值除以梯度，课程：机器学习的神经网络，4（2012），第26-31页。 [54] A.Wilson、L.Mackey和A.Wibisono，《加速重定标梯度下降：平滑函数的快速优化》，预打印，https://arxiv.org/abs/1902.08825, 2019. 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。