×

具有改进复杂度边界的非凸非线性无约束优化的一阶/二阶解耦技术。 (英语) Zbl 1437.90130号

摘要:为了证明收敛于二阶平稳点,应用于非凸问题的优化方法必须同时利用一阶和二阶信息。然而,正如最近对其中一些方法的复杂性分析所揭示的那样,与接近一阶点的方法相比,达到二阶点的总体努力要大得多。另一方面,还有其他算法方案,最初设计时考虑到了一阶收敛性,当修改为考虑二阶信息时,这些方案似乎无法保持相同的一阶性能。在本文中,我们提出了一种技术,它可以分别计算一阶和二阶步长,并全局收敛到二阶平稳点:它包括更好地连接要采取的步长和平稳性准则,从而可能保证更大的步长并减少目标。我们的方法表明,相对于一阶最优性容限,可以提高相应的复杂性界,同时对实际行为有积极影响。尽管我们的想法的适用范围更广,但我们将重点介绍有无衍生产品的信任区域方法,并在这两种情况下激发我们战略的兴趣。

MSC公司:

90C26型 非凸规划,全局优化
90 C56 无导数方法和使用广义导数的方法
65千5 数值数学规划方法

软件:

CUTEst公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Agarwal,N.,Allen-Zhu,Z.,Bullins,B.,Hazan,E.,Ma,T.:寻找近似局部极小值比梯度下降更快。arXiv:1611.01146v4(2017)·Zbl 1369.68290号
[2] 阿韦利诺,Cp;Moguerza,Jm;奥利瓦雷斯,A。;Prieto,Fj,组合和缩放下降和负曲率方向,数学。程序。,128, 285-319 (2011) ·Zbl 1227.49038号 ·doi:10.1007/s10107-009-0305-6
[3] 伯金,Eg;Martínez,Jm,无约束优化中带三次下降条件的二次正则化的使用,SIAM J.Optim。,27, 1049-1074 (2017) ·Zbl 1370.90260号 ·doi:10.1137/16M110280X
[4] Carmon,Y.,Duchi,J.C.,Hinder,O.,Sidford,A.:非凸优化的加速方法。arXiv:1611.00756v2(2017)·Zbl 1400.90250号
[5] Cartis,C。;尼姆·古尔德;无约束优化的Toint、Phl、自适应立方正则化方法。第二部分:最坏情况函数和衍生估值复杂性。,数学。程序。,130, 295-319 (2011) ·Zbl 1229.90193号 ·doi:10.1007/s10107-009-0337-y
[6] Cartis,C。;古尔德,尼姆;Toint,Phl,无约束优化中二阶最优性的复杂性边界,J.Complex。,1993年3月28日至108日(2012年)·Zbl 1245.65063号 ·doi:10.1016/j.jco.2011.06.001
[7] Cartis,Coralia;Nick I.M.Gould。;Toint,Philippe L.,《二阶最优性及其以外:凸约束非线性优化中的表征和评估复杂性》,计算数学基础,18,5,1073-1107(2017)·Zbl 1405.90125号 ·doi:10.1007/s10208-017-9363-y
[8] 连接,Ar;尼姆·古尔德;厕所、Phl、信任区域方法。MPS-SIAM优化系列(2000),费城:SIAM,费城·Zbl 0958.65071号
[9] 连接,Ar;Scheinberg,K。;Vicente,Ln,无导数优化中样本集的几何:多项式回归和欠定插值,IMA J.Numer。分析。,28, 721-748 (2008) ·Zbl 1157.65034号 ·doi:10.1093/imanum/drn046
[10] 连接,Ar;Scheinberg,K。;Vicente,Ln,《无导数优化导论》。MPS-SIAM优化系列(2009),费城:SIAM,费城·Zbl 1163.49001号
[11] Curtis,铁;罗宾逊博士;Samadi,M.,非凸优化的最坏情况迭代复杂度为({\cal{O}}(\epsilon^{-3/2})的信赖域算法,数学。程序。,162, 1-32 (2017) ·Zbl 1360.49020号 ·doi:10.1007/s10107-016-1026-2
[12] Ed Dolan;Moré,Jj,带性能配置文件的基准优化软件,数学。程序。,91, 201-213 (2002) ·邮编:1049.90004 ·doi:10.1007/s101070100263
[13] Fan,J.,Yuan,Y.:一种新的信赖域算法,信赖域半径收敛到零。摘自:第五届国际优化会议论文集:技术与应用,香港(2001)
[14] Garmanjani,R。;Jüdice,D。;Vicente,Ln,《不使用导数的信任区域方法:最坏情况复杂性和非光滑情况》,SIAM J.Optim。,26, 1987-2011 (2016) ·Zbl 1348.90572号 ·数字对象标识代码:10.1137/151005683
[15] 尼姆·古尔德;Lucidi,S。;罗姆,M。;Toint,Phl,在无约束优化的线搜索方法中利用负曲率方向,Optim。方法软件。,14, 75-98 (2000) ·兹比尔0988.90039 ·doi:10.1080/155678008805794
[16] 尼姆·古尔德;欧尔班博士。;Toint,Phl,CUTEst:一个具有安全线程的约束和非约束测试环境,Comput。最佳方案。申请。,60, 545-557 (2015) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[17] 格拉维利亚语,Gn;袁杰。;Yuan,Y-X,非线性步长控制算法:一阶和二阶最优性的复杂性界限,J.Optim。理论应用。,171, 980-997 (2016) ·Zbl 1354.90138号 ·数字对象标识代码:10.1007/s10957-016-1007-x
[18] 格拉顿,S。;罗耶,Cw;Vicente,Ln,一种二阶全局收敛直接搜索方法及其最坏情况复杂性,Optimization,651105-1128(2016)·Zbl 1338.90463号 ·doi:10.1080/02331934.2015.1124271
[19] Jüdice,D.:不使用导数的信任区域方法:最坏情况下的复杂性和非光滑情况。科英布拉大学数学系博士论文(2015)
[20] 马丁内斯,Jm;Raydan,M.,无约束最小化的可变形式信任区域方法的立方规则化对应物,J.Glob。最佳。,68, 367-385 (2017) ·Zbl 1379.90029号 ·doi:10.1007/s10898-016-0475-8
[21] Jj Moré;Sorensen,Dc,《关于修正牛顿法中负曲率方向的使用》,《数学》。程序。,16, 1-20 (1979) ·Zbl 0394.9003号 ·doi:10.1007/BF01582091
[22] Jj Moré;Wild,Sm,基准测试无衍生优化算法,SIAM J.Optim。,20, 172-191 (2009) ·兹比尔1187.90319 ·doi:10.1137/080724083
[23] 奥利瓦雷斯,A。;Moguerza,Jm;Prieto,Fj,《在改进的线性搜索中使用负曲率的非凸优化》,《欧洲期刊》,Oper。Res.,189,706-722(2008)·Zbl 1146.90054号 ·doi:10.1016/j.ejor.2006.09.097
[24] 佐治亚州舒尔茨;施纳贝尔,Rb;Byrd,Rh,一系列基于信任区域的算法,用于具有强全局收敛特性的无约束最小化,SIAM J.Numer。分析。,22, 47-67 (1985) ·Zbl 0574.65061号 ·doi:10.1137/0722003年
[25] Sorensen,Dc,带模型信赖域修正的牛顿方法,SIAM J.Numer。分析。,19, 409-426 (1983) ·Zbl 0483.65039号 ·doi:10.1137/0719026
[26] Yuan,Y-X,信任域算法的最新进展,数学。程序。,151, 249-281 (2015) ·兹比尔1317.65141 ·doi:10.1007/s10107-015-0893-2
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。