×

不使用导数的信赖域方法:最坏情况复杂性和非光滑情况。 (英语) Zbl 1348.90572号

摘要:信任区域方法是一类广泛的连续优化方法,适用于各种问题和环境。特别是,它们被研究并应用于不使用导数的问题。对无信任区域导数方法的分析侧重于全局收敛,并且已经证明它们可以生成独立于起点收敛到平稳性的迭代序列。大多数这样的分析都是在光滑情况下进行的,而且,对这些方法的复杂性或全局速率知之甚少。本文首先分析了光滑函数的一般无信任区域导数方法的最坏情况复杂性。对于非光滑情况,我们提出了一种平滑方法,证明了该方法的全局收敛性并限制了最坏情况下的复杂度努力。对于由光滑和非光滑/凸分量组成的非光滑函数的特殊情况,我们展示了如何改进现有文献的结果并使其适用于一般方法。

MSC公司:

90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] A.S.Bandeira、K.Scheinberg和L.N.Vicente,稀疏低阶插值多项式的计算及其在无导数优化中的应用,数学。程序。,134(2012),第223-257页·兹比尔1254.65072
[2] J.V.Burke和T.Hoheisel,{凸复合函数应用的超收敛光滑},SIAM J.Optim。,23(2013),第1457-1479页·Zbl 1278.49018号
[3] C.Cartis,N.I.M.Gould和Ph.L.Toint,{关于最速下降的复杂性,非凸无约束优化问题的牛顿和正则化牛顿方法},SIAM J.Optim。,20(2010年),第2833-2852页·Zbl 1211.90225号
[4] C.Cartis,N.I.M.Gould和Ph.L.Toint,{关于复合函数极小化的评估复杂性及其在非凸非线性规划中的应用},SIAM J.Optim。,21(2011),第1721-1739页·Zbl 1236.90118号
[5] C.Cartis、N.I.M.Gould和Ph.L.Toint,《无约束优化的自适应三次高估方法》,第二部分:最坏情况下的函数评估复杂性},数学。程序。,130(2012年),第295-319页·兹比尔1229.90193
[6] C.Cartis,N.I.M.Gould,and Ph.L.Toint,{关于光滑非凸极小化的一阶和无导数算法的预言复杂性},SIAM J.Optim。,22(2012),第66-86页·Zbl 1250.90083号
[7] C.Chen和O.L.Mangasarian,{非线性和混合互补问题的一类光滑函数},计算。最佳方案。申请。,5(1996年),第97-138页·Zbl 0859.90112号
[8] X.Chen,{非光滑非凸极小化的平滑方法},数学。程序。,134(2012),第71-99页·Zbl 1266.90145号
[9] X.Chen和C.T.Kelley,{嵌入蒙特卡罗模拟的目标函数抽样方法},手稿。
[10] X.Chen和W.Zhou,{使用非光滑非凸最小化进行图像恢复的平滑非线性共轭梯度法},SIAM J.成像科学,3(2010),第765-790页·兹比尔1200.65031
[11] A.R.Conn、N.I.M.Gould和Ph.L.Toint,《信托区域方法》,MPS/SIAM Ser。最佳方案。1,SIAM,费城,2000年·Zbl 0958.65071号
[12] A.R.Conn、K.Scheinberg和Ph.L.Toint,《关于无约束优化无导数方法的收敛性》,载于《逼近理论与优化》,《向M.J.D.Powell、M.D.Buhmann和A.Iserles致敬》,剑桥大学出版社,1997年,第83-108页·Zbl 1042.90617号
[13] A.R.Conn、K.Scheinberg和L.N.Vicente,《无导数优化中插值集的几何》,数学。程序。,111(2008),第141-172页·Zbl 1163.90022号
[14] A.R.Conn、K.Scheinberg和L.N.Vicente,{一般无导数信赖域算法到一阶和二阶临界点的全局收敛},SIAM J.Optim。,20(2009年),第387-415页·兹比尔1187.65062
[15] A.R.Conn、K.Scheinberg和L.N.Vicente,《无导数优化导论》,MPS/SIAM Ser。最佳方案。2009年,费城SIAM·Zbl 1163.49001号
[16] A.L.Custoídio、H.Rocha和L.N.Vicente,{将最小Frobenius范数模型纳入直接搜索},计算。最佳方案。申请。,46(2010),第265-278页·Zbl 1190.90280号
[17] M.Dodangeh和L.N.Vicente,{凸性下直接搜索的最坏情况复杂性},数学。程序。,155(2016),第307-332页·Zbl 1338.90462号
[18] E.D.Dolan和J.J.More∏,{性能曲线基准优化软件},数学。程序。,91(2002),第201-213页·邮编:1049.90004
[19] E.D.Dolan、J.J.Moreí和T.S.Munson,{性能曲线的最优度量},SIAM J.Optim。,16(2006年),第891-909页·Zbl 1113.90146号
[20] G.Fasano,J.L.Morales和J.Nocedal,{关于无导数优化基于模型算法的几何阶段},Optim。方法软件。,24(2009),第145-154页·Zbl 1154.90589号
[21] R.Garmanjani和L.N.Vicente,{非光滑优化中直接搜索方法的平滑和最坏情况复杂性},IMA J.Numer。分析。,33(2013),第1008-1028页·Zbl 1272.65050号
[22] N.I.M.Gould,D.Orban和Ph.L.Toint,{it CUTEr(和SifDec),一个有约束和无约束的测试环境,再次访问},ACM Trans。数学。《软件》,29(2003),第373-394页·Zbl 1068.90526号
[23] G.N.Grapiglia,J.Yuan和Y.Yuan,{it复合非光滑优化的无导数信任区域算法},计算。申请。数学。,35(2016),第475-499页·Zbl 1371.49014号
[24] S.Gratton、A.Sartenaer和Ph.L.Toint。,{多尺度非线性优化的递归信赖域方法},SIAM J.Optim。,19(2008),第414-444页·Zbl 1163.90024号
[25] T.G.Kolda、R.M.Lewis和V.Torczon,《直接搜索优化:一些经典和现代方法的新视角》,SIAM Rev.,45(2003),第385-482页·兹比尔1059.90146
[26] J.J.Moreí和S.M.Wild,{基准测试无衍生优化算法},SIAM J.Optim。,20(2009年),第172-191页·Zbl 1187.90319号
[27] Y.Nesterov,{凸优化入门讲座},Kluwer Academic,Dordrecht,2004年·Zbl 1086.90045号
[28] Y.Nesterov,{凸函数的随机无梯度最小化},Found。计算。数学。,出现·Zbl 1380.90220号
[29] Y.Nesterov和B.T.Polyak,{牛顿方法的立方正则化及其全局性能},数学。程序。,108(2006),第177-205页·Zbl 1142.90500
[30] R.T.Rockafellar和R.J.-B.Wets,《变分分析》,施普林格出版社,柏林,1997年·Zbl 0888.49001号
[31] K.Scheinberg和Ph.L.Toint,{无导数无约束优化基于模型算法中的自校正几何},SIAM J.Optim。,20(2010年),第3512-3532页·Zbl 1209.65017号
[32] L.N.Vicente,{直接搜索的最坏情况复杂性},EURO J.Compute。Optim,1(2013),第143-153页·Zbl 1304.90198号
[33] Y.Yuan,{非光滑优化信赖域算法收敛的条件},Math。程序。,31(1985),第220-228页·Zbl 0576.90080号
[34] Y.Yuan,{\it信赖域算法的最新进展},数学。程序。,151(2015),第249-281页·Zbl 1317.65141号
[35] C.Zhang和X.Chen,{平滑投影梯度法及其在随机线性互补问题中的应用},SIAM J.Optim。,20(2009年),第627-649页·Zbl 1204.65073号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。