×

非光滑黑盒函数无导数优化的信赖域方法。 (英语) Zbl 1427.90298号

摘要:在本文中,我们研究了一个非光滑黑盒型函数的极小化问题,不需要任何导数或广义导数,也不需要任何关于函数非光滑性的分析起源的知识。针对此类问题,已经推导出了定向方法,但据我们所知,还没有提出过像信任区域这样的基于模型的方法。因此,我们的主要贡献是推导了黑盒型函数的无导数信任域方法(TRM)。我们提出了一个信任区域模型,该模型是一个极大线性项与一个二次项的和,因此可以适当地捕捉函数的非光滑性,但同时不忽略函数在光滑子域中的曲率。我们的TRM具有与定向方法类似的全局收敛特性,前提是为最大线性项随机生成的向量在单位球面上渐近稠密。数值结果表明,对于一大类非光滑无约束优化问题,我们的方法既有效又稳健。我们的软件可根据要求提供。

MSC公司:

90 C56 无导数方法和使用广义导数的方法
90立方 非线性规划
90C26型 非凸规划,全局优化
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] M.A.Abramson、C.Audet、G.Couture、J.E.Dennis,Jr.、S.Le Digabel和C.部落,NOMAD项目。软件可在https://www.gerad.ca/mogram/。
[2] C.Audet和W.Hare,《无导数非光滑优化中基于模型的方法》,技术报告G-2018-34,Les Cahiers du GERAD,加拿大蒙特勒,2018年。
[3] C.Audet和J.E.Dennis,Jr.,用于约束优化的网格自适应直接搜索算法,SIAM J.Optim。,17(2006),第188-217页·Zbl 1112.90078号
[4] A.M.Bagirov、B.Karaso¨zen和M.Sezer,离散梯度法:非光滑优化的无导数方法,J.Optim。理论应用。,137(2008),第317-334页·Zbl 1165.90021号
[5] A.S.Bandeira、K.Scheinberg和L.N.Vicente,稀疏低阶插值多项式的计算及其在无导数优化中的应用,数学。程序。,134(2012),第223-257页·Zbl 1254.65072号
[6] A.S.Bandeira、K.Scheinberg和L.N.Vicente,基于概率模型的信任区域方法的收敛性,SIAM J.Optim。,24(2014),第1238-1264页·Zbl 1311.90186号
[7] E.W.Cheney和A.A.Goldstein,凸规划的牛顿方法和Tchebycheff近似,Numer。数学。,1(1959年),第253-268页·Zbl 0113.10703号
[8] F.H.Clarke,《优化与非光滑分析》,John Wiley&Sons,纽约,1983年。SIAM于1990年在费城重新发行·Zbl 0582.49001号
[9] A.R.Conn、N.I.M.Gould和P.L.Toint,《托管区域方法》,MOS-SIAM Ser。最佳。,SIAM,费城,2000年·Zbl 0958.65071号
[10] A.R.Conn、K.Scheinberg和L.N.Vicente,一般无导数信任区域算法到一阶和二阶临界点的全局收敛,SIAM J.Optim。,20(2009年),第387-415页·Zbl 1187.65062号
[11] A.R.Conn、K.Scheinberg和L.N.Vicente,无导数优化导论,MOS SIAM系列。最佳。,SIAM,费城,2009年·Zbl 1163.49001号
[12] F.E.Curtis、D.P.Robinson和M.Samadi,非凸优化的最坏情况迭代复杂度为\(o(epsilon^{3/2})\)的信赖域算法,数学。程序。,162(2017),第1-32页·Zbl 1360.49020号
[13] J.E.Dennis,Jr.和R.B.Schnabel,《无约束优化和非线性方程的数值方法》,普伦蒂斯·霍尔,恩格尔伍德克利夫斯,新泽西州。,1983年,由SIAM重新发行,费城,1996年·Zbl 0579.65058号
[14] G.Fasano、G.Liuzzi、S.Lucidi和F.Rinaldi,基于线性搜索的无导数非光滑约束优化方法,SIAM J.Optim。,24(2014),第959-992页·Zbl 1302.90207号
[15] A.Frangioni,广义束方法,SIAM J.Optim。,13(2002),第117-156页·Zbl 1041.90037号
[16] R.Garmanjani、D.Juídice和L.N.Vicente,《不使用导数的信任区域方法:最坏情况复杂性和非光滑情况》,SIAM J.Optim。,26(2016),第1987-2011页·Zbl 1348.90572号
[17] M.Gaudioso和M.F.Monaco,凸非光滑函数无约束极小化的束型方法,数学。程序。,23(1982),第216-226页·Zbl 0479.90066号
[18] G.N.Grapiglia、J.Yuan和Y.Yuan,复合非光滑优化的无导数信任区域算法,计算。申请。数学。,35(2016),第475-499页·Zbl 1371.49014号
[19] S.Gratton、C.W.Royer、L.N.Vicente和Z.Zhang,基于概率模型的信任区域方法的复杂性和全局速率,IMA J.Numer。分析。,38(2018),第1579-1597页·Zbl 1477.65093号
[20] J.H.Halton,《关于某些拟随机点序列在计算多维积分中的效率》,Numer。数学。,2(1960年),第84-90页·Zbl 0090.34505号
[21] W.Hare和J.Nutini,有限极大极小问题的无导数近似梯度采样算法,计算。最佳方案。申请。,56(2013),第1-38页·Zbl 1300.90064号
[22] N.Hoseini和S.Nobakhtian,非光滑非凸优化的新信赖域方法,优化,67(2018),第1265-1286页·Zbl 1402.90131号
[23] N.Karmitsa,《大尺度非光滑最小化的测试问题》,《数学信息技术系报告》,B辑,科学计算,编号B.4,杰瓦斯基拉大学数学信息技术学院,杰瓦斯基拉,芬兰,2007年。
[24] J.E.Kelley,Jr.,求解凸规划的切平面方法,SIAM J.Appl。数学。,8(1960年),第703-712页·兹伯利0098.12104
[25] K.A.Khan、J.Larson和S.M.Wild,非凸函数优化的流形采样,光滑分量的分段线性组合,SIAM J.Optim。,28(2018),第3001-3024页·Zbl 1407.90351号
[26] K.C.Kiwiel,凸不可微极小化的束方法中的邻近控制,数学。程序。,46(1990年),第105-122页·Zbl 0697.90060号
[27] K.C.Kiwiel,凸不可微优化的倾斜切割平面近端束方法,Oper。Res.Lett.公司。,10(1991年),第75-81页·兹比尔0717.90056
[28] K.C.Kiwiel,不可微优化的下降方法,Lect。数学笔记。柏林施普林格1133号,2006年·Zbl 0561.90059号
[29] K.C.Kiwiel,非光滑非凸优化梯度采样算法的非导数版本,SIAM J.Optim。,20(2010),第1983-1994页·Zbl 1205.90230号
[30] J.Larson、M.Menickelly和S.M.Wild,L1非凸优化的流形采样,SIAM J.Optim。,26(2016),第2540-2563页·Zbl 1351.90167号
[31] S.Le Digabel,算法909:NOMAD:用MADS算法进行非线性优化,ACM Trans。数学。《软件》,37(2011),第1-15页·兹比尔1365.65172
[32] C.Lemareíchal、A.Nemirovskii和Y.Nesterov,捆绑方法的新变体,数学。程序。,69(1995),第111-147页·Zbl 0857.90102号
[33] L.Lukšan和J.VlcṸek,非光滑无约束极小化的bundle-Newton方法,数学。程序。,83(1998),第373-391页·Zbl 0920.90132号
[34] L.Lukšan和J.VlcṸek,非光滑无约束和线性约束优化的测试问题,技术报告798,捷克共和国科学院计算机科学研究所,捷克共和国布拉格,2000年。
[35] M.Ma¨kela¨,非光滑优化的束方法综述,Optim。方法软件。,17(2002),第1-29页·Zbl 1050.90027号
[36] J.J.Moreí和S.M.Wild,《无衍生优化算法基准测试》,SIAM J.Optim。,20(2009年),第172-191页·Zbl 1187.90319号
[37] H.Schramm和J.Zowe,最小化非光滑函数的束思想的一个版本:概念思想,收敛分析,数值结果,SIAM J.Optim。,2(1992年),第121-152页·Zbl 0761.90090号
[38] L.N.Vicente和A.L.Custoídio,不连续函数直接搜索分析,数学。程序。,133(2012年),第299-325页·Zbl 1245.90127号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。