×

使用单纯形梯度生成集合搜索,用于有界约束的黑盒优化。 (英语) Zbl 1469.90136号

摘要:现代工程实践中出现的优化问题越来越基于模拟,其特征是极端类型的非光滑性、导数的不可访问性和高计算费用。虽然生成集搜索(GSS)通常具有令人满意的鲁棒性并收敛到平稳点,但收敛速度可能较慢。为了在不牺牲鲁棒性的前提下加快求解过程,我们引入了求解有界约束极小化问题的(单纯形)梯度信息生成集搜索(GIGS)方法。这些算法使用经过多次迭代获得的单纯形梯度作为指导,以使搜索模板适应目标函数的局部地形。GIGS被证明继承了GSS的一阶收敛性质,并且具有避免鞍点的自然倾向。对一组光滑、非光滑和有噪声的理论测试问题以及一个实际工程案例进行了数值实验。结果表明,与非自适应GSS方法相比,包含单纯形梯度信息可以节省计算成本。

MSC公司:

90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法

软件:

IMFIL公司
PDF格式BibTeX公司 XML格式引用
全文: DOI程序 链接

参考文献:

[1] Abramson,MA,模式搜索的二阶行为,SIAM J.Optim。,16, 2, 515-530 (2005) ·Zbl 1122.90096号 ·数字对象标识码:10.1137/04060367X
[2] 马萨诸塞州艾布拉姆森;Audet,C.,网格自适应直接搜索到二阶驻点的收敛性,SIAM J.Optim。,17, 2, 606-619 (2006) ·Zbl 1174.90877号 ·doi:10.1137/050638382
[3] 马萨诸塞州艾布拉姆森;勃列日涅瓦,OA;JE丹尼斯;Pingel,RL,退化线性约束下的模式搜索,Optim。方法软件。,23297-319(2008年)·Zbl 1162.90588号 ·doi:10.1080/10556780701521670
[4] 马萨诸塞州艾布拉姆森;弗里曼斯伦德,L。;Steihaug,T.,收敛到二阶平稳点的生成集搜索的一个子类,Optim。方法软件。,29, 5, 900-918 (2014) ·Zbl 1298.90101号 ·doi:10.1080/10556788.2013.808198
[5] Audet,C。;Pardalos,总理;Rassias,TM,黑盒优化的直接搜索方法及其应用调查,无边界数学,31-56(2014),纽约:斯普林格,纽约·Zbl 1321.90125号
[6] Audet,C。;Dennis,JE,《广义模式搜索分析》,SIAM J.Optim。,13, 3, 889-903 (2003) ·Zbl 1053.90118号 ·doi:10.1137/S1052623400378742
[7] Audet,C。;Dennis,JE,用于约束优化的网格自适应直接搜索算法,SIAM J.Optim。,17, 1, 188-217 (2006) ·Zbl 1112.90078号 ·数字对象标识代码:10.1137/040603371
[8] Audet,C。;Hare,W.,《无导数和黑盒优化》。运营研究和金融工程系列(2017),Cham:Springer,Cham·Zbl 1391.90001号 ·数字对象标识代码:10.1007/978-3-319-68913-5
[9] Audet,C。;Le Digabel,S。;Tribes,C.,黑箱优化网格中的动态缩放自适应直接搜索算法,Optim。工程师,17,2,333-358(2016)·Zbl 1364.90360号 ·doi:10.1007/s11081-015-9283-0
[10] 波茨,DM;康涅狄格州凯利;Borggaard,J。;伯恩斯,J。;克利夫,E。;Schreck,S.,单纯形梯度和噪声优化问题,优化设计和控制的计算方法,77-90(1998),波士顿:Birkhäuser,波士顿·Zbl 0927.65077号 ·doi:10.1007/978-1-4612-1780-05
[11] Brand,M.,薄奇异值分解的快速低阶修正,线性代数应用。,415, 1, 20-30 (2006) ·Zbl 1088.65037号 ·doi:10.1016/j.laa.2005.07.021
[12] 连接器,AR;Scheinberg,K。;Vicente,LN,无导数优化中样本集的几何:多项式回归和欠定插值,IMA J.Numer。分析。,28, 4, 721-748 (2008) ·Zbl 1157.65034号 ·doi:10.1093/imanum/drn046
[13] 连接器,AR;Scheinberg,K。;Vicente,LN,《无导数优化导论》(2009),费城:工业和应用数学学会,费城·Zbl 1163.49001号 ·数字对象标识代码:10.1137/1.9780898718768
[14] 阿联酋库斯托迪奥;JE丹尼斯;Vicente,LN,在直接搜索方法中使用非光滑函数的单纯形梯度,IMA J.Numer。分析。,28, 4, 770-784 (2008) ·Zbl 1156.65059号 ·doi:10.1093/imanum/drn045文件
[15] 阿联酋库斯托迪奥;罗查,H。;维森特,LN,将最小Frobenius范数模型纳入直接搜索,计算。最佳方案。申请。,46, 2, 265-278 (2010) ·Zbl 1190.90280号 ·doi:10.1007/s10589-009-9283-0
[16] 阿联酋库斯托迪奥;Vicente,LN,《在模式搜索方法中使用抽样和单纯形导数》,SIAM J.Optim。,18, 2, 537-555 (2007) ·Zbl 1144.65039号 ·数字对象标识代码:10.1137/050646706
[17] Eberhart,R.,Kennedy,J.:使用粒子群理论的新优化器。包含:MHS’95。第六届国际微机械与人类科学研讨会论文集,第39-43页。IEEE(1995)
[18] Fermi,E.,Metropolis,N.:最小问题的数值解。洛斯阿拉莫斯国家实验室技术报告(1952年)
[19] 弗里曼斯伦德,L。;Steihaug,T.,使用曲率信息的生成集搜索方法,计算。最佳方案。申请。,38, 1, 105-121 (2007) ·Zbl 1171.90552号 ·doi:10.1007/s10589-007-9038-8
[20] Gerstenhaber先生。;Koopmans,TC,凸多面体锥理论,生产和分配的活动分析,第18章,298-316(1951),纽约:威利·Zbl 0045.09708号
[21] 吉尔摩,P。;Kelley,CT,用于优化具有许多局部极小值的函数的隐式滤波算法,SIAM J.Optim。,5, 2, 269-285 (1995) ·Zbl 0828.65064号 ·数字对象标识代码:10.1137/0805015
[22] 格拉顿,S。;罗耶,CW;Vicente,LN,一种二阶全局收敛直接搜索方法及其最坏情况复杂性,Optimization,65,6,1105-1128(2016)·兹比尔1338.90463 ·doi:10.1080/02331934.2015.1124271
[23] 霍兰德,JH,《自然和人工系统的适应》(1975年),安娜堡:密歇根大学出版社,安娜布尔·Zbl 0317.68006号
[24] 胡克,R。;Jeeves,TA,《数值和统计问题的“直接搜索”解决方案》,J.ACM,8,2,212-229(1961)·Zbl 0111.12501号 ·数字对象标识代码:10.1145/321062.321069
[25] Kelley,CT,使用充分减少条件检测和补救Nelder-Mead算法中的停滞,SIAM J.Optim。,10, 1, 43-55 (1999) ·Zbl 0962.65048号 ·doi:10.1137/S1052623497315203
[26] Kelley,CT,隐式滤波(2011),费城:工业与应用数学学会,费城·Zbl 1246.68017号 ·doi:10.1137/1.9781611971903
[27] 科尔达,TG;Lewis,RM;Torczon,V.,《直接搜索优化:一些经典和现代方法的新视角》,SIAM Rev.,45,3,385-482(2003)·Zbl 1059.90146号 ·doi:10.1137/S003614450242889
[28] 科尔达,TG;Lewis,RM;Torczon,V.,线性约束优化生成集搜索的平稳性结果,SIAM J.Optim。,17, 4, 943-968 (2006) ·Zbl 1126.90076号 ·doi:10.1137/S1052623403433638
[29] Larson,J。;Menickelly,M。;Wild,SM,无导数优化方法,Acta Numer。,28, 287-404 (2019) ·Zbl 1461.65169号 ·doi:10.1017/S0962492919000060
[30] Lewis,RM;Shepherd,A。;Torczon,V.,实现线性约束最小化的生成集搜索方法,SIAM J.Sci。计算。,29, 6, 2507-2530 (2007) ·兹比尔1166.90368 ·doi:10.1137/050635432
[31] Lewis,RM;Torczon,V.,边界约束最小化的模式搜索算法,SIAM J.Optim。,9, 4, 1082-1099 (1999) ·Zbl 1031.90047号 ·网址:10.1137/S1052623496300507
[32] Lewis,RM;Torczon,V.,线性约束最小化的模式搜索方法,SIAM J.Optim。,917-941年10月3日(2000年)·Zbl 1031.90048号 ·doi:10.1137/S1052623497331373
[33] Lucidi,S。;西安德龙,M。;Tseng,P.,约束优化的无目标导数方法,数学。程序。,92, 1, 37-59 (2002) ·Zbl 1024.90062号 ·doi:10.1007/s101070100266
[34] 莫雷,JJ;Wild,SM,基准无导数优化算法,SIAM J.Optim。,172-191年1月20日(2009年)·Zbl 1187.90319号 ·doi:10.1137/080724083
[35] Nocedal,J。;Wright,SJ,《数值优化》(2006),纽约:Springer,纽约·兹比尔1104.65059
[36] Torczon,V.,关于多向搜索算法的收敛性,SIAM J.Optim。,1, 1, 123-145 (1991) ·Zbl 0752.90076号 ·数字对象标识代码:10.1137/0801010
[37] Torczon,V.,关于模式搜索算法的收敛性,SIAM J.Optim。,7, 1, 1-25 (1997) ·Zbl 0884.65053号 ·doi:10.1137/S1052623493250780
[38] Tseng,P.,强化分离单纯形搜索法:一般方法,SIAM J.Optim。,10, 1, 269-288 (1999) ·Zbl 1030.90122号 ·doi:10.1137/S1052623495282857
[39] 维森特,LN;Custódio,AL,不连续函数直接搜索分析,数学。程序。,133, 1-2, 299-325 (2012) ·Zbl 1245.90127号 ·doi:10.1007/s10107-010-0429-8
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。