×

具有自适应重启的随机优化:集成局部和全局学习的框架。 (英语) Zbl 1465.90077号

摘要:全局优化的一种常见方法是将局部优化方法与随机重启相结合。重启已被用作提高性能的方法。它们可以通过利用潜在的好解决方案来避免“进展缓慢”,而重启可以潜在地发现多个本地解决方案,从而提高返回解决方案的整体质量。多部分方法是一种整合局部和全局方法的方法;全局搜索本身可用于重新启动本地搜索。贝叶斯优化方法旨在找到函数的全局最优值,这些函数只能通过可能昂贵的预言机进行逐点评估。我们提出了自适应重启随机优化(SOAR)框架,该框架利用高斯过程模型的预测能力作为一种手段,自适应重启局部搜索,并根据当前信息智能选择重启位置。这种方法试图平衡利用和探索解决方案空间。我们研究了SOAR向全局最优的渐近收敛性,并通过使用信赖域方法作为局部搜索组件的特定实现,实证评估了SOAR性能。数值实验表明,与一组具有不同问题维数且函数计算预算有限的测试问题相比,该算法的性能优于现有方法。

MSC公司:

90C26型 非凸规划,全局优化
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 安肯曼,B。;BL纳尔逊;Staum,J.,仿真元建模的随机克里金,Oper。研究,58,2,371-382(2010)·兹比尔1342.62134 ·doi:10.1287/opre.1090.0754
[2] Atkinson,A.,模拟退火的分段算法,统计计算。,31635-672(1992年)
[3] Betró,B。;Schoen,F.,全局优化中多段算法的顺序停止规则,数学。掠夺。,38, 3, 271-286 (1987) ·Zbl 0635.90075号 ·doi:10.1007/BF0529015
[4] Betró,B。;Schoen,F.,全局优化的随机技术,计算。数学。申请。,21, 6-7, 127-133 (1991) ·Zbl 0729.90075号 ·doi:10.1016/0898-1221(91)90167-3
[5] Betró,B。;Schoen,F.,全局优化中多段算法的最优和次优停止规则,数学。掠夺。,57, 1-3, 445-458 (1992) ·Zbl 0785.90086号 ·doi:10.1007/BF01581094
[6] 马萨诸塞州布勒;北卡罗来纳州巴托利。;瑞吉斯,RG;奥茨曼,A。;Morlier,J.,《利用克里格模型结合偏最小二乘法对高维约束问题进行高效全局优化》,工程优化。,50, 12, 2038-2053 (2018) ·Zbl 1523.90279号 ·doi:10.1080/0305215X.2017.1419344
[7] Bouhmala,N.,将模拟退火与局部搜索启发式结合用于max-sat,J.Heur。,25, 1, 47-69 (2019) ·doi:10.1007/s10732-018-9386-9
[8] Calvin,J。;Ju ilinskas,A.,关于光滑函数一维全局优化的p-算法的收敛性,J.Optim。理论应用。,102, 3, 479-495 (1999) ·Zbl 0985.90075号 ·doi:10.1023/A:1022677121193
[9] Chang,KH;LJ Hong;Wan,H.,随机信任区域响应面方法(STRONG):一种新的模拟优化响应面框架,INFORMS J.Compute。,25, 2, 230-243 (2013) ·doi:10.1287/ijoc.1120.0498
[10] Chen,CH,随机模拟优化:最优计算预算分配(2010),新加坡:世界科学,新加坡·数字对象标识代码:10.1142/7437
[11] 连接器,AR;古尔德,NI;Toint,PL,Trust Region Methods(2000),费城:SIAM,费城·兹比尔0958.65071 ·数字对象标识代码:10.1137/1.9780898719857
[12] 埃夫隆,B。;Tibshirani,R.,《交叉验证的改进:632+引导法》,美国统计协会,92,438,548-560(1997)·Zbl 0887.62044号
[13] Fu,MC,《模拟优化手册》(2015),柏林:施普林格,柏林·Zbl 1303.90004号
[14] Glidewell,M.,Ng,K.,Hensel,E.:作为阻抗层析成像预处理器的组合优化方法。摘自:IEEE/医学和生物学会工程年会论文集(1991年)
[15] Hart,WE,应用于多段局部搜索的随机优化方法的顺序停止规则,SIAM J.Optim。,9, 1, 270-290 (1998) ·Zbl 0959.65075号 ·doi:10.1137/S10526223494277317
[16] Hu,X.,Shonkwiler,R.,Spruill,M.:全局优化中的随机重启。乔治亚理工学院技术代表(1994年)
[17] Jones博士;Schonlau,M。;Welch,WJ,《昂贵黑盒函数的高效全局优化》,J.global Optim。,13, 4, 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[18] Krityakierne,T。;Shoemaker,CA,SOMS:用于全局优化的非线性规划的代理多部分算法,国际事务。操作。第24号、第5号、第1139-1172号决议(2017年)·Zbl 1371.90110号 ·doi:10.1111/itor.12190
[19] IE拉加里斯;Tsoulos,IG,箱约束随机全局优化的停止规则,应用。数学。计算。,197, 2, 622-632 (2008) ·Zbl 1135.65330号
[20] Li,H.,Lim,A.:关于时间窗的取送问题的元学者。摘自:第13届IEEE人工智能工具国际会议论文集,第160-167页(2001)
[21] Locatelli,M.,《一维全局优化的贝叶斯算法》,J.global Optim。,10, 1, 57-76 (1997) ·Zbl 0871.90087号 ·doi:10.1023/A:1008294716304
[22] Locatelli,M.,关于Griewank测试函数的注释,J.Global Optim。,25, 2, 169-174 (2003) ·Zbl 1030.90118号 ·doi:10.1023/A:1021956306041
[23] Locatelli,M。;Schoen,F.,《基于局部搜索的全局优化》,Ann.Oper。Res.,240,1,251-270(2016)·Zbl 1342.90149号 ·doi:10.1007/s10479-015-2014-2
[24] 卢比,M。;辛克莱,A。;Zuckerman,D.,拉斯维加斯算法的最佳加速,Inf.Process。莱特。,47, 4, 173-180 (1993) ·Zbl 0797.68139号 ·doi:10.1016/0020-0190(93)90029-9
[25] 马萨诸塞州卢森;Le Riche,R.,工程优化的全球化nelder mead方法,计算机。结构。,82, 23, 2251-2260 (2004) ·doi:10.1016/j.compstruc.2004.03.072
[26] Mahinthakumar,G。;Sayeed,M.,用于解决地下水源识别逆问题的混合遗传算法-局部搜索方法,J.Water Resour。计划。管理。,131, 1, 45-57 (2005) ·doi:10.1061/(ASCE)0733-9496(2005)131:1(45)
[27] Martí,R.,Lozano,J.A.,Mendiburu,A.,Hernando,L.:多阶段方法。启发式手册第1-21页(2016年)
[28] OC马丁;Otto,SW,《将模拟退火与局部搜索启发式相结合》,Ann.Oper。决议,63,1,57-75(1996)·Zbl 0851.90097号 ·doi:10.1007/BF02601639
[29] Mathesen,L.,Pedrielli,G.,Ng,S.H.:基于信任域的自适应重启随机优化:一系列全局优化算法。2017年冬季模拟会议(WSC),第2104-2115页(2017)。doi:10.1109/WSC.2017.8247943
[30] 穆勒,J。;Day,M.,具有隐藏约束的计算代价高昂的黑盒问题的代理优化,INFORMS J.Compute。,31689-702(2019年)·Zbl 1528.90199号 ·doi:10.1287/ijoc.2018.0864
[31] Murphy,M.,Baker,E.:GLO:全局局部优化器。LLNL非保密代码960007(1995)
[32] Neumann,F。;Witt,C.,简单蚁群优化算法的运行时分析,Algorithmica,54,2,243(2009)·Zbl 1190.68049号 ·doi:10.1007/s00453-007-9134-2
[33] Nocedal,J.、Wright,S.J.:信任区域方法。数值优化,第66-100页(2006)
[34] 奥多诺休,B。;Candès,E.,《加速梯度方案的自适应重启》,Found。计算。数学。,15, 3, 715-732 (2015) ·Zbl 1320.90061号 ·doi:10.1007/s10208-013-9150-3
[35] 大崎,M。;Yamakawa,M.,结构优化多部分局部搜索的停止规则,结构。多磁盘。优化。,57, 2, 595-603 (2018) ·doi:10.1007/s00158-017-1779-0
[36] 冈本,M。;Nonaka,T。;Ochiai,S。;Tominaga,D.,《使用混合遗传算法结合改进鲍威尔方法的非线性数值优化》,应用。数学。计算。,91, 1, 63-72 (1998) ·Zbl 0939.76076号 ·doi:10.1016/S0377-0427(98)00022-3
[37] Pardalos,PM;Romeijn,HE,《全球优化手册》(2013),柏林:施普林格,柏林
[38] 佩里,D。;Tinti,F.,带代理模型的基于多段梯度的全局优化算法,Commun。申请。Ind.数学。,3, 1, 393 (2012) ·Zbl 1329.90110号
[39] Ranjan,P。;海恩斯,R。;Karsten,R.,确定性计算机模拟数据高斯过程插值的计算稳定方法,《技术计量学》,53,4,366-378(2011)·doi:10.198/技术.2011.09141
[40] 瑞吉斯,RG;苏梅克,CA,全局优化径向基函数方法的改进策略,J.global Optim。,37, 1, 113-135 (2007) ·兹比尔1149.90120 ·doi:10.1007/s10898-006-9040-1
[41] 瑞吉斯,RG;Shoemaker,CA,昂贵函数全局优化的并行径向基函数方法,欧洲期刊Oper。研究,182,2,514-535(2007)·兹比尔1178.90279 ·doi:10.1016/j.ejor.2006.08.040
[42] 瑞吉斯,RG;苏梅克,CA,使用径向基函数的并行随机全局优化,INFORMS J.Compute。,21, 3, 411-426 (2009) ·Zbl 1243.90160号 ·doi:10.1287/ijoc.1090.0325
[43] 瑞吉斯,RG;Shoemaker,CA,使用响应面模型对昂贵函数进行全局优化的准多重启动框架,J.global Optim。,56, 4, 1719-1753 (2013) ·Zbl 1275.90068号 ·doi:10.1007/s10898-012-9940-1
[44] 桑特纳,TJ;威廉姆斯,BJ;威斯康星州诺茨,《计算机实验的设计与分析》(2013),柏林:施普林格出版社,柏林·Zbl 1405.62110号
[45] Schoen,F.,《全局优化的随机技术:最新进展概览》,J.global Optim。,1, 3, 207-228 (1991) ·Zbl 0752.90071号 ·doi:10.1007/BF00119932
[46] Schoen,F.:全局优化的两阶段方法。收录:《全局优化手册》。斯普林格,第151-177页(2002)·Zbl 1029.90059号
[47] 肖恩,F。;帕尔达洛斯,P。;Romeijn,H.,全球优化的两阶段方法,全球优化手册,151-177(2015),Dordrecht:Kluwer Academic Publishers,Dordecht·Zbl 1029.90059号
[48] Shang,Y.,Wan,Y.、Fromherz,M.P.、Crawford,L.S.:面向连续约束问题的全局和局部解算器之间的自适应合作。收录:CP’01约束编程中合作求解器研讨会论文集(2001)
[49] Spall,JC,《随机搜索和优化简介:估计、模拟和控制》(2005),纽约:威利出版社,纽约·邮编1088.90002
[50] Spall,J.C.:随机优化。收录:《计算统计手册》。施普林格,第173-201页(2012年)
[51] Theodosopoulos,T.:关于全局优化中随机化的最佳水平的一些评论。(2004)arXiv预打印arXiv:math/0406095·Zbl 0913.90246号
[52] 托里,AJ;洛佩兹,右侧;马萨诸塞州Luersen,《同时调整尺寸和几何桁架优化的本地重新启动耦合策略》,拉丁美洲固体结构杂志。,8, 3, 335-349 (2011) ·doi:10.1590/S1679-78252011000300008
[53] 范·哈梅伦,F。;Lifschitz,V。;波特,B.,《知识表示手册》(2008),伦敦:爱思唯尔出版社,伦敦·Zbl 1183.68611号
[54] Vehtari,A。;盖尔曼,A。;Gabry,J.,《使用遗漏交叉验证和waic进行实用贝叶斯模型评估》,统计计算。,27, 5, 1413-1432 (2017) ·Zbl 1505.62408号 ·数字标识代码:10.1007/s11222-016-9696-4
[55] Voglis,C。;Lagaris,IE,走向理想多部分:一种在有界域内定位连续函数最小值的随机方法,Appl。数学。计算。,213, 1, 216-229 (2009) ·Zbl 1167.65377号
[56] Yang,XS,《自然激励优化算法》(2014),伦敦:爱思唯尔出版社,伦敦·Zbl 1291.90005号
[57] Zabinsky,《全局优化的随机自适应搜索》(2003),柏林:Kluwer学术出版社,柏林·Zbl 1044.90001号 ·doi:10.1007/978-1-4419-9182-9
[58] Zabinsky,Z.B.:用于全局优化的随机搜索方法。收录于:威利运筹学与管理科学百科全书。威利(2011)
[59] ZB扎宾斯基;Bulger,D。;Khompatraporn,C.,全局优化中随机序列搜索的停止和重启策略,J.global Optim。,46, 2, 273-286 (2010) ·Zbl 1188.90204号 ·doi:10.1007/s10898-009-9425-z
[60] Zafar,A.、Ghafoor,U.、Yaqub,M.A.、Hong,K.:使用Nelder-Mead算法确定设计血液动力学响应函数中的参数。收录:2018年第18届控制、自动化和系统国际会议(ICCAS),第1135-1140页(2018)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。