×
莫特萨·基米艾；阿诺德·诺伊梅尔

高效的无约束黑盒优化。 （英语） Zbl 1490.90305号

数学。程序。计算。 14，第2号，365-414（2022）.
摘要：针对黑盒函数的无约束优化问题，本文引入了一种新的随机算法VRBBO。在实践中，VRBBO与其他最先进算法的质量相匹配，可以在小尺寸和大尺寸中以合理的精度找到局部极小值。虽然我们的理论只保证局部极小值，但我们的启发式技术将VRBBO转化为有效的全局求解器。在非常彻底的数值实验中，我们发现在大多数情况下，要么是一个全局极小值，要么是在无法检查的情况下，至少有一个与最具竞争力的全局解算器质量相似的点。对于光滑的、处处定义的函数，证明了在概率任意接近（1）的情况下，我们算法的一个基本版本用（mathcal{O}（nvarepsilon^{-2}）函数求值一个点，该点的未知精确梯度\（2）范数低于给定的阈值\（varepsilen>0），其中\（n）是维数。在光滑凸的情况下，这个数字提高到\（mathcal{O}（n\log\varepsilon^{-1}）\），在光滑（强）凸的情况中，这个数字增加到\。这与最近已知的复杂度结果相匹配，以实现稍有不同的目标，即预期的未知精确梯度（2）-范数低于给定的阈值（varepsilon>0）。数值结果表明，与最新的局部和全局解算器相比，VRBBO在无约束CUTEst测试问题上是有效和稳健的N.I.M.古尔德等【计算优化应用60，第3期，545–557（2015；Zbl 1325.90004号)]优化和测试问题M.贾米尔和X.-S.杨[Int.J.Math.Model.Number.Optim.4，编号2150-194（2013；Zbl 1280.65053号)]用于使用2-5000个变量进行全局优化。

引用于2文件

数学溢出问题：

概率角度不等式

MSC公司：

90 C56 无导数方法和使用广义导数的方法

关键词：

无导数优化；复杂性界限；全局优化；充分减少；行搜索

引文：

Zbl 1325.90004号；Zbl 1280.65053号

软件：

BOBYQA公司；凯利；PS温；纽乌阿；CUTEst公司；多最小值；CMA-ES公司；数学溢出；BFO公司；UOBYQA公司；fmin搜索；LMBOPT公司；VXQR1型；SNOBFIT公司；SDBOX（SDBOX）；数据框_IMPR；MCS公司；NOMAD公司
PDF格式BibTeX公司 XML格式引用
\textit｛M.Kimiaei｝和\textit｛A.Neumaier｝，数学。程序。计算。14，第2号，365--414（2022；Zbl 1490.90305）
全文： 内政部
OA许可证

参考文献：

[1] Abramson，M.A.，Audet，C.，Couture，G.，Dennis，Jr.，J.E.，Le Digabel，S.：部落，C.：NOMAD项目。软件可在https://www.gerad.ca/游牧民/
[2] Audet，C。；Dennis，JE Jr，用于约束优化的网格自适应直接搜索算法，SIAM J.Optim。，17, 188-217 (2006) ·Zbl 1112.90078号 ·数字对象标识代码：10.1137/040603371
[3] Audet，C。；Hare，W.，Derivative-Free and Blackbox Optimization（2017），柏林：施普林格出版社，柏林·Zbl 1391.90001号 ·数字对象标识代码：10.1007/978-3-319-68913-5
[4] Audet，C.，Le Digabel，S.，Tribes，C.：NOMAD用户指南。技术报告G-2009-37，GERAD（2009）
[5] Audet，C。；Orban，D.，使用无导数优化寻找最佳算法参数，SIAM J.Optim。，17, 642-664 (2006) ·邮编1128.90060 ·数字对象标识代码：10.1137/040620886
[6] Auger，A.，Hansen，N.：随着人口规模的增加，重启CMA进化策略。2005年IEEE进化计算大会。IEEE（2005）
[7] 澳大利亚班德拉；Scheinberg，K。；Vicente，LN，基于概率模型的信任区域方法的收敛性，SIAM J.Optim。，24, 1238-1264 (2014) ·Zbl 1311.90186号 ·数字对象标识代码：10.1137/130915984
[8] 贝莱尔，CJP；罗梅因，HE；Smith，RL，生成多元分布的点击运行算法，数学。操作。决议，18，255-266（1993）·Zbl 0771.60052号 ·doi:10.1287/门18.2.255
[9] 爱荷华州Bergou；Gorbunov，E。；Richtárik，P.，无约束光滑极小化的随机三点法，SIAM J.Optim。，30, 2726-2749 (2020) ·Zbl 1451.90150号 ·doi:10.1137/19M1244378
[10] 布拉切蒂，P。；De Felice Ciccoli，M。；Di Pillo，G。；Lucidi，S.，全球优化价格算法的新版本，J.Glob。最佳。，10, 165-184 (1997) ·Zbl 0877.65038号 ·doi:10.1023/A:1008250020656
[11] O.布尔达科夫。；龚，L。；Zikrin，S。；Yuan，Y.，关于有效结合有限记忆和信任区域技术，数学。程序。计算。，9, 101-134 (2016) ·Zbl 1368.90103号 ·doi:10.1007/s12532-016-0109-7
[12] 连接器，AR；Scheinberg，K。；Vicente，LN，《无导数优化导论》（2009），费城：工业和应用数学学会，费城·兹比尔1163.49001 ·数字对象标识代码：10.1137/1.9780898718768
[13] Csendes，T。；帕尔，l。；Sendín，JOH；Banga，JR，《重新审视全球优化方法》，Optim。莱特。，2, 445-454 (2007) ·Zbl 1160.90660号 ·doi:10.1007/s11590-007-0072-3
[14] 阿联酋库斯托迪奥；Madeira，JFA，GLODS:使用直接搜索进行全局和局部优化，J.Glob。最佳。，62, 1-28 (2014) ·Zbl 1328.90161号 ·doi:10.1007/s10898-014-0224-9
[15] 阿联酋库斯托迪奥；罗查，H。；维森特，LN，将最小frobenius范数模型纳入直接搜索，计算。最佳方案。申请。，46, 265-278 (2009) ·Zbl 1190.90280号 ·doi:10.1007/s10589-009-9283-0
[16] 阿联酋库斯托迪奥；Vicente，LN，《在模式搜索方法中使用抽样和单纯形导数》，SIAM J.Optim。，18, 537-555 (2007) ·兹比尔1144.65039 ·doi:10.1137/050646706
[17] 多丹吉，M。；Vicente，LN，凸性下直接搜索的最坏情况复杂性，数学。程序。，155, 307-332 (2014) ·Zbl 1338.90462号 ·doi:10.1007/s10107-014-0847-0
[18] 多丹吉，M。；维森特，LN；Zhang，关于直接搜索最坏情况复杂度的最优次序，Optim。莱特。，10, 699-708 (2015) ·Zbl 1346.90764号 ·doi:10.1007/s11590-015-0908-1
[19] Dolan，ED；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[20] Elster，C。；Neumaier，A.，噪声函数的边界约束优化的网格算法，IMA J.Numer。分析。，15, 585-608 (1995) ·Zbl 0831.65063号 ·doi:10.1093/imanum/15.4585
[21] Elster，C。；Neumaier，A.，最小化噪声函数的信赖域类型方法，计算，58，31-46（1997）·Zbl 0879.90166号 ·doi:10.1007/BF02684470
[22] Evtushenko，YuG，寻找全局极值的数值方法（非均匀网格的情况），苏联计算。数学。数学。物理。，11, 38-54 (1971) ·Zbl 0258.90045号 ·doi:10.1016/0041-5553（71）90065-6
[23] 古尔德，NIM；Orban，D。；Toint、PhL、CUTEst：一个有约束和无约束的测试环境，具有用于数学优化、计算的安全线程。最佳方案。申请。，60, 545-557 (2014) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[24] 格拉顿，S。；罗耶，CW；维森特，LN；Zhang，Z.，基于概率下降的直接搜索，SIAM J.Optim。，1515-1541年5月25日（2015年）·Zbl 1327.90395号 ·数字对象标识代码：10.1137/140961602
[25] 格拉顿，S。；厕所，PhL；Tröltzsch，A.，无导数非线性有界约束优化的主动集信任域方法，Optim。方法软件。，26, 873-894 (2011) ·Zbl 1229.90138号 ·doi:10.1080/10556788.2010.549231
[26] 哈格，WW；Zhang，H.，箱约束优化的一种新的主动集算法，SIAM J.Optim。，17, 526-557 (2006) ·Zbl 1165.90570号 ·doi:10.1137/050635225
[27] Hansen，ER，使用区间分析进行全局优化（1992），纽约：M.Dekker，纽约·Zbl 0762.90069号
[28] Hansen，N.：CMA进化策略：比较综述。《走向新的进化计算》，第75-102页。柏林施普林格出版社（2006）
[29] 新泽西州海姆，矩阵计算中直接搜索优化，SIAM J.矩阵分析。申请。，14, 317-333 (1993) ·Zbl 0776.65047号 ·doi:10.1137/0614023
[30] Holland，JH，《遗传算法和试验的优化分配》，SIAM J.Optim。，2, 88-105 (1973) ·Zbl 0259.90031号
[31] Huyer，W。；Neumaier，A.，通过多级坐标搜索进行全局优化，J.Glob。最佳。，14, 331-355 (1999) ·Zbl 0956.90045号 ·doi:10.1023/A:1008382309369
[32] Huyer，W。；Neumaier，A.，SNOBFIT稳定噪声优化（通过分支和拟合），ACM。事务处理。数学。软质。，35, 1-25 (2008) ·doi:10.1145/1377612.1377613
[33] Jamil，M。；Yang，XS，全球优化问题基准函数的文献综述，国际数学杂志。模型。数字。最佳。，4, 150 (2013) ·Zbl 1280.65053号
[34] Kelley，CT，迭代优化方法（1999），费城：工业与应用数学学会，费城·Zbl 0934.90082号 ·数字对象标识代码：10.1137/1.9781611970920
[35] Kimiaei，M.：GS1400/VRBBO:VRBBO（3.2）。泽诺。doi:10.5281/zenodo.5648165（2021）
[36] Kimiaei，M.，Neumaier，A.，Azmi，B.：LMBOPT——一种用于有界约束优化的有限内存方法。http://www.optimization-online.org/DB_HTML/2020/11/8089.HTML (2020)
[37] Konečn，J.，Richtárik，P.：简化直接搜索的简单复杂性分析。arXiv预输入rXiv:1410.0390（2014）
[38] 拉加里亚斯，JC；里兹，JA；MH赖特；Wright，PE，低维Nelder-Mead单纯形方法的收敛性，SIAM J.Optim。，9, 112-147 (1998) ·Zbl 1005.90056号 ·doi:10.137/S105262346303470
[39] Larson，J。；Menickelly，M。；Wild，SM，无导数优化方法，Acta Numer，28，287-404（2019）·Zbl 1461.65169号 ·doi:10.1017/S0962492919000060
[40] Le Digabel，S.，算法909:NOMAD：使用MADS算法进行非线性优化，ACM Trans。数学。软质。，37, 1-15 (2011) ·Zbl 1365.65172号 ·数字对象标识代码：10.1145/1916461.1916468
[41] Lucidi，S。；Sciandone，M.，边界约束优化的无导数算法，计算。最佳方案。申请。，21, 119-142 (2002) ·Zbl 0988.90033号 ·doi:10.1023/A:1013735414984
[42] 莫雷，JJ；Wild，SM，基准无导数优化算法，SIAM J.Optim。，20, 172-191 (2009) ·Zbl 1187.90319号 ·doi:10.1137/080724083
[43] 穆勒，J。；Woodbury，JD，GOSAC：约束代理近似的全局优化，J.global Optim。，69117-136（2017）·兹比尔1373.90118 ·doi:10.1007/s10898-017-0496-y
[44] Nesterov，Y.：凸函数的随机无梯度最小化。核心讨论文件#2011/1（2011）
[45] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，Found。计算。数学。，17, 527-566 (2015) ·Zbl 1380.90220号 ·doi:10.1007/s10208-015-9296-2
[46] Neumaier，A。；芬德尔，H。；希利，H。；Leitner，Thomas，VXQR:基于QR分解的无导数无约束优化，Soft。计算。，15, 2287-2298 (2010) ·doi:10.1007/s00500-010-0652-5
[47] Neumaier，A.，Kimiaei，M.：测试和调整优化算法（2020年）（准备中）
[48] Pinelis，I.：概率角度不等式。MathOverflow，（2018）。https://mathoverflow.net/questions/298533/a-probabilistic-angle-inequality网站
[49] Polyak，BT，《优化导论》（1987），纽约：Optimization Software Inc，纽约·Zbl 0708.90083号
[50] 波塞利，M。；Toint，PhL，BFO，一个可训练的无导数蛮力优化器，用于非线性有界约束优化和连续和离散变量的平衡计算，ACM。事务处理。数学。软质。，44, 1-25 (2017) ·Zbl 1484.65136号 ·doi:10.1145/3085592
[51] 波塞利，M。；Toint，PhL，关于在训练算法中使用性能和数据配置文件的注释，ACM Trans。数学。软质。，45, 1-10 (2019) ·Zbl 1471.68328号 ·doi:10.1145/3310362
[52] Powell，MJD，UOBYQA：二次近似无约束优化，数学。程序。，92, 555-582 (2002) ·Zbl 1014.65050号 ·doi:10.1007/s101070100290
[53] Powell，MJD，《无导数最小化NEWUOA的发展》，IMA J.Numer。分析。，28, 649-664 (2008) ·Zbl 1154.65049号 ·doi:10.1093/imanum/drm047
[54] Powell，M.J.D，无导数约束优化的BOBYQA算法。剑桥NA报告NA2009/06，剑桥大学，剑桥，第26-46页（2009）
[55] 拉斯特里金，洛杉矶：统计师梅托迪·波斯卡。Nauka（1968年）
[56] 里奥斯，LM；Sahinidis，NV，《无导数优化：算法综述和软件实现比较》，J.Global Optim。，56, 1247-1293 (2012) ·Zbl 1272.90116号 ·doi:10.1007/s10898-012-9951-y
[57] 雷纳·斯托恩；Price，Kenneth，差分进化——一种简单有效的启发式算法，用于连续空间上的全局优化，J.global Optim。，11, 341-359 (1997) ·Zbl 0888.90135号 ·doi:10.1023/A:1008202821328
[58] 范拉霍温，PJM；Aarts，EHL，《模拟退火：理论与应用》（1987），荷兰：施普林格，荷兰·Zbl 0643.65028号 ·doi:10.1007/978-94-015-7744-1
[59] 瓦兹，AIF；Vicente，LN，用于约束全局优化的粒子群模式搜索方法，J.global Optim。，39, 197-219 (2007) ·Zbl 1180.90252号 ·doi:10.1007/s10898-007-9133-5
[60] Vicente，LN，直接搜索的最坏情况复杂性，EURO J.Compute。最佳。，1, 143-153 (2012) ·Zbl 1304.90198号 ·doi:10.1007/s13675-012-0003-7
[61] 赖特，S。；Nocedal，J.，《数值优化》（2006），纽约：Springer，纽约·Zbl 1104.65059号
[62] Zhigljavsky，AA，《全球随机搜索理论》（1991），荷兰：施普林格，荷兰·Zbl 0783.90114号 ·doi:10.1007/978-94-011-3436-1
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。