×
蒙娜·福尔兰德;塞巴斯蒂安·舍普斯

Hermite最小二乘优化：BOBYQA的一种改进，用于在有限导数信息下进行优化。 （英语） Zbl 1534.90154号

最佳方案。工程师。 24，第4期，2827-2853（2023）.
摘要：无导数优化解决了目标函数导数未知的问题。然而，在实际优化问题中，目标函数的导数往往不适用于所有优化变量，而适用于某些优化变量。在这项工作中，我们提出了Hermite最小二乘优化方法：一种优化方法，专门用于目标函数的某些偏导数可用而其他导数不可用的情况。主要目标是与最新的无导数求解器相比，减少目标函数调用的次数，同时保持收敛特性。Hermite最小二乘法是对Powell的无导数BOBYQA算法的改进。但是，不是在每次迭代中构建二次子问题的（欠定）插值，而是用一阶导数和（如果可能的话）二阶导数丰富训练数据，然后使用最小二乘回归。讨论了全局收敛性的证明，并给出了数值结果。此外，在成品率优化的背景下，验证了实际测试用例的适用性。数值试验表明，如果有一半或更多的偏导数可用，则Hermite最小二乘法优于经典的BOBYQA方法。此外，在目标函数有噪声的情况下，该算法具有更强的鲁棒性，从而具有更好的性能。

理学硕士：

90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法

关键词：

优化;BOBYQA公司;埃尔米特插值;最小二乘法;噪音;无衍生物

软件：

BOBYQA公司;DFVLR-SQP公司;多最小值;github;乌比卡
PDF格式BibTeX公司 XML格式引用
\textit{M.Fuhrländer}和\textit{S.Schöps}，Optim。工程24，编号42827-2853（2023；兹bl 1534.90154）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Audet C，Hare W（2017）无衍生产品和黑箱优化。斯普林格。数字对象标识代码：10.1007/978-3-319-68913-5·Zbl 1391.90001号
[2] 比卢普斯，南卡罗来纳州；Larson，J。；Graf，P.，使用加权回归法对具有计算误差的昂贵函数进行无导数优化，SIAM J Optim，23，27-53（2013）·Zbl 1295.90106号 ·数字对象标识代码：10.1137/100814688
[3] Björcká（1996）最小二乘问题的数值方法。SIAM公司·兹伯利0847.65023
[4] Cartis，C。；菲亚拉，J。；Marteau，B。；Roberts，L.，《提高基于模型的无导数优化求解器的灵活性和鲁棒性》，ACM Trans Math Softw（2019）·Zbl 1486.65064号 ·电话：10.1145/3338517
[5] Cartis，C。；罗伯茨，L。；Sheridan-Methven，O.，用无局部导数方法逃离局部极小值：数值研究，优化（2021）·Zbl 1492.65162号 ·doi:10.1080/02331934.2021.1883015
[6] Conn AR、Scheinberg K、Vicente LN（2009）《无导数优化导论》。SIAM公司·Zbl 1163.49001号
[7] 连接器，AR；Scheinberg，K。；Vicente，LN，无导数优化中插值集的几何，数学程序，111，141-172（2008）·兹比尔1163.90022 ·doi:10.1007/s10107-006-0073-5
[8] 连接，AR；Scheinberg，K。；Vicente，LN，无导数优化中样本集的几何：多项式回归和欠定插值，IMA J Numer Ana，28，721-748（2008）·Zbl 1157.65034号 ·doi:10.1093/imanum/drn046
[9] Currin C，Mitchell T，Morris M，Ylvisaker D（1988）计算机实验设计和分析的贝叶斯方法。技术报告ORNL-6498，橡树岭国家实验室
[10] Fuhrländer，M。；Schöps，S.，基于BOBYQA的Hermite最小二乘法，存档版本1.0，Zenodo（2022）·doi:10.5281/zenodo.7473363
[11] Fuhrländer，M。；Georg，N。；罗默，美国。；Schöps，S.，基于自适应Newton-Monte Carlo和多项式代理的产量优化，国际期刊Uncert Quant，10，351-373（2020）·Zbl 1498.62155号 ·doi:10.1615/Int.J.不确定性量化.200033344
[12] Graeb，HE，《模拟设计定心和尺寸》（2007），多德雷赫特：施普林格
[13] Hermann M（2011）《数值数学》。奥尔登堡Wissenschaftsverlag
[14] Jones博士；珀顿，CD；Stuckman，BE，无利普希茨常数的利普希兹优化，《最优化理论应用杂志》，79，157-181（1993）·Zbl 0796.49032号 ·doi:10.1007/BF00941892
[15] 肯尼迪，J。；Eberhart，R.，粒子群优化，Proc ICNN’95 Int Conf Neural Netw，41942-1948（1995）·doi:10.1109/ICNN.1995.488968
[16] 柯克帕特里克，S。；小CD Gelatt；Vecchi，MP，模拟退火优化，科学，220671-680（1983）·Zbl 1225.90162号 ·doi:10.1126/science.220.4598.671
[17] Kraft D等人（1988）序列二次规划软件包·Zbl 0646.90065号
[18] Loukrezis D（2019）不确定性量化基准模型，https://github.com/dlouk/UQ_benchmark_models/tree/master/rectangular_waveguides/debye1.py
[19] Menhorn F，Augustin F，Bungartz HJ，Marzouk YM（2022）无导数非线性约束随机优化的信赖域方法，arXiv预印本arXiv:1703.04156
[20] 内尔德，JA；Mead，R.，函数最小化的单纯形方法，计算J，7308-313（1965）·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308
[21] Powell MJD（1994）通过线性插值对目标函数和约束函数建模的直接搜索优化方法。Adv Optim数字分析，第51-67页·Zbl 0826.90108号
[22] Powell，MJD，UOBYQA:二次近似无约束优化，数学程序，92，555-582（2002）·Zbl 1014.65050号 ·doi:10.1007/s101070100290
[23] Powell，MJD，《无导数边界约束优化的BOBYQA算法》，剑桥NA报告NA2009/06（2009），剑桥：剑桥大学
[24] Powell，MJD，关于线性约束二次模型的快速信赖域方法，《数学程序计算》，7，237-267（2015）·Zbl 1325.65084号 ·doi:10.1007/s12532-015-0084-4
[25] 里奥斯，LM；Sahinidis，NV，无导数优化：算法综述和软件实现的比较，J Global Optim，561247-1293（2013）·Zbl 1272.90116号 ·doi:10.1007/s10898-012-9951-y
[26] Sauer，T。；Xu，Y.，关于多元hermite插值，高级计算数学，4207-259（1995）·Zbl 0836.41004号 ·doi:10.1007/BF03177515
[27] Ulbrich M，Ulbrich-S（2012）《Nichtlineare Optimierung》。Birkhä用户·Zbl 1236.90002号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。