×
伊恩·库普。;拉切尔·塔潘登

使用二次插值模型和对齐正则基的梯度和对角Hessian近似。 （英语） 兹比尔1487.65025

数字。算法 88，编号2，767-791（2021）.
摘要：这项工作研究了有限差分和（对角）二次插值模型的使用，以获得函数的一阶导数和（非混合）二阶导数的近似值。这里表明，如果在插值模型中使用一组特定的点，则可以在（mathcal{O}（n））计算中获得相关线性系统的解（即对Hessian的梯度和对角线的近似），这与有限差分的成本相同，并且比（mathcal{O}（n^3）节省了成本\)求解一般非结构化线性系统的成本。此外，如果以特定的方式选择插值点，则梯度近似是\（\mathcal｛O｝（h^2）\）精确的，其中\（h\）与插值点之间的距离有关。数值算例验证了理论结果。

引用于2文件

MSC公司：

65D25个 数值微分
65千5 数值数学规划方法
90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法

关键词：

无导数优化;正基数;有限差分逼近;插值模型;简单;单纯形梯度

软件：

MOIF公司;DiffSharp（差异锐化）;DFO公司
PDF格式BibTeX公司 XML格式引用
\textit{I.D.Coope}和\textit{R.Tappenden}，数字。算法88，No.2，767--791（2021；Zbl 1487.65025）
全文： 内政部

参考文献：

[1] Audet，C.，Hare，W.：无导数和黑箱优化。Springer运筹学和金融工程系列，Springer（2017）·Zbl 1391.90001号
[2] 澳大利亚班德拉；Scheinberg，K。；Vicente，LN，稀疏低阶插值多项式的计算及其在无导数优化中的应用，数学规划系列B，134223-257（2012）·Zbl 1254.65072号 ·doi:10.1007/s10107-012-0578-z
[3] Baydin，AG公司；Pearlmutter，文学学士；Radul，AA；Simkind，JM，《机器学习中的自动差异化：一项调查》，J.Mach。学习。决议，18，1-43（2018）·Zbl 06982909号
[4] Berahas，A.S.，Cao，L.，Choromanskiy，K.，Scheinberg，K.：无导数优化中梯度近似的理论和经验比较。美国宾夕法尼亚州伯利恒利海大学工业和系统工程系技术代表arXiv:1905.01332v2[math.OC]（2019）
[5] 科奇，G。；刘齐，G。；帕皮尼，A。；Sciandrone，M.，具有盒约束的无导数多目标优化的隐式滤波算法，计算。最佳方案。申请。，69, 2, 267-296 (2018) ·Zbl 1400.90269号 ·doi:10.1007/s10589-017-9953-2
[6] 康涅狄格州A。；Scheinberg，K。；Vicente，L.，《无导数优化导论》（2009），费城：MPS-SIAM系列优化，费城·Zbl 1163.49001号 ·数字对象标识代码：10.1137/1.9780898718768
[7] 康涅狄格州A。；Scheinberg，K。；Toint，P.，无约束无导数非线性优化的最新进展，数学。程序。，79, 397-414 (1997) ·Zbl 0887.90154号
[8] 连接器，AR；Scheinberg，K。；Vicente，LN，无导数优化中插值集的几何，数学规划系列B，111141-172（2008）·Zbl 1163.90022号 ·doi:10.1007/s10107-006-0073-5
[9] 连接器，AR；Scheinberg，K。；Vicente，LN，无导数优化中样本集的几何：多项式回归和欠定插值，IMA J.Numer。分析。，28221-748（2008）·Zbl 1157.65034号 ·doi:10.1093/imanum/drn046
[10] Conn，A.R.，Toint，P.L.：一种使用二次插值实现无约束无导数优化的算法。摘自：Di Pillo，G.，Giannessi，F.（编辑）《非线性优化与应用》，第27-47页。Springer US，马萨诸塞州波士顿（1996）·Zbl 0976.90102号
[11] 库佩，I。；Price，C.，基于框架的无约束优化方法，J.Optim。理论应用。，107, 2, 261-274 (2000) ·Zbl 0983.90074号 ·doi:10.1023/A:1026429319405
[12] Coope，ID；Tappenden，R.，正则单纯形梯度的有效计算，计算。最佳方案。申请。，72, 3, 561-588 (2019) ·Zbl 1414.90363号 ·doi:10.1007/s10589-019-00063-3
[13] 法萨诺，G。；莫拉莱斯，JL；Nocedal，J.，《关于无导数优化基于模型算法的几何阶段，优化方法和软件》，24，1，145-154（2009）·Zbl 1154.90589号 ·网址：10.1080/1055678080209296
[14] Fazel先生。；Ge，R。；卡卡德，S。；Mesbahi，M.，线性二次调节器政策梯度方法的全局收敛性，Proc。马赫。学习。研究（PMLR），80，1467-1476（2018）
[15] 吉尔摩，P。；Kelley，C.，用于优化具有许多局部极小值的函数的隐式滤波算法，SIAM J.Optim。，5, 2, 269-285 (1995) ·兹伯利0828.65064 ·数字对象标识代码：10.1137/0805015
[16] Gilmore P.、Kelley C.T.、Miller C.T.和Williams G.A.：隐式过滤和优化设计问题。摘自：Borggaard，J.，Burkart，J.、Gunzburger，M.、Peterson，J.（编辑）《优化设计与控制》，第159-176页。Birkhäuser，波士顿（1995年）·兹比尔0821.73040
[17] Hare，W.，Jaberipour，M.：无导数优化中的自适应插值策略：案例研究。加拿大英属哥伦比亚大学技术代表和伊朗阿米尔卡比尔科技大学。arXiv:1511.02794v1[math.OC]（2015）·Zbl 1474.90521号
[18] Hare，W.，Jarry Bolduc，G.，Planiden，C.：超定和欠定广义中心单纯形梯度的误差界。加拿大英属哥伦比亚大学和澳大利亚卧龙岗大学技术代表。arXiv:2006.00742v1[math.NA]（2020）·Zbl 1461.90170号
[19] 霍夫曼，PHW，《自动微分搭便车指南》，《数值算法》，72,3775-811（2016）·Zbl 1356.65076号 ·doi:10.1007/s11075-015-0067-6
[20] Jarry-Bolduc，G.，Nadeau，P.，Singh，S.：任意方向的一致单纯形。最佳方案。莱特。2019年7月3日在线发布，doi:10.1007/s11590-019-01448-3（2019）·Zbl 1448.90102号
[21] Maggiar，A。；瓦希特，A。；IS多林斯卡娅；Staum，J.，一种使用自适应多重重要性抽样通过高斯卷积平滑的函数优化的无导数信赖域算法，SIAM J.Optim。，28, 2, 1478-1507 (2018) ·Zbl 1390.90410号 ·doi:10.1137/15M1031679
[22] Margossian，C.C.：自动分化及其有效实施的综述。哥伦比亚大学统计系技术代表。arXiv:1811.05031v2[cs.MS]（2019）
[23] Nelder，J。；Mead，R.，函数最小化的单纯形方法，计算。J.，7，4，308-313（1965）·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308
[24] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，Found。计算。数学。，17, 2, 527-566 (2017) ·Zbl 1380.90220号 ·doi:10.1007/s10208-015-9296-2
[25] Nocedal，J.，Wright，S.J.：数值优化，第2版，施普林格运筹学系列，施普林格（2006）·Zbl 1104.65059号
[26] 斯彭德利，W。；Hext，G。；Himsworth，F.，优化和进化操作中单纯形设计的顺序应用，技术计量学，441-461（1962）·兹伯利0121.35603 ·网址：10.1080/00401706.1962.10490033
[27] 野生，山猫；Shoemaker，C.，无导数优化径向基函数信赖域算法的全局收敛，SIAM Rev.，55，2，349-371（2013）·兹比尔1270.65028 ·数字对象标识代码：10.1137/120902434
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。