×
阿尔瓦罗·马吉亚尔;安德烈亚斯·瓦赫特;伊琳娜·多林斯卡娅。;杰里米·斯塔姆

一种无导数信赖域算法，用于优化使用自适应多重重要性采样的高斯卷积平滑的函数。 （英语） Zbl 1390.90410号

SIAM J.Optim公司。 28，第2期，1478-1507（2018）.
摘要：在本文中，我们考虑定义为函数（F）与高斯核卷积的函数（F）的优化。我们提出了这种类型的目标函数，用于优化复杂计算模拟的输出，这些模拟通常会产生某种形式的确定性噪声，需要对其进行平滑处理，以使结果有意义。我们引入了一种无导数算法，该算法通过信赖域上噪声函数（f）回归模型的最小化来计算试探点。回归模型是根据在算法的迭代和试验点周围随机选择的样本点上的函数值构建的。根据自适应多重重要性抽样策略，获得回归问题中各个样本点的权重。这有两个优点。首先，它可以重用在优化过程中收集的所有噪声函数值。其次，所得回归模型收敛于卷积泛函的二阶泰勒近似。我们证明，在概率为1的情况下，迭代的每个极限点都是F的驻点。在一组带有噪声函数的基准问题上进行了计算实验，将该算法与该方法所基于的确定性无导数信任域方法进行了比较。结果表明，该算法在优化的早期阶段同样有效，能够克服原方法的收敛问题，即算法可能陷入噪声引起的伪局部极小。

引用于13文件

MSC公司：

90立方厘米 随机规划
90立方 非线性规划
90立方厘米56 无导数方法和使用广义导数的方法

关键词：

无导数优化;自适应多重重要性抽样;信任区域法;确定性计算噪声;高斯滤波;蒙特卡罗抽样法

软件：

DFO公司;IMFIL公司;楔块;凯利;小背包;UOBYQA公司;ASTRO-DF公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Maggiar}等人，SIAM J.Optim。28，第2号，1478--1507（2018；Zbl 1390.90410）
全文： 内政部

参考文献：

[1] L.K.Alford、R.F.Beck、J.T.Johnson、D.Lyzenga、O.Nwogu和A.Zundel，{环境和船舶运动预测系统的设计、实施和评估}，《第30届海军流体动力学研讨会论文集》，澳大利亚塔斯马尼亚州霍巴特，2014年。
[2] B.Arouna，{自适应蒙特卡罗，方差减少技术}，蒙特卡罗方法应用。，10（2004年），第1-24页·Zbl 1063.65003号
[3] A.S.Bandeira、K.Scheinberg和L.N.Vicente，稀疏低阶插值多项式的计算及其在无导数优化中的应用，数学。程序。，134（2012），第223-257页·Zbl 1254.65072号
[4] A.S.Bandeira、K.Scheinberg和L.N.Vicente，《基于概率模型的信任域方法的收敛性》，SIAM J.Optim。，24 (2014), 1238-1264. ·Zbl 1311.90186号
[5] S.C.Billups、J.Larson和P.Graf，{使用加权回归对具有计算误差的昂贵函数进行无导数优化}，SIAM J.Optim。，23（2013），第27-53页·Zbl 1295.90106号
[6] J.Blanchet、C.Cartis、M.Menickelly和K.Scheinberg，{非凸优化随机信赖域方法的收敛速度分析}，预印本，arXiv:1609.074282016。
[7] J.Borggaard、D.Pelletier和K.E.Vugrin，《关于数值噪声问题的敏感性分析》，载于弗吉尼亚州雷斯顿美国航空航天局/美国宇航局/国际空间站第九届多学科分析与优化研讨会论文集，2002年。
[8] M.F.Bugallo、V.Elvira、L.Martino、D.Luengo、J.Miguez和P.M.Djuric，《自适应重要性抽样：过去、现在和未来》，IEEE信号处理。Mag.，34（2017），第60-79页。
[9] K.-H.Chang、L.J.Hong和H.Wan，{随机信任区域响应面方法（STRONG）-一种新的模拟优化响应面框架}，INFORMS J.Compute。，25（2013），第230-243页。
[10] R.Chen、M.Menickelly和K.Scheinberg，{使用信任区域方法和随机模型的随机优化}，数学。程序。（2017年）·Zbl 1401.90136号
[11] W.S.Cleveland和C.Loader，{通过局部回归进行平滑：原理和方法}，《平滑的统计理论和计算方面》，Springer，纽约，1996年，第10-49页。
[12] A.R.Conn、I.M.Elfadel、W.Molzen Jr、P.O'Brien、P.N.Strenski、C.Visweswariah和C.Whan，{使用静态定时公式对自定义电路进行基于梯度的优化}，载于第36届ACM/IEEE设计自动化年会论文集，ACM，纽约，1999年，第452-459页。
[13] A.R.Conn、N.I.M.Gould和P.L.Toint，{信托区域方法}，宾夕法尼亚州费城SIAM，2000年·Zbl 0958.65071号
[14] A.R.Conn、K.Scheinberg和P.L.Toint，{实践中的无导数优化算法}，《第七届美国航空航天局/美国空军/美国国家航空航天局/ISSMO多学科分析与优化研讨会论文集》，美国航空航天研究所，弗吉尼亚州雷斯顿，1998年·Zbl 1042.90617号
[15] A.R.Conn、K.Scheinberg和L.N.Vicente，《无导数优化中插值集的几何》，数学。程序。，111（2008），第141-172页·Zbl 1163.90022号
[16] A.R.Conn、K.Scheinberg和L.N.Vicente，{一般无导数信赖域算法到一阶和二阶临界点的全局收敛}，SIAM J.Optim。，20（2009年），第387-415页·Zbl 1187.65062号
[17] A.R.Conn、K.Scheinberg和L.N.Vicente，《无导数优化导论》，宾夕法尼亚州费城SIAM出版社，2009年·Zbl 1163.49001号
[18] J.Cornuet、J.-M.Marin、A.Mira和C.P.Robert，{自适应多重重要性抽样}，Scand。J.统计。，39（2012），第798-812页·Zbl 1319.62059号
[19] A.Custoídio、K.Scheinberg和L.Vicente，{无导数优化的方法和软件}，《工程应用优化的进展和趋势》，T.Terlaky、M.Anjos和S.Ahmed编辑，MOS-SIAM Ser。最佳。，SIAM，费城，2017年，第495-506页·Zbl 1410.90001号
[20] G.Deng和M.C.Ferris，{噪声函数UOBYQA算法的自适应}，《2006年冬季模拟会议论文集》，2006年，IEEE出版社，新泽西州皮斯卡塔韦，第312-319页。
[21] G.Fasano，J.L.Morales和J.Nocedal，{关于无导数优化基于模型算法的几何阶段}，Optim。方法软。，24（2009），第145-154页·Zbl 1154.90589号
[22] P.Glasserman，《金融工程中的蒙特卡罗方法》，斯托克。模型。申请。普罗巴伯。53，斯普林格，纽约，2004年·Zbl 1038.91045号
[23] R.Hooke和T.A.Jeeves，{数值和统计问题的“直接搜索”解决方案}，J.ACM，8（1961），第212-229页·Zbl 0111.12501号
[24] J.Jacod和P.E.Protter，《概率概要》，第二版，柏林斯普林格大学，2004年·Zbl 1014.60004号
[25] C.T.Kelley，{优化的迭代方法}，SIAM，费城，宾夕法尼亚州，1999年·Zbl 0934.90082号
[26] C.T.Kelley，{\it隐式过滤}，《软件环境》。工具23，SIAM，宾夕法尼亚州费城，2011·Zbl 1246.68017号
[27] J.M.Larson和S.C.Billups，{使用信任区域框架的随机导数自由优化}，技术报告，2013年·Zbl 1381.90098号
[28] A.Maggiar，{光滑函数的优化和非线性规划在各向异性介质中车辆最快路径搜索中的应用}，博士论文，西北大学，伊利诺伊州埃文斯顿，2014年。
[29] M.Marazzi和J.Nocedal，无导数优化的楔形信赖域方法，数学。程序。，91（2002），第289-305页·Zbl 1049.90134号
[30] J.J.Moreí、B.S.Garbow和K.E.Hillstrom，《测试无约束优化软件》，ACM Trans。数学。软质。，7（1981年），第17-41页·Zbl 0454.65049号
[31] J.J.Moreí和S.M.Wild，{基准测试无导数优化算法}·Zbl 1187.90319号
[32] J.J.Moreí和S.M.Wild，{基准测试无衍生优化算法}，SIAM J.Optim。，20（2009年），第172-191页·Zbl 1187.90319号
[33] J.J.Moreí和S.M.Wild，{估算计算噪声}，SIAM J.Sci。计算。，33（2011），第1292-1314页·Zbl 1243.65016号
[34] J.J.Moreí和S.M.Wild，{估计噪声模拟的导数}，ACM Trans。数学。软质。，38（2012），第19页·Zbl 1365.65056号
[35] A.Nedicí和D.P.Bertsekas，{\it次梯度方法中确定性噪声的影响}，数学。程序。，125（2010年），第75-99页·Zbl 1205.90225号
[36] J.A.Nelder和R.Mead，函数最小化的单纯形法，Comput。J.，7（1965），第308-313页·Zbl 0229.65053号
[37] H.B.Nielsen，{\it UCTP–无约束优化的测试问题}，技术报告，丹麦技术大学，丹麦康根斯·林比，2000年。
[38] J.Nocedal和S.J.Wright，｛\it Numerical Optimization｝，第2版，Springer Ser。操作。Res.财务。工程师，施普林格，纽约，2006年·Zbl 1104.65059号
[39] O.G.Nwogu，{有限振幅波与垂直剪切流场的相互作用}，《流体力学杂志》。，627（2009），第179-213页·Zbl 1171.76338号
[40] O.G.Nwogu和D.R.Lyzenga，{从相干海洋雷达估计地表波场}，IEEE Geosci。遥感快报。，7（2010年），第631-635页。
[41] A.Owen和Y.Zhou，安全有效的重要性抽样，J.Amer。统计师。协会，95（2000），第135-143页·Zbl 0998.65003号
[42] A.B.Owen，《蒙特卡洛理论、方法和实例》，2013年。
[43] M.J.D.Powell，{it UOBYQA:二次近似无约束优化}，数学。程序。，92（2002），第555-582页·Zbl 1014.65050号
[44] K.Scheinberg和P.L.Toint，{无导数无约束优化基于模型算法中的自校正几何}，SIAM J.Optim。，20（2010年），第3512-3532页·Zbl 1209.65017号
[45] S.Shashaani，F.Hashemi，and R.Pasupathy，{it Astro-df:一类用于无导数随机优化的自适应采样信任域算法}，预印本，arXiv:1610.065062016·Zbl 1403.90541号
[46] E.Veach和L.J.Guibas，{蒙特卡罗渲染最佳结合采样技术}，《第22届计算机图形和交互技术年会论文集》，美国计算机学会，纽约，1995年，第419-428页。
[47] C.Visweswariah和R.A.Rohrer，{分段近似电路模拟}，IEEE Trans。计算-辅助设计集成。电路系统。，10（1991年），第861-870页。
[48] K.E.Vugrin，{噪声对参数识别优化问题的影响}，弗吉尼亚理工学院和州立大学博士论文，弗吉尼亚州布莱克斯堡，2005年。
[49] A.Waíchter、J.Staum、A.Maggiar和M.Feng，{自适应重要性抽样的样本平均近似}，技术报告，西北大学，伊利诺伊州埃文斯顿，2017年。
[50] X.Zhang、P.Bandyk和R.F.Beck，{使用双体基流的耐波性计算}，应用。《海洋研究》，32（2010），第471-482页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。