×

无导数优化方法。 (英语) Zbl 1461.65169号

本文给出了“无导数优化方法综述及其分析的关键结果”,以确定数学规划问题的局部极小值。除了第8节中的一些特殊例外,全局优化和多目标优化没有得到广泛考虑。给出了相关审查的提示。除了一些书的链接之外,没有提到应用程序的参考。“在持久页面https://archive.org/services/purl/dfmethods网站我们打算将引用我们参考书目中条目的所有作品与引用本调查的作品联系起来。”该链接包含所有bibtex来源,在许多情况下,还包含通过DOI提供的PDF文件来源。大多数参考文献是从90年代至今的,其中一半以上是过去十年的文献。参考文献约340篇。为了应用上述方法,有必要查阅适当的参考文献。内容如下:
1
导言,第288页
2
确定性目标的确定方法,第293页
确定性目标的随机方法,第318页
4
凸目标方法,第324页
5
结构化目标的方法,第336页
6
随机优化方法,第344页
7
约束优化方法,第354页
8
其他扩展和实际考虑,第369页
附录:最坏情况复杂性分析(WCC)结果汇编,第376页
参考文献,第380-404页

在引言中,说明了本文的主要目的和局限性。在第2节中,通过介绍主要的主要算法(Nelder-Mead的单纯形、直接方向搜索(DDS)、下降测试等)、广义模式搜索(GPS)、网格自适应直接搜索(MADS)、多项式模型、二次插值模型、径向基函数插值模型(RBF),基于模型的方法,如Trust Region(TR)、Filtering methods)。本节对于理解所有其他章节至关重要。
在以下所有章节中,新概念都是由公式定义的,并有相应的解释。从第2节到第6节,所提出的方法主要没有讨论有关性能、收敛性、现有反例和复杂性(WCC)的公式,这些都是引用文献中所强调的。附录中明确给出了一些WCC的公式。第3节介绍了随机搜索、随机直接搜索和随机TR方法。在第4节中,考虑了确定性目标(具有更好WCC的DSS)和随机目标(强盗反馈,凸期望值作为目标)。在第五节非线性最小二乘中,讨论了复合非光滑优化、双层和一般极小极大问题。第6节中的随机问题再次具有客观的期望值,但现在是非凸的。
在第7节中,使用罚函数、增广拉格朗日函数、带TR模型的SQP将以前的无约束方法扩展到约束优化。约束的类型是可松弛或不可松弛的代数约束、基于仿真的约束、建模的约束或不可松驰的离散约束。讨论再次变得更一般,参考文献很多,但主要没有收敛结果,也没有WCC。建模是主要任务。在第8节中,针对多目标优化(Pareto最优性)、全局优化(Lipschitz估计下的多段方法)和多保真度的特殊情况,给出了一些扩展和实际考虑,重点是先前提出的方法的扩展和未来发展的重点。

MSC公司:

65千5 数值数学规划方法
90 C56 无导数方法和使用广义导数的方法
90-02 与运筹学和数学规划有关的研究博览会(专著、调查文章)
90-08 运筹学和数学规划问题的计算方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abramson,M.A.(2005),“模式搜索的二阶行为”,SIAM J.Optim.16,515-530·Zbl 1122.90096号
[2] Abramson,M.A.和Audet,C.(2006),“网格自适应直接搜索到二阶平稳点的收敛性”,SIAM J.Optim.17,606-619·Zbl 1174.90877号
[3] Abramson,M.A.、Audet,C.和Dennis,J.E.Jr(2004),“利用导数信息进行广义模式搜索”,数学。程序100,3-25·Zbl 1146.90524号
[4] Abramson,M.A.、Audet,C.、Chrissis,J.和Walston,J.(2009a),“混合变量优化的网格自适应直接搜索算法”,Optim。第3部分,35-47·Zbl 1154.90551号
[5] Abramson,M.A.、Audet,C.、Dennis,J.E.Jr和Le Digabel,S.(2009b),“OrthoMADS:具有正交方向的确定性MADS实例”,SIAM J.Optim.20,948-966·Zbl 1189.90202号
[6] Abramson,M.A.、Frimannslund,L.和Steihaug,T.(2013),“收敛到二阶平稳点的生成集搜索子类”,Optim。方法软件29,900-918·Zbl 1298.90101号
[7] Abramson,M.、Audet,C.和Dennis,J.E.Jr(2007),“混合变量约束优化问题的过滤模式搜索算法”,太平洋J.Optim.3,477-500·Zbl 1138.65043号
[8] Agarwal,A.、Dekel,O.和Xiao,L.(2010),带多点强盗反馈的在线凸优化的优化算法。第23届学习理论会议(COLT 2010)(Kalai,A.T.和Mohri,M.编辑),第28-40页。
[9] Agarwal,A.、Foster,D.P.、Hsu,D.J.、Kakade,S.M.和Rakhlin,A.(2011),带强盗反馈的随机凸优化。《神经信息处理系统进展》24(Shawe-Taylor,J.等人,eds),Curran Associates,第1035-1043页·Zbl 1270.90107号
[10] Agarwal,A.、Wainwright,M.J.、Bartlett,P.L.和Ravikumar,P.K.(2009),凸优化预言复杂性的信息论下限。《神经信息处理系统进展》22(Bengio,Y.et al.,eds),Curran Associates,第1-9页·Zbl 1365.94132号
[11] Agrawal,R.(1995年),“基于平均值的指数政策样本(O(\log n))对多武装匪徒问题表示遗憾”,Adv.Appl。大约271054-1078·Zbl 0840.90129号
[12] Alarie,S.、Amaioua,N.、Audet,C.、Le Digabel,S.和Leclaire,L.-A(2018),网格自适应直接搜索算法并行空间分解中的变量选择。技术报告,Cahier du GERAD G-2018-38,GERAD。
[13] Alexandrov,N.、Dennis,J.E.Jr、Lewis,R.M.和Torczon,V.(1998),“管理优化中近似模型使用的信赖域框架”,结构。最佳15,16-23。
[14] Amaioua,N.、Audet,C.、Conn,A.R.和Le Digabel,S.(2018),“网格自适应直接搜索算法中二次约束二次子问题的有效解”,欧洲期刊Oper。第268号决议,第13-24条·Zbl 1403.90618号
[15] Amaran,S.、Sahinidis,N.V.、Sharda,B.和Bury,S.J.(2015),《模拟优化:算法和应用综述》,Ann.Oper。第240、351-380号决议·兹比尔1342.90113
[16] Anderson,H.L.(1986),“MANIAC的科学应用”,J.Statist。物理43,731-748。
[17] Arouxét,M.B.、Echebest,N.和Pilotta,E.A.(2011),“鲍威尔无导数优化方法中的主动策略”,计算。申请。数学30,171-196·Zbl 1215.90046号
[18] Audet,C.(2004),“广义模式搜索算法的收敛结果很紧”,Optim。工程5,101-122·Zbl 1085.90053号
[19] Audet,C.(2014),黑箱优化直接搜索方法及其应用的调查。《无边界数学:跨学科研究调查》(Pardalos,P.M.和Rassias,T.M.主编),施普林格出版社,第31-56页·Zbl 1321.90125号
[20] Audet,C.和Dennis,J.E.Jr(2000),“混合变量编程的模式搜索算法”,SIAM J.Optim.11,573-594·Zbl 1035.90048号
[21] Audet,C.和Dennis,J.E.Jr(2002),“广义模式搜索分析”,SIAM J.Optim.13,889-903·Zbl 1053.90118号
[22] Audet,C.和Dennis,J.E.Jr(2004),“无导数非线性规划的模式搜索滤波方法”,SIAM J.Optim.14,980-1010·Zbl 1073.90066号
[23] Audet,C.和Dennis,J.E.Jr(2006),“约束优化的网格自适应直接搜索算法”,SIAM J.Optim.17188-217·Zbl 1112.90078号
[24] Audet,C.和Dennis,J.E.Jr(2009),“无导数非线性规划的渐进障碍”,SIAM J.Optim.20,445-472·Zbl 1187.90266号
[25] Audet,C.和Hare,W.L.(2017),《无导数和黑盒优化》,施普林格出版社·Zbl 1391.90001号
[26] Audet,C.、Bigeon,J.、Cartier,D.、Le Digabel,S.和Salomon,L.(2018a),《多目标优化中的性能指标》。技术报告,Cahier du GERAD G-2018-90,GERAD·Zbl 1487.90580号
[27] Audet,C.、Dennis,J.E.Jr和Le Digabel,S.(2008a),“网格自适应直接搜索算法的并行空间分解”,SIAM J.Optim.191150-1170·Zbl 1180.90363号
[28] Audet,C.、Ianni,A.、Le Digabel,S.和Tribes,C.(2014),“减少网格自适应直接搜索算法中的函数求值次数”,SIAM J.Optim.24,621-642·Zbl 1297.90149号
[29] Audet,C.、Ihaddadene,A.、Le Digabel,S.和Tribes,C.(2018b),“使用网格自适应直接搜索算法对噪声黑箱问题进行稳健优化”,Optim。第12页,675-689·Zbl 1403.90619号
[30] Audet,C.、Le Digabel,S.和Peyrega,M.(2015),“黑箱优化中的线性等式”,计算。最佳方案。申请61,1-23·Zbl 1311.90185号
[31] Audet,C.、Savard,G.和Zghal,W.(2008b),“通过一系列单目标公式进行多目标优化”,SIAM J.Optim.19188-210·Zbl 1167.90020号
[32] Audet,C.、Savard,G.和Zghal,W.(2010),“多目标优化的网格自适应直接搜索算法”,欧洲期刊Oper。2004年第545-556号决议·Zbl 1181.90137号
[33] Auer,P.(2002),“利用置信界限进行开采勘探权衡”,J.Mach。学习。第3号决议,397-422·Zbl 1084.68543号
[34] Auer,P.、Cesa Bianchi,N.和Fischer,P.(2002),“多武装土匪问题的有限时间分析”,机器学习47235-256·Zbl 1012.68093号
[35] Auer,P.、Cesa-Bianchi,N.、Freund,Y.和Schapire,R.E.(2003),“非随机的多武器强盗问题”,SIAM J.Compute.32,48-77·兹比尔1029.68087
[36] Auger,A.、Hansen,N.、Perez Zerpa,J.、Ros,R.和Schoenauer,M.(2009),无导数优化算法的实验比较。《实验算法》(SEA 2009)(Vahrenhold,J.编辑),Springer,第3-15页。
[37] Augustin,F.和Marzouk,Y.M.(2014),NOWPAC:具有路径增强约束的可证明收敛的无导数非线性优化器。arXiv公司:1403.1931
[38] Augustin,F.和Marzouk,Y.M.(2017),无导数非线性约束随机优化的信任域方法。arXiv:1703.04156
[39] Avriel,M.和Wilde,D.J.(1967年),“通过几何规划进行最佳冷凝器设计”,Ind.Enging Chem。工艺设计。开发人员6,256-263。
[40] Bach,F.和Perchet,V.(2016),高平滑零阶在线优化。第29届学习理论年会(COLT 2016)(Feldman,V.等人,eds)。程序。机器。学习。第49号决议,第257-283号。
[41] Bagirov,A.M.和Ugon,J.(2006),“大规模非光滑优化的分段部分可分函数和无导数算法”,J.Global Optim.35163-195·Zbl 1136.90515号
[42] Bagirov,A.M.、Karasözen,B.和Sezer,M.(2007),“离散梯度法:非光滑优化的无导数方法”,J.Optim。理论应用137,317-334·Zbl 1165.90021号
[43] Bajaj,I.、Iyer,S.S.和Hasan,M.M.F.(2018),“基于信任区域的两阶段算法,用于初始点不可行的约束黑盒和灰盒优化”,计算。化学。工程116,306-321。
[44] Balaprakash,P.、Salim,M.、Uram,T.D.、Vishwanath,V.和Wild,S.M.(2018),《深度超参数:深度神经网络的异步超参数搜索》。第25届IEEE高性能计算、数据和分析国际会议(HiPC18)。doi:10.1007/s10589-019-00063-3
[45] Balasubramanian,K.和Ghadimi,S.(2018),通过条件梯度和梯度更新的零阶(非)凸随机优化。《神经信息处理系统进展》31(Bengio,S.等人,eds),Curran Associates,第3459-3468页。
[46] Balasubramanian,K.和Ghadimi,S.(2019),零阶非凸随机优化:处理约束、高维性和鞍点。arXiv:1809.06474·Zbl 1516.90056号
[47] Bandeira,A.S.、Scheinberg,K.和Vicente,L.N.(2012),“稀疏低阶插值多项式的计算及其在无导数优化中的应用”,数学。程序134,223-257·Zbl 1254.65072号
[48] Bandeira,A.S.、Scheinberg,K.和Vicente,L.N.(2014),“基于概率模型的信任区域方法的收敛”,SIAM J.Optim.241238-1264·Zbl 1311.90186号
[49] Banichuk,N.V.、Petrov,V.M.和Chernous'Ko,F.L.(1966),“用局部变分法求解变分和边值问题”,苏联计算。数学。数学。物理6,1-21·Zbl 0174.47904号
[50] Barton,R.R.和Ivey,J.S.Jr(1996),“模拟优化的Nelder-单形修改”,Manag。科学第42卷,954-973页·Zbl 0884.90118号
[51] Barzilai,J.和Borwein,J.M.(1988),“两点步长梯度法”,IMA J.Numer。分析8,141-148·Zbl 0638.65055号
[52] Bauschke,H.H.、Hare,W.L.和Moursi,W.M.(2014),“凸优化的无导数协差算法”,Optim。方法软件30706-726·Zbl 1328.90104号
[53] Baydin,A.G.、Pearlmutter,B.A.、Radul,A.A.和Siskind,J.M.(2018),“机器学习中的自动差异化:一项调查”,J.Mach。学习。第18(153)号决议,1-43·Zbl 06982909号
[54] Belitz,P.和Bewley,T.(2013),“球形堆积理论的新视野,II:通过全局代理的基于格的无导数优化”,J.global Optim.56,61-91·Zbl 1273.90241号
[55] Belloni,A.、Liang,T.、Narayanan,H.和Rakhlin,A.(2015),通过模拟退火逃离局部极小值:近似凸函数的优化。第28届学习理论会议(COLT 2015)。程序。机器。学习。第40号决议,240-265。
[56] Belotti,P.、Kirches,C.、Leyffer,S.、Linderoth,J.、Luedtke,J.和Mahajan,A.(2013),混合整数非线性优化。《数值学报》第22卷,剑桥大学出版社,第1-131页·Zbl 1291.65172号
[57] Berahas,A.S.、Byrd,R.H.和Nocedal,J.(2019年),“通过拟Newton方法对噪声函数进行无导数优化”,SIAM J.Optim。,出现。arXiv公司:1803.10173·Zbl 1411.90359号
[58] Bertsimas,D.和Nohadani,O.(2010),《模拟退火稳健优化》,J.Global Optim.48,323-334·Zbl 1198.90402号
[59] Bertsimas,D.、Nohadani,O.和Teo,K.M.(2010),“基于无约束仿真问题的稳健优化”,Oper。第58号决议,161-178·Zbl 1226.90074号
[60] Bhatnagar,S.、Prasad,H.和Prashanth,L.A.(2013),Kiefer-Wolfowitz算法。《优化的随机递归算法:同时扰动方法》,Springer,第31-39页·Zbl 1260.90002号
[61] Bibi,A.、Bergou,E.H.、Sener,O.、Ghanem,B.和Richtárik,P.(2019),《重要抽样的随机无导数优化方法》。arXiv:1902.01272
[62] Billups,S.C.、Larson,J.和Graf,P.(2013),“使用加权回归对具有计算误差的昂贵函数进行无导数优化”,SIAM J.Optim.55,27-53·Zbl 1295.90106号
[63] Björkman,M.和HolmströM,K.(2000),“使用径向基函数对代价高昂的非凸函数进行全局优化”,Optim。工程1,373-397·Zbl 1035.90061号
[64] Blanchet,J.、Cartis,C.、Menickelly,M.和Scheinberg,K.(2019年),“通过子鞅对随机信赖域方法的收敛速度分析”,《信息》J.Optim。,出现。arXiv:1609.07428
[65] Blum,J.R.(1954a),“以概率一收敛的近似方法”,《数学年鉴》。统计数字252382-386·Zbl 0055.37806号
[66] Blum,J.R.(1954b),“多维随机近似方法”,《数学年鉴》。统计25737-744·Zbl 0056.38305号
[67] Boender,C.G.E.,Rinnooy Kan,A.H.G.,Timmer,G.T.和Stougie,L.(1982),“全局优化的随机方法”,数学。程序.22、125-140·Zbl 0525.90076号
[68] Bogani,C.、Gasparo,M.G.和Papini,A.(2009),“一类结构非光滑优化问题的广义模式搜索方法”,J.Compute。申请。数学229283-293·Zbl 1166.65028号
[69] Bortz,D.M.和Kelley,C.T.(1998),单纯形梯度和噪声优化问题。在优化设计和控制的计算方法(Borggaard,J.等人,eds)中,Birkhäuser,第77-90页·Zbl 0927.65077号
[70] Bottou,L.、Curtis,F.E.和Nocedal,J.(2018),“大规模机器学习的优化方法”,SIAM Review60,223-311·Zbl 1397.65085号
[71] Box,G.E.P.和Draper,N.R.(1987),经验模型构建和响应面,威利·Zbl 0614.62104号
[72] Box,M.J.(1965),“约束优化的新方法及其与其他方法的比较”,计算。《期刊》第8期,第42-52页·Zbl 0142.11305号
[73] Box,M.J.(1966),“几种当前优化方法的比较,以及约束问题中变换的使用”,计算。期刊9,67-77·Zbl 0146.13304号
[74] Brekelmans,R.、Driessen,L.、Hamers,H.和Den Hertog,D.(2005),“涉及昂贵功能评估的约束优化:顺序方法”,欧洲期刊Oper。第160、121-138号决议·Zbl 1067.90151号
[75] Brent,R.P.(1973),《无导数最小化算法》,普伦蒂斯·霍尔出版社·Zbl 0245.65032号
[76] Brown,K.M.和Dennis,J.E.Jr(1971),“非线性最小二乘近似的Levenberg-Marquardt和Gauss算法的无导数类似物”,数值。数学.18289-297·Zbl 0235.65043号
[77] Bubeck,S.和Cesa-Bianchi,N.(2012年),“随机和非随机多武装匪徒问题的遗憾分析”,发现。趋势马赫数。学习.5,1-122·Zbl 1281.91051号
[78] Bubeck,S.、Lee,Y.T.和Eldan,R.(2017),基于核的土匪凸优化方法。在第49届ACM SIGACT计算机理论研讨会(STOC 2017)上,ACM,第72-85页·Zbl 1370.90175号
[79] Bubeck,S.、Munos,R.、Stoltz,G.和Szepesvári,C.(2011a),“({mathcal{X}})-武装匪徒”,J.Mach。学习。1655-1695年第12号决议·Zbl 1280.91038号
[80] Bubeck,S.、Stoltz,G.和Yu,J.Y.(2011b),没有Lipschitz常数的Lipschitz土匪。《算法学习理论》(ALT 2011)(Kivinen,J.等人,eds),Springer,第144-158页·Zbl 1349.60069号
[81] Bueno,L.F.,Friedlander,A.,Martínez,J.M.和Sobral,F.N.C.(2013),“具有光滑约束的无导数优化的不精确恢复方法”,SIAM J.Optim.23,1189-1213·Zbl 1280.65050号
[82] Buhmann,M.D.(2000),径向基函数。《数值学报》第9卷,剑桥大学出版社,第1-38页·Zbl 1004.65015号
[83] Bull,A.D.(2011),“高效全局优化算法的收敛速度”,J.Mach。学习。第12号决议,2879-2904·兹比尔1280.90094
[84] Burke,J.V.、Curtis,F.E.、Lewis,A.S.、Overton,M.L.和Simóes,L.E.A.(2018),非光滑优化的梯度采样方法。arXiv公司:1804.11003
[85] 阿拉巴马州伯尔曼。,Olenšek,J.和Tuma,T.(2015),“基于二阶方向导数的Hessian更新的网格自适应直接搜索”,计算。最佳方案。申请62693-715·Zbl 1337.90063号
[86] 阿拉巴马州伯尔曼。,Puhan,J.和Tuma,T.(2006),“网格约束Nelder-Mead算法”,计算。最佳方案。申请34359-375·Zbl 1152.90658号
[87] Carter,R.G.、Gablonsky,J.M.、Patrick,A.、Kelley,C.T.和Eslinger,O.J.(2001),《输气管道优化中噪声问题的算法》,Optim。工程2,139-157·Zbl 1079.90624号
[88] Cartis,C.和Roberts,L.(2017),无导数Gauss-Newton方法。arXiv:1710.11005·Zbl 1461.65136号
[89] Cartis,C.和Scheinberg,K.(2018),“基于概率模型的无约束优化方法的全局收敛速度分析”,数学。程序169,337-375·Zbl 1407.90307号
[90] Cartis,C.、Fiala,J.、Marteau,B.和Roberts,L.(2018),《提高基于模型的无导数优化求解器的灵活性和鲁棒性》。arXiv:1804.00154·Zbl 1486.65064号
[91] Cartis,C.、Gould,N.I.M.和Toint,P.L.(2012),“关于平滑非凸最小化的一阶和无导数算法的预言复杂性”,SIAM J.Optim.22,66-86·Zbl 1250.90083号
[92] Cartis,C.、Gould,N.I.M.和Toint,P.L.(2018),具有廉价约束的任意阶非凸优化的夏普最坏情况评估复杂性边界。arXiv:1811.01220·Zbl 1437.90128号
[93] Castle,B.(2012),用于随机优化的准纽顿方法和用于不同信息融合的基于邻近性的方法。印第安纳大学博士论文。
[94] Céa,J.(1971),《优化:Théorie et Algorithmes》,《信息数学方法》,杜诺德·兹比尔0211.17402
[95] Chandramouli,G.和Narayanan,V.(2019年),基于尺度共轭梯度的直接搜索算法,用于高维箱约束无导数优化。arXiv:1901.05215
[96] Chang,K.-H.(2012),“随机Nelder-Mead单纯形法:一种用于模拟优化的新的全局收敛直接搜索方法”,European J.Oper。第220、684-694号决议·Zbl 1253.90178号
[97] Chang,K.-H.,Hong,L.J.和Wan,H.(2013),“随机信任区域响应面方法(STRONG):模拟优化的新响应面框架”,INFORMS J.Compute.25,230-243。
[98] Chen,H.和Schmeiser,B.W.(2001),“通过回顾性近似法进行随机寻根”,IIE Trans.33,259-275。
[99] Chen,R.(2015),噪声函数的随机无导数优化。利哈伊大学博士论文。
[100] Chen,R.、Menickelly,M.和Scheinberg,K.(2018a),“使用信任区域方法和随机模型的随机优化”,数学。程序169,447-487·Zbl 1401.90136号
[101] Chen,X.和Kelley,C.T.(2016),“隐藏约束和嵌入蒙特卡罗计算的优化”,Optim。工程17,157-175·Zbl 1364.65119号
[102] Chen,X.,Kelley,C.T.,Xu,F.和Zhang,Z.(2018b),“基于Monte Carlo的有界约束复合非光滑优化的平滑直接搜索方法”,SIAM J.Sci。计算40,A2174-A2199·Zbl 1461.65138号
[103] Choi,T.D.和Kelley,C.T.(2000),“超线性收敛和隐式滤波”,SIAM J.Optim.10,1149-1162·Zbl 0994.65071号
[104] Choi,T.D.、Eslinger,O.J.、Kelley,C.T.、David,J.W.和Etheridge,M.(2000),“利用隐式过滤优化汽车气门机构部件”,Optim。工程1,9-27·Zbl 1077.93523号
[105] Ciccazo,A.、Latorre,V.、Liuzzi,G.、Lucidi,S.和Rinaldi,F.(2015),“电路设计的无导数稳健优化”,J.Optim。理论应用164842-861·Zbl 1320.90100
[106] Cocchi,G.、Liuzzi,G.,Papini,A.和Sciandone,M.(2018),“带方框约束的无导数多目标优化的隐式过滤算法”,计算。最佳方案。申请69267-296·Zbl 1400.90269号
[107] Colson,B.和Toint,P.L.(2001),“在无导数的无约束优化中利用带结构”,Optim。工程2,399-412·Zbl 1035.90083号
[108] Colson,B.和Toint,P.L.(2002),稀疏无约束优化问题的无导数算法。《工业和应用数学趋势》(Siddiqi,A.H.和Kočvara,M.主编),施普林格出版社,第131-147页。
[109] Colson,B.和Toint,P.L.(2005),“无导数优化部分可分离函数”,Optim。方法软件20493-508·Zbl 1152.90659号
[110] Conejo,P.D.、Karas,E.W.和Pedroso,L.G.(2015),“约束优化的无信任区域衍生算法”,Optim。方法软件30,1126-1145·兹比尔1328.90160
[111] Conejo,P.D.、Karas,E.W.、Pedroso,L.G.、Ribeiro,A.A.和Sachine,M.(2013),“无导数凸约束最小化信任区域算法的全局收敛性”,应用。数学。计算220,324-330·Zbl 1329.90170号
[112] Conn,A.R.和Le Digabel,S.(2013),“使用具有网格自适应直接搜索的二次模型进行约束黑箱优化”,Optim。方法软件28、139-158·兹比尔1270.90073
[113] Conn,A.R.和Toint,P.L.(1996),无约束无导数优化的二次插值算法。《非线性优化与应用》(Di Pillo,G.和Giannessi,F.编),施普林格出版社,第27-47页·Zbl 0976.90102号
[114] Conn,A.R.和Vicente,L.N.(2012),“双层无导数优化及其在稳健优化中的应用”,Optim。方法软件27561-577·Zbl 1242.90227号
[115] Conn,A.R.,Gould,N.I.M.和Toint,P.L.(1991),“用于一般约束和简单边界优化的全局收敛增广拉格朗日算法”,SIAM J.Numer。分析28545-572·Zbl 0724.65067号
[116] Conn,A.R.、Gould,N.I.M.和Toint,P.L.(2000),《信托区域方法》,SIAM·Zbl 0958.65071号
[117] Conn,A.R.,Scheinberg,K.和Toint,P.L.(1997年A),关于无约束优化无导数方法的收敛性。《近似理论与优化:向M.J.D.鲍威尔致敬》(Iserles,A.和Buhmann,M.编辑),剑桥大学出版社,第83-108页·Zbl 1042.90617号
[118] Conn,A.R.,Scheinberg,K.和Toint,P.L.(1997年b),“无导数无约束非线性优化的最新进展”,数学。程序79397-414·Zbl 0887.90154号
[119] Conn,A.R.,Scheinberg,K.和Toint,P.L.(1998年),实践中的无导数优化算法。在美国航空航天研究所举办的第七届美国国际航空航天局/美国空军/美国国家航空航天局/ISSMO多学科分析与优化研讨会上·Zbl 1042.90617号
[120] Conn,A.R.、Scheinberg,K.和Toint,P.L.(2001),DFO(无导数优化软件)。https://projects.coin-or.org/Dfo网站
[121] Conn,A.R.,Scheinberg,K.和Vicente,L.N.(2008a),“无导数优化中插值集的几何”,数学。程序111141-172·Zbl 1163.90022号
[122] Conn,A.R.、Scheinberg,K.和Vicente,L.N.(2008b),“无导数优化中样本集的几何:多项式回归和欠定插值”,IMA J.Numer。分析28721-748·Zbl 1157.65034号
[123] Conn,A.R.,Scheinberg,K.和Vicente,L.N.(2009a),“一般无导数信任区域算法到一阶和二阶临界点的全局收敛”,SIAM J.Optim.20,387-415·Zbl 1187.65062号
[124] Conn,A.R.、Scheinberg,K.和Vicente,L.N.(2009b),《无导数优化导论》,SIAM·Zbl 1163.49001号
[125] Coope,I.D.和Price,C.J.(2000),“基于框架的无约束优化方法”,J.Optim。理论应用107,261-274·兹比尔0983.90074
[126] Coope,I.D.和Tappenden,R.(2019年),“规则单纯形梯度的有效计算”,计算。最佳方案。申请72561-588·Zbl 1414.90363号
[127] Custódio,A.L.和Madeira,J.F.A.(2015),“GLODS:使用直接搜索的全局和局部优化”,J.Global Optim.62,1-28·Zbl 1328.90161号
[128] Custódio,A.L.和Madeira,J.F.A.(2016),MultiGLODS:使用直接搜索的全局和局部多目标优化。里斯本新大学技术报告·Zbl 1404.90122号
[129] Custódio,A.L.和Vicente,L.N.(2005),SID-PSM:在无导数优化中使用的由单纯形导数引导的模式搜索方法。网址:http://www.mat.uc.pt/sid-psm
[130] Custódio,A.L.和Vicente,L.N.(2007),“在模式搜索方法中使用抽样和单纯形导数”,SIAM J.Optim.18,537-555·Zbl 1144.65039号
[131] Custódio,A.L.、Dennis,J.E.Jr和Vicente,L.N.(2008),“在直接搜索方法中使用非光滑函数的单纯形梯度”,IMA J.Numer。分析28,770-784·Zbl 1156.65059号
[132] Custódio,A.L.、Madeira,J.F.A.、Vaz,A.I.F.和Vicente,L.N.(2011),“多目标优化的直接多搜索”,SIAM J.Optim.211909-1140·Zbl 1230.90167号
[133] Custódio,A.L.,Rocha,H.和Vicente,L.N.(2009),“在直接搜索中引入最小Frobenius范数模型”,Comput。最佳方案。申请46265-278·Zbl 1190.90280号
[134] Dai,L.(2016a),有限差分随机逼近算法的收敛速度,I:一般抽样。《生物医学和认知应用的传感和分析技术》(Dai,L.et al.,eds),SPIE。
[135] Dai,L.(2016b),有限差分随机逼近算法的收敛速度,II:通过常见随机数实现。《生物医学和认知应用的传感和分析技术》(Dai,L.et al.,eds),SPIE。
[136] D'Ambrosio,C.、Nannicini,G.和Sartor,G.(2017),“用于选择一组均匀分布点的MILP模型”,Oper。研究稿45,46-52·Zbl 1409.90113号
[137] Davis,C.(1954),“正线性依赖理论”,Amer。《数学杂志》第76期,第733-746页·Zbl 005825201号
[138] Davis,P.(2005),Michael J.D.Powell:口述历史。在数值分析和科学计算项目历史中,SIAM。
[139] Davis,C.和Hare,W.L.(2013),“利用已知结构近似法向锥体”,数学。操作。第38号决议,665-681·Zbl 1292.49032号
[140] De Leone,R.、Gaudioso,M.和Grippo,L.(1984),“无导数线性搜索方法的停止标准”,数学。程序30,285-300·Zbl 0576.90087号
[141] Dekel,O.,Eldan,R.和Koren,T.(2015),Bandit光滑凸优化:改进偏差-方差权衡。《神经信息处理系统进展》28(Cortes,C.等人,eds),Curran Associates,第2926-2934页。
[142] Dener,A.、Denchfield,A.、Munson,T.、Sarich,J.、Wild,S.M.、Benson,S.和Curfman Mcinnes,L.(2018),TAO 3.10用户手册。技术备忘录ANL/MCS-TM-322,阿贡国家实验室。
[143] Deng,G.和Ferris,M.C.(2009),“可变数量样本路径优化”,数学。计划117,81-109·Zbl 1165.90013号
[144] Deng,G.和Ferris,M.C.(2006),UOBYQA算法对噪声函数的适应性。2006年冬季模拟会议记录,IEEE,第312-319页。
[145] Dennis,J.E.Jr和Torczon,V.(1991),“并行机器上的直接搜索方法”,SIAM J.Optim.1,448-474·兹比尔0754.90051
[146] Dennis,J.E.Jr和Torczon,V.(1997),《优化中的近似模型管理》。《多学科设计优化:现状》(Alexandrov,N.M.和Hussaini,M.Y.编辑),SIAM,第330-347页。
[147] Dennis,J.E.Jr和Woods,D.J.(1987),微型计算机上的优化:Nelder-Mead单纯形算法。《新计算环境:大规模计算中的微型计算机》(Wouk,A.编辑),SIAM,第116-122页。
[148] Derman,C.(1956),“Chung引理在Kiefer-Wolfowitz随机逼近过程中的应用”,《数学年鉴》。统计27,532-536·Zbl 0074.35502号
[149] Diaz,G.I.、Fokoue-Nkoutche,A.、Nannicini,G.和Samulowitz,H.(2017),“神经网络超参数优化的有效算法”,IBM J.Res.Develop.61,9:1-9:11。
[150] Diniz Ehrhardt,M.A.,Martínez,J.M.和Pedroso,L.G.(2011),“具有一般低阶约束的非线性规划的无导数方法”,Comput。申请。数学30,19-52·Zbl 1222.90060号
[151] Diniz-Ehrhardt,M.A.、Martínez,J.M.和Raydan,M.(2008),“无约束优化的无导数非单调线搜索技术”,J.Compute。申请。数学219,383-397·Zbl 1149.65041号
[152] Dodangeh,M.和Vicente,L.N.(2016),“凸性下直接搜索的最坏情况复杂性”,数学。计划155,307-332·Zbl 1338.90462号
[153] Dodangeh,M.、Vicente,L.N.和Zhang,Z.(2016),“关于直接搜索最坏情况复杂性的最优顺序”,Optim。信件10,699-708·Zbl 1346.90764号
[154] Dolan,E.D.、Lewis,R.M.和Torczon,V.(2003),“关于模式搜索的局部收敛性”,SIAM J.Optim.14,567-583·兹比尔1055.65074
[155] Duchi,J.C.、Jordan,M.I.、Wainwright,M.J.和Wibisono,A.(2015),“零阶凸优化的最佳速率:两个函数评估的威力”,IEEE Trans。通知。Theory612788-2806年·Zbl 1359.90155号
[156] Durrett,R.(2010),《概率:理论与实例》,剑桥大学出版社·Zbl 1202.60001号
[157] Dvurechensky,P.、Gasnikov,A.和Gorbunov,E.(2018),无导数光滑随机凸优化的加速方法。arXiv:1802.09022·Zbl 1494.90058号
[158] Echebest,N.、Schuverdt,M.L.和Vignau,R.P.(2015),“非线性规划的不精确恢复无导数滤波方法”,计算。申请。数学36,693-718·Zbl 1359.65092号
[159] Ehrgott,M.(2005),《多准则优化》,第二版,施普林格出版社·兹比尔1132.90001
[160] Elster,C.和Neumaier,A.(1995),“噪声函数边界约束优化的网格算法”,IMA J.Numer。分析15585-608·Zbl 0831.65063号
[161] Fabian,V.(1971),《随机近似》。《统计学中的优化方法》,Elsevier,第439-470页·兹伯利0274.62060
[162] Fasano,G.、Liuzzi,G.,Lucidi,S.和Rinaldi,F.(2014),“非光滑约束优化的基于线性搜索的无导数方法”,SIAM J.Optim.24,959-992·Zbl 1302.90207号
[163] Fasano,G.、Morales,J.L.和Nocedal,J.(2009),“关于无导数优化基于模型算法的几何阶段”,Optim。方法软件24145-154·Zbl 1154.90589号
[164] Fermi,E.和Metropolis,N.(1952),最小问题的数值解。技术报告LA-1492,加利福尼亚大学洛斯阿拉莫斯科学实验室。
[165] Ferreira,P.S.、Karas,E.W.、Sachine,M.和Sobral,F.N.C.(2017),“非线性规划无导数不精确恢复滤波算法的全局收敛性”,优化66,271-292·Zbl 1365.90237号
[166] Finkel,D.E.和Kelley,C.T.(2004),DIRECT算法的收敛性分析。技术报告04-28,北卡罗来纳州立大学科学计算研究中心。https://projects.ncsu.edu/crsc/reports/ftp/pdf/crsc-tr04-28.pdf
[167] Finkel,D.E.和Kelley,C.T.(2006),“加性缩放和DIRECT算法”,J.Global Optim.36,597-608·Zbl 1142.90488号
[168] Finkel,D.E.和Kelley,C.T.(2009),“扰动Lipschitz函数采样方法的收敛性分析”,太平洋J.Optim.5,339-350·Zbl 1181.65084号
[169] Flaxman,A.、Kalai,A.和Mcmahan,B.(2005),《强盗设置中的在线凸优化:无梯度的梯度下降》。第16届ACM-SIAM离散算法年会(SODA'05),ACM,第385-394页·Zbl 1297.90117号
[170] Fletcher,R.(1965),“函数最小化,不计算导数:综述”,计算。《期刊》第8卷,第33-41页·Zbl 0139.10401号
[171] Fletcher,R.(1987),《实用优化方法》,第二版,Wiley·Zbl 0905.65002号
[172] Forrester,A.、Sobester,A.和Keane,A.(2008),《通过替代建模进行工程设计:实用指南》,威利出版社。
[173] Forth,S.、Hovland,P.、Phipps,E.、Utke,J.和Walther,A.编辑(2012年),算法区分的最新进展,Springer·Zbl 1247.65002号
[174] Frandi,E.和Papini,A.(2013),“多级优化中的协调搜索算法”,Optim。方法软件291020-1041·Zbl 1305.90382号
[175] Frazier,P.I.(2018),贝叶斯优化教程。arXiv公司:1807.02811
[176] Frimannslund,L.和Steihaug,T.(2007),“使用曲率信息的发电集搜索方法”,计算。最佳方案。申请38,105-121·Zbl 1171.90552号
[177] Frimannslund,L.和Steihaug,T.(2010),部分可分离函数的新生成集搜索算法。在第四届国际先进工程计算和科学应用会议(ADVCOMP 2010)上,IARIA,第65-70页。
[178] Frimannslund,L.和Steihaug,T.(2011),“关于无导数优化的新方法”,国际出版社。J.高级软件4,244-255。
[179] Fu,M.C.、Glover,F.W.和April,J.(2005),《模拟优化:综述、新发展和应用》。在《2005年冬季模拟会议论文集》中,IEEE。
[180] Gao,F.和Han,L.(2012),“使用自适应参数实现Nelder-Mead单纯形算法”,计算。最佳方案。申请51,259-277·Zbl 1245.90121号
[181] García-Palomares,U.M.和Rodríguez,J.F.(2002),“用于无约束最小化的新的序列和并行无导数算法”,SIAM J.Optim.1379-96·Zbl 1049.90133号
[182] García-Palomares,U.M.、Garcí)a-Urrea,I.J.和Rodríguez-Hernández,P.S.(2013),“关于箱约束优化的顺序和并行非单调无导数算法”,Optim。方法软件281233-1261·Zbl 1278.65088号
[183] Garmanjani,R.和Vicente,L.N.(2012),“非光滑优化中直接搜索方法的平滑和最坏情况复杂性”,IMA J.Numer。分析331008-1028·Zbl 1272.65050号
[184] Garmanjani,R.,Júdice,D.和Vicente,L.N.(2016),“不使用导数的信赖域方法:最坏情况复杂性和非光滑情况”,SIAM J.Optim.261987-2011·Zbl 1348.90572号
[185] Gasnikov,A.V.、Krymova,E.A.、Lagunovskaya,A.A.、Usmanova,I.N.和Fedorenko,F.A.(2017),“随机在线优化:单点和多点非线性多武装匪徒;凸和强凸情形',Automat。远程控制78,224-234·Zbl 1362.93165号
[186] Gerencsér,L.(1997),Spall的SPSA方法的矩收敛速度。《随机微分和差分方程》,Birkhäuser,第67-75页·Zbl 1007.62524号
[187] Ghadimi,S.(2019),“复合非线性随机优化的条件梯度型方法”,数学。程序173,431-464·Zbl 1410.90150号
[188] Ghadimi,S.和Lan,G.(2013),“非凸随机规划的随机一阶和零阶方法”,SIAM J.Optim.23,2341-2368·Zbl 1295.90026号
[189] Gill,P.E.、Murray,W.和Wright,M.H.(1981),《实用优化》,学术出版社·Zbl 0503.90062号
[190] Gill,P.E.,Murray,W.,Saunders,M.A.和Wright,M.H.(1983),“计算数值优化的前向差分区间”,SIAM J.Sci。统计师。计算4,310-321·Zbl 0514.65044号
[191] Gilmore,P.和Kelley,C.T.(1995),“用于优化具有许多局部极小值的函数的隐式滤波算法”,SIAM J.Optim.5,269-285·Zbl 0828.65064号
[192] Glass,H.和Cooper,L.(1965),“顺序搜索:求解约束优化问题的方法”,J.Assoc.Compute。马赫数12,71-82·Zbl 0156.38804号
[193] Golovin,D.、Solnik,B.、Moitra,S.、Kochanski,G.、Karro,J.和Sculley,D.(2017),谷歌Vizier:一项黑盒优化服务。在第23届ACM SIGKDD知识发现和数据挖掘国际会议(KDD’17)上,ACM,第1487-1495页。
[194] Gonzaga,C.C.、Karas,E.和Vanti,M.(2004),“非线性规划的全局收敛滤波方法”,SIAM J.Optim.14,646-669·Zbl 1079.90129号
[195] Gould,N.I.M.和Toint,P.L.(2010),“无惩罚函数或过滤器的非线性规划”,数学。计划122155-196·Zbl 1216.90069号
[196] Gramacy,R.B.和Le Digabel,S.(2015),“网格自适应直接搜索算法与树高斯过程代理”,太平洋J.Optim.11,419-447·兹比尔1327.90308
[197] Grapiglia,G.N.、Yuan,J.和Yuan、Y.-X.(2016),“复合非光滑优化的无导数信任区域算法”,计算。申请。数学35,475-499·Zbl 1371.49014号
[198] Gratton,S.和Vicente,L.N.(2014),“直接搜索的优函数方法”,SIAM J.Optim.241980-1998·Zbl 1318.90077号
[199] Gratton,S.、Royer,C.W.和Vicente,L.N.(2016),“二阶全局收敛直接搜索方法及其最坏情况复杂性”,Optimization651105-1128·Zbl 1338.90463号
[200] Gratton,S.、Royer,C.W.和Vicente,L.N.(2019a),“具有改进复杂性边界的非凸非线性无约束优化的解耦一阶/二阶步长技术”,数学。程序。doi:10.1007/s10107-018-1328-7·Zbl 1437.90130号
[201] Gratton,S.、Royer,C.W.、Vicente,L.N.和Zhang,Z(2015),“基于概率下降的直接搜索”,SIAM J.Optim.2515-1541·兹比尔1327.90395
[202] Gratton,S.、Royer,C.W.、Vicente,L.N.和Zhang,Z(2018),“基于概率模型的信任区域方法的复杂性和全球比率”,IMA J.Numer。分析381579-1597·Zbl 1477.65093号
[203] Gratton,S.、Royer,C.W.、Vicente,L.N.和Zhang,Z(2019b),“基于概率可行下降的约束和线性约束问题的直接搜索”,计算。最佳方案。申请72525-559·Zbl 1420.90083
[204] Gratton,S.、Toint,P.L.和Tröltzsch,A.(2011),“无导数非线性有界约束优化的主动集信任域方法”,Optim。方法软件26873-894·Zbl 1229.90138号
[205] Gray,G.A.和Kolda,T.G.(2006),“算法856:APPSPACK 4.0:无导数优化的异步并行模式搜索”,ACM Trans。数学。软件32485-507·Zbl 1230.90196号
[206] Griewank,A.(2003),《自动微分的数学观点》。《数值学报》第12卷,剑桥大学出版社,第321-398页·Zbl 1047.65012号
[207] Griewank,A.和Walther,A.(2008),《评估衍生品:算法区分的原理和技术》,SIAM·Zbl 1159.65026号
[208] Greewank,A.、Walther,A.、Fiege,S.和Bosse,T.(2016),“基于灰盒分段线性化的Lipschitz优化”,数学。计划158,383-415·Zbl 1350.49038号
[209] Grippo,L.和Rinaldi,F.(2014),“一类采用坐标旋转和梯度近似的无导数非单调优化算法”,计算。最佳方案。申请60,1-33·Zbl 1316.90065号
[210] Grippo,L.和Sciandone,M.(2007),“非线性方程的非单调无导数方法”,计算。最佳方案。申请37297-328·Zbl 1180.90310号
[211] Grippo,L.、Lampariello,F.和Lucidi,S.(1988),“无导数的无约束最小化方法的全局收敛和稳定性”,J.Optim。理论应用56385-406·Zbl 0619.90063号
[212] Gu,B.,Huo,Z.和Huang,H.(2016),带方差减少的零阶异步双随机算法。arXiv公司:1612.01425
[213] Gumma,E.A.E.、Hashim,M.H.A.和Ali,M.M.(2014),“线性约束优化问题的无导数算法”,计算。最佳方案。申请57599-621·Zbl 1304.90193号
[214] Gunzburger,M.D.、Webster,C.G.和Zhang,G.(2014),随机输入数据偏微分方程的随机有限元方法。《数字学报》,第23卷,剑桥大学出版社,第521-650页·Zbl 1398.65299号
[215] Gutmann,H.-M.(2001),“用于全局优化的径向基函数方法”,J.global Optim.19201-227·Zbl 0972.90055号
[216] Han,L.和Liu,G.(2004),“关于UOBYQA方法的收敛性”,J.Appl。数学。计算16、125-142·Zbl 1129.90380号
[217] Hansen,P.、Jaumard,B.和Lu,S.-H.(1991),“关于Piyavskii全局优化算法的迭代次数”,数学。操作。第16334-350号决议·Zbl 0742.90069号
[218] Hare,W.L.(2014),“({mathcal{V}}{mathcal{U}})-分解、({mathcal{U}{)-梯度和({matchal{U{)-Hessian近似的数值分析”,SIAM J.Optim.241890-1913·Zbl 1318.49053号
[219] Hare,W.L.(2017),“凸函数和完全线性模型的组成”,Optim。第11号信件,1217-1227·Zbl 1408.90323号
[220] Hare,W.L.和Lewis,A.S.(2005年),“在不考虑微积分的情况下估计切线锥和法向锥”,《数学》。操作。第30号决议,785-799·Zbl 1254.49008号
[221] Hare,W.L.和Lucet,Y.(2013),“通过近点方法进行无导数优化”,J.Optim。理论应用160、204-220·Zbl 1291.90317号
[222] Hare,W.L.和Macklem,M.(2013),“有限极大极小问题的无导数优化方法”,Optim。方法软件28,300-312·Zbl 1270.90099
[223] Hare,W.L.和Nutini,J.(2013),“有限极大极小问题的无导数近似梯度采样算法”,计算。最佳方案。申请56,1-38·Zbl 1300.90064号
[224] Hare,W.L.,Planiden,C.和Sagastizábal,C.(2019),凸有限极大问题的无导数算法。arXiv:1903.11184年·Zbl 1443.90331号
[225] Hazan,E.、Koren,T.和Levy,K.Y.(2014),Logistic回归:随机和在线优化的严格界限。第27届学习理论会议(COLT 2014)(Balcan,M.F.等人,eds)。程序。机器。学习。197-209年第35号决议。
[226] He,J.,Verstak,A.,Sosonkina,M.和Watson,L.T.(2009a),“大规模并行DIRECT的性能建模和分析,第2部分”,《国际》。J.高性能计算。申请23,29-41。
[227] He,J.,Verstak,A.,Watson,L.T.和Sosonkina,M.(2007),“DIRECT大规模并行版本的设计和实现”,计算。最佳方案。申请40217-245·Zbl 1181.90138号
[228] He,J.,Verstak,A.,Watson,L.T.和Sosonkina,M.(2009b),“大规模并行DIRECT的性能建模和分析,第1部分”,《国际》。J.高性能计算机。申请23,14-28。
[229] He,J.,Watson,L.T.和Sosonkina,M.(2009c),“算法897:VTDIRECT95:全局优化算法DIRECT的串行和并行代码”,ACM Trans。数学。软件36,1-24·兹比尔1364.65127
[230] Homem-De-Mello,T.和Bayraksan,G.(2014),“基于蒙特卡罗抽样的随机优化方法”,Surv。操作。资源管理。科学.19,56-85。
[231] Hooke,R.和Jeeves,T.A.(1961),“直接搜索”数值和统计问题的解决方案,J.Assoc.Compute。马赫数8,212-229·Zbl 0111.12501号
[232] Hough,P.D.和Meza,J.C.(2002),“一类用于并行优化的信任区域方法”,SIAM J.Optim.13,264-282·兹比尔1014.65051
[233] Hough,P.D.、Kolda,T.G.和Torczon,V.J.(2001),“非线性优化的异步并行模式搜索”,SIAM J.Sci。计算23134-156·Zbl 0990.65067号
[234] Hu,X.,Prashanth,L.A.,György,A.和Szepesvári,C.(2016),(Bandit)带偏置噪声梯度预言的凸优化。在第19届国际人工智能和统计会议上。程序。机器。学习。第51号决议,819-828。
[235] Hutchison,D.W.和Spall,J.C.(2013),随机近似。《运筹学与管理科学百科全书》,斯普林格出版社,第1470-1476页。
[236] Huyer,W.和Neumaier,A.(1999),“通过多级坐标搜索进行全局优化”,J.Global Optim.14,331-355·Zbl 0956.90045号
[237] Huyer,W.和Neumaier,A.(2008),“SNOBFIT:通过分支和拟合实现稳定的噪声优化”,ACM Trans。数学。软件35,9:1-9:25。
[238] Ilievski,I.、Akhtar,T.、Feng,J.和Shoemaker,C.(2017),使用确定性RBF代理的深度学习算法的高效超参数优化。第31届AAAI人工智能会议(AAAI’17),第822-829页。
[239] Jamieson,K.G.、Nowak,R.D.和Recht,B.(2012),无导数优化的查询复杂性。《神经信息处理系统进展》25(Pereira,F.et al.,eds),Curran Associates,第2672-2680页。
[240] Jones,D.R.、Perttunen,C.D.和Stuckman,B.E.(1993),“无利普希茨常数的利普希兹优化”,J.Optim。理论应用79,157-181·Zbl 0796.49032号
[241] Jones,D.R.、Schonlau,M.和Welch,W.J.(1998),“昂贵黑盒函数的高效全局优化”,J.global Optim.13,455-492·Zbl 0917.90270号
[242] Karmanov,V.G.(1974),“迭代最小化方法的收敛估计”,苏联计算。数学。数学。物理14,1-13·Zbl 0297.90076号
[243] Kelley,C.T.(1999a),“使用充分减少条件检测和补救Nelder-Mead算法中的停滞”,SIAM J.Optim.10,43-55·Zbl 0962.65048号
[244] Kelley,C.T.(1999b),优化迭代方法,SIAM·Zbl 0934.90082号
[245] Kelley,C.T.(2003),隐式滤波和非线性最小二乘问题。在系统建模与优化XX(Sachs,E.W.和Tichatschke,R.编辑)中,Springer,第71-90页·兹比尔1096.93031
[246] Kelley,C.T.(2011),隐式过滤,SIAM·Zbl 1246.68017号
[247] Khan,K.A.、Larson,J.和Wild,S.M.(2018),“用于优化非凸函数的流形采样,非凸函数是光滑分量的分段线性组成”,SIAM J.Optim.28,3001-3024·Zbl 1407.90351号
[248] Kiefer,J.和Wolfowitz,J.(1952),“回归函数最大值的随机估计”,《数学年鉴》。统计22,462-466·Zbl 0049.36601号
[249] Kim,S.和Ryu,J.-H.(2011),“双目标随机优化的信任区域算法”,Procedia Compute。《科学》第四卷,1422-1430年。
[250] Kim,S.和Zhang,D.(2010),随机优化直接搜索方法的收敛性。2010年冬季模拟会议论文集,IEEE。
[251] Kim,S.、Pasupathy,R.和Henderson,S.G.(2015),样本平均近似值指南。《模拟优化手册》(Fu,M.,ed.),第216卷,Springer,第207-243页。
[252] Kiwiel,K.C.(2010),“非光滑非凸优化梯度采样算法的非导数版本”,SIAM J.Optim.201983-1994·Zbl 1205.90230号
[253] Kleinberg,R.、Slivkins,A.和Upfal,E.(2008),《公制空间中的多武器强盗》。在第40届ACM计算理论年会(STOC 2008)上,ACM,第681-690页·Zbl 1231.91048号
[254] Kleinman,N.L.、Spall,J.C.和Naiman,D.Q.(1999),“基于模拟的优化,使用常见随机数进行随机近似”,Manag。科学451570-1578·Zbl 0946.90040号
[255] Knowles,J.和Corne,D.(2002),《关于比较非支配集的指标》。2002年进化计算大会会议记录,第1卷,IEEE,第711-716页。
[256] Kolda,T.G.、Lewis,R.M.和Torczon,V.(2006),“线性约束优化发电集搜索的平稳性结果”,SIAM J.Optim.17,943-968·Zbl 1126.90076号
[257] Kolda,T.G.、Lewis,R.M.和Torczon,V.J.(2003),“直接搜索优化:一些经典和现代方法的新视角”,SIAM Review45385-482·Zbl 1059.90146号
[258] Konečn,J.和Richtárik,P.(2014),简化直接搜索的简单复杂性分析。arXiv:1410.0390
[259] Kushner,H.和Yin,G.(2003),《随机逼近和递归算法及应用》,Springer出版社·Zbl 1026.62084号
[260] Kushner,H.J.和Huang,H.(1979),“随机近似型算法的收敛速度”,SIAM J.Control Optim.17,607-617·Zbl 0418.93093号
[261] La Cruz,W.(2014),“凸约束非线性方程的投影无导数算法”,Optim。方法软件29,24-41·Zbl 1285.65028号
[262] La Cruz,W.、Martínez,J.M.和Raydan,M.(2006),“求解大型非线性方程组的无梯度信息谱残差法”,数学。计算75(255),1429-1449·Zbl 1122.65049号
[263] Lagarias,J.C.、Poonen,B.和Wright,M.H.(2012),“二维受限Nelder-Mead算法的收敛性”,SIAM J.Optim.22,501-532·Zbl 1246.49029号
[264] Lagarias,J.C.,Reeds,J.A.,Wright,M.H.和Wright,P.E.(1998),“低维Nelder-Mead单纯形算法的收敛性”,SIAM J.Optim.9112-147·Zbl 1005.90056号
[265] Lai,T.L.和Robbins,H.(1985),“渐进有效的自适应分配规则”,高级应用。数学6,4-22·兹伯利0568.62074
[266] Larson,J.和Billups,S.C.(2016),“使用信赖域框架的无随机导数优化”,计算。最佳方案。申请64619-645·Zbl 1381.90098号
[267] Larson,J.和Wild,S.M.(2016),“寻找多个局部极小值的批处理无导数算法”,Optim。工程17,205-228·Zbl 1364.90363号
[268] Larson,J.和Wild,S.M.(2018),“用于寻找多个最小值的异步并行优化求解器”,数学。程序。计算10,303-332·Zbl 1398.65123号
[269] Larson,J.、Leyffer,S.、Palkar,P.和Wild,S.M.(2019),凸黑盒整数全局优化方法。arXiv:1903.11366年·Zbl 1473.90181号
[270] Larson,J.、Menickelly,M.和Wild,S.M.(2016),“非凸优化的流形采样”,SIAM J.Optim.262540-2563·Zbl 1351.90167号
[271] Latorre,V.、Habal,H.、Graeb,H.和Lucidi,S.(2019年),“电路最坏情况分析的无导数方法”,Optim。莱特。doi:10.1007/s11590-018-1364-5·Zbl 1431.90178号
[272] Lazar,M.和Jarre,F.(2016),“不使用导数的优化校准”,Optim。工程17,833-860·Zbl 1364.90408号
[273] Le Digabel,S.(2011),“算法909:NOMAD:使用MADS算法的非线性优化”,ACM Trans。数学。软件37,44:1-44:15·Zbl 1365.65172号
[274] Le Digabel,S.和Wild,S.M.(2015),基于黑盒模拟的优化中的约束分类。arXiv:1505.07881
[275] Le Gratiet,L.和Cannamela,C.(2015),“使用快速交叉验证技术对多保真计算机代码进行基于协克里金的序列设计策略”,Technometrics57,418-427。
[276] L'Ecuyer,P.和Yin,G.(1998),“随机近似的预算依赖收敛速度”,SIAM J.Optim.8,217-247·Zbl 0911.60003号
[277] Lee,H.、Gramacy,R.B.、Linkletter,C.和Gray,G.A.(2011年),“通过统计模拟受隐藏约束的优化”,《太平洋杂志》第7期,第467-478页·Zbl 1513.62193号
[278] Lemarechal,C.&Mifflin,R.编辑(1978),《非光滑优化:IIASA研讨会论文集》,佩加蒙出版社·Zbl 0391.00019号
[279] Levenberg,K.(1944),“用最小二乘法解决某些非线性问题的方法”,夸特。申请。数学2,164-168·Zbl 0063.03501号
[280] Lewis,R.M.和Torczon,V.(1999),“边界约束最小化的模式搜索算法”,SIAM J.Optim.9,1082-1099·Zbl 1031.90047号
[281] Lewis,R.M.和Torczon,V.(2000),“线性约束最小化的模式搜索方法”,SIAM J.Optim.10,917-941·Zbl 1031.90048号
[282] Lewis,R.M.和Torczon,V.(2002),“用于一般约束和简单边界优化的全局收敛增广拉格朗日模式搜索算法”,SIAM J.Optim.12,1075-1089·兹比尔1011.65030
[283] Lewis,R.M.和Torczon,V.(2010),使用增广拉格朗日方法直接搜索非线性规划问题,并显式处理线性约束。技术报告WM-CS-2010-01,威廉和玛丽学院计算机科学系。
[284] Lewis,R.M.,Torczon,V.和Trosset,M.W.(2000),“直接搜索方法:当时和现在”,J.Comput。申请。数学124,191-207·Zbl 0969.65055号
[285] Leyffer,S.(2015),“这是为了解决问题:对罗杰·弗莱彻的采访”,Optima99,1-6。
[286] Li,D.-H.和Fukushima,M.(2000),“非线性方程的Broyden类方法的无导数线搜索和全局收敛性”,Optim。方法软件13,181-201·兹伯利0960.65076
[287] Li,Q.和Li,D.-H.(2011),“大型非线性单调方程的一类无导数方法”,IMA J.Numer。分析311625-1635·Zbl 1241.65047号
[288] Liu,Q.,Zeng,J.和Yang,G.(2015),“MrDIRECT:全局优化问题的多级鲁棒DIRECT算法”,J.global Optim.62205-227·Zbl 1326.90065号
[289] Liu,S.,Kailkhura,B.,Chen,P.-Y.,Ting,P.,Chang,S.和Amini,L.(2018),非凸优化的零阶随机方差缩减。《神经信息处理系统进展》31(Bengio,S.等人,eds),Curran Associates,第3731-3741页。
[290] Liuzzi,G.和Lucidi,S.(2009),“通过(ell_{infty})罚函数的平滑实现不等式约束非线性规划的无导数算法”,SIAM J.Optim.20,1-29·Zbl 1187.65065号
[291] Liuzzi,G.、Lucidi,S.和Rinaldi,F.(2011),“约束混合积分优化的无导数方法”,计算。最佳方案。申请53505-526·Zbl 1257.90058号
[292] Liuzzi,G.、Lucidi,S.和Rinaldi,F.(2015),“混合整数约束优化问题的无导数方法”,J.Optim。理论应用164933-965·Zbl 1321.90087号
[293] Liuzzi,G.、Lucidi,S.和Rinaldi,F.(2016),“约束多目标非光滑优化的无导数方法”,SIAM J.Optim.26274-2774·Zbl 1358.90133号
[294] Liuzzi,G.、Lucidi,S.和Rinaldi,F.(2018年),基于基本方向和非单调线搜索的算法框架,用于求解带整数变量的黑盒问题。报告6471,在线优化。http://www.optimization-online.org/DB_HTML/2018/02/6471.HTML ·Zbl 1452.90322号
[295] Liuzzi,G.、Lucidi,S.和Sciandone,M.(2006),“线性约束有限极大极小问题的无导数算法”,SIAM J.Optim.16,1054-1075·Zbl 1131.90074号
[296] Liuzzi,G.、Lucidi,S.和Sciandone,M.(2010),“非线性约束优化的无惩罚导数序列方法”,SIAM J.Optim.20,2614-2635·Zbl 1223.65045号
[297] Lucidi,S.和Sciandone,M.(2002a),“边界约束优化的无导数算法”,计算。最佳方案。申请21,119-142·Zbl 0988.90033号
[298] Lucidi,S.和Sciandone,M.(2002b),“关于无约束优化无导数方法的全局收敛性”,SIAM J.Optim.13,97-116·Zbl 1027.90112号
[299] Lucidi,S.、Sciandone,M.和Tseng,P.(2002),“约束优化的无目标导数方法”,数学。程序92,37-59·Zbl 1024.90062号
[300] Ma,J.和Zhang,X.(2009),“有限极大极小问题的模式搜索方法”,J.Appl。数学。计算32,491-506·Zbl 1196.65104号
[301] Madsen,K.(1975),不计算导数的非线性方程的Minimax解。在不可微优化(Balinski,M.L.和Wolfe,P.,eds)中,Springer,第110-126页·Zbl 0364.90085号
[302] Maggiar,A.、Wächter,A.、Dolinskaya,I.S.和Staum,J.(2018),“使用自适应多重重要性采样,通过高斯卷积平滑函数优化的无导数信任区域算法”,SIAM J.Optim.281478-1507·Zbl 1390.90410号
[303] Marazzi,M.和Nocedal,J.(2002),“无导数优化的楔形信赖域方法”,数学。程序91,289-305·Zbl 1049.90134号
[304] March,A.和Willcox,K.(2012),“不需要高保真度导数的可证明收敛的多理想优化算法”,AIAA J.501079-1089。
[305] Marquardt,D.W.(1963),“非线性参数最小二乘估计算法”,J.Soc.Ind.Appl。数学11,431-441·Zbl 0112.10505号
[306] Martínez,J.M.和Sobral,F.N.C.(2012),“薄域上的约束无导数优化”,J.Global Optim.56,1217-1232·Zbl 1272.90091号
[307] Matyas,J.(1965),“随机优化”,自动化。远程控制26246-253·Zbl 0151.22802号
[308] May,J.H.(1974),线性约束非线性规划:不需要解析导数的求解方法。耶鲁大学博士论文。
[309] May,J.H.(1979),“不使用解析导数求解非线性程序”,Oper。第27号决议,第457-484页·Zbl 0417.90079号
[310] Mckinney,R.L.(1962),“线性空间的正基”,Trans。阿默尔。数学。Soc.103、131-131·Zbl 0115.32901号
[311] Mckinnon,K.I.M.(1998),“Nelder-Mead单纯形方法到非平稳点的收敛性”,SIAM J.Optim.9,148-158·Zbl 0962.65049号
[312] Menickelly,M.(2017),非线性优化中的随机模型。利海大学博士论文。
[313] Menickelly,M.和Wild,S.M.(2019),“通过外部近似实现无导数稳健优化”,数学。程序。doi:10.1007/s10107-018-1326-9·Zbl 1435.90096号
[314] Mersha,A.G.和Dempe,S.(2011),“双层规划问题的直接搜索算法”,计算。最佳方案。申请49,1-15·Zbl 1242.90240号
[315] Mifflin,R.(1975),“在不计算导数的情况下最小化的超线性收敛算法”,数学。程序.9100-117·Zbl 0327.90027号
[316] Mockus,J.(1989),《贝叶斯全局优化方法:理论与应用》,施普林格出版社·Zbl 0693.49001号
[317] Moré,J.J.(1978),Levenberg-Marquardt算法:实现与理论。数值分析:Dundee 1977(Watson,G.A.编辑),Springer,第105-116页·Zbl 0372.65022号
[318] Moré,J.J.和Sorensen,D.C.(1983),“计算信任区域步骤”,SIAM J.Sci。统计师。计算数4553-572·Zbl 0551.65042号
[319] Moré,J.J.和Wild,S.M.(2009),“无导数优化算法基准测试”,SIAM J.Optim.20,172-191·兹比尔1187.90319
[320] Moré,J.J.和Wild,S.M.(2011),“估算计算噪声”,SIAM J.Sci。计算331292-1314·Zbl 1243.65016号
[321] Moré,J.J.和Wild,S.M.(2012),“估计噪声模拟的导数”,ACM Trans。数学。软件38,19:1-19:21·Zbl 1365.65056号
[322] Moré,J.J.和Wild,S.M.(2014),“你信任衍生品还是差异?”,J.计算。物理273,268-277·兹比尔1352.65668
[323] Morini,B.、Porcelli,M.和Toint,P.L.(2018),“约束非线性系统的近似范数下降方法”,数学。计算87(311),1327-1351·Zbl 1383.65051号
[324] Müller,J.(2016),“MISO:混合集成代理优化框架”,Optim。工程17,177-203·Zbl 1364.90230号
[325] Müller,J.和Day,M.(2019),“具有隐藏约束的计算代价高昂的黑盒问题的替代优化”,INFORMS J.Compute。,出现·Zbl 1528.90199号
[326] Müller,J.和Woodbury,J.D.(2017),“GOSAC:约束代理近似的全局优化”,J.Global Optim.69,117-136·Zbl 1373.90118号
[327] Müller,J.、Shoemaker,C.A.和Piché,R.(2013a),“SO-I:昂贵非线性整数规划问题的代理模型算法,包括全局优化应用”,J.global Optim.59,865-889·Zbl 1305.90305号
[328] Müller,J.、Shoemaker,C.A.和Piché,R.(2013b),“SO-MI:用于计算成本高昂的非线性混合整数黑盒全局优化问题的代理模型算法”,计算。操作。1383-1400年第40号决议·Zbl 1352.90067号
[329] Munos,R.(2011),在不了解其光滑性的情况下对确定性函数进行乐观优化。《神经信息处理系统的进展》24(Shawe-Taylor,J.等人编辑),Curran Associates,第783-791页。
[330] Nash,S.G.(2000),“离散优化问题的多重网格方法”,Optim。方法软件14,99-116·Zbl 0988.90040号
[331] Nazareth,L.和Tseng,P.(2002),“给百合镀金:基于黄金分割搜索的Nelder-Mead算法的变体”,计算。最佳方案。申请22133-144·Zbl 1007.90062号
[332] Nelder,J.A.和Mead,R.(1965),“函数最小化的单纯形方法”,计算。期刊7,308-313·Zbl 0229.65053号
[333] Nesterov,Y.(2004),《凸优化导论:基础课程》,施普林格出版社·Zbl 1086.90045号
[334] Nesterov,Y.和Spokoiny,V.(2017),“凸函数的随机无梯度最小化”,发现。计算。数学17,527-566·Zbl 1380.90220号
[335] Neumaier,A.(2004),连续全局优化和约束满足中的完全搜索。《数字学报》第13卷,剑桥大学出版社,第271-369页·Zbl 1113.90124号
[336] Neumaier,A.、Fendl,H.、Schilly,H.和Leitner,T.(2011),“VXQR:基于QR分解的无导数无约束优化”,软计算.152287-2298。
[337] Newby,E.和Ali,M.M.(2015),“混合整数规划的基于信任区域的无导数算法”,计算。最佳方案。申请6199-229·Zbl 1308.90112号
[338] Oeuvray,R.(2005),基于径向基函数的信赖域方法及其在生物医学成像中的应用。博士论文,EPFL。
[339] Oeuvray,R.和Bierlaire,M.(2009),“BOOSTERS:基于径向基函数的无导数算法”,国际。J.模型。模拟29,26-36。
[340] Olsson,P.-M.(2014),网络优化和并行无导数优化方法。林雪平大学博士论文。
[341] Omojokun,E.O.(1989),非线性等式和不等式约束优化的信赖域算法。科罗拉多大学博尔德分校博士论文。
[342] Paquette,C.和Scheinberg,K.(2018),带收敛速度分析的随机线搜索方法。arXiv公司:1807.07994·Zbl 1431.90153号
[343] Pasupathy,R.(2010),“关于在随机寻根和模拟优化的回顾近似算法中选择参数”,Oper。第58、889-901号决议·Zbl 1228.90069号
[344] Pasupathy,R.、Glynn,P.、Ghosh,S.和Hashemi,F.S.(2018),“基于模拟的递归中的采样率”,SIAM J.Optim.28,45-73·Zbl 1380.93168号
[345] Patel,N.R.、Smith,R.L.和Zabinsky,Z.B.(1989),“蒙特卡罗优化中的纯自适应搜索”,数学。程序43,317-328·Zbl 0671.90047号
[346] Peckham,G.(1970),“在不计算梯度的情况下最小化平方和的新方法”,计算。《期刊》第13期,第418-420页·Zbl 0227.65037号
[347] Picheny,V.、Gramacy,R.B.、Wild,S.M.和Le Digabel,S.(2016),混合约束下的贝叶斯优化与松弛变量增广拉格朗日。《神经信息处理系统进展》29(Lee,D.D.et al.,eds),Curran Associates,第1435-1443页。
[348] Plantenga,T.D.(2009),HOPSPACK 2.0用户手册。技术报告SAND2009-6265,桑迪亚国家实验室。
[349] Polak,E.(1971),《优化中的计算方法:统一方法》,学术出版社。
[350] Polak,E.和Wetter,M.(2006),“具有自适应精度函数评估的广义模式搜索算法的精度控制”,SIAM J.Optim.16,650-669·Zbl 1113.90148号
[351] Polyak,B.T.(1987),优化导论,优化软件。
[352] Porcelli,M.和Toint,P.L.(2017),“BFO:一种用于连续和离散变量的非线性约束优化和平衡计算的可训练的无导数蛮力优化器”,ACM Trans。数学。软件44,1-25·Zbl 1484.65136号
[353] Pourmohamad,T.(2016),将多元随机过程模型与约束优化的过滤方法相结合。加州大学圣克鲁斯分校博士论文。
[354] Powell,M.J.D.(1964),“不计算导数而求多变量函数最小值的有效方法”,计算。第7页,第155-162页·Zbl 0132.11702号
[355] Powell,M.J.D.(1965),“在不计算导数的情况下最小化非线性函数平方和的方法”,计算。期刊7,303-307·Zbl 0142.11601号
[356] Powell,M.J.D.(1975),“不需要导数的无约束最小化算法的观点”,ACM Trans。数学。软件1,97-107·Zbl 0303.65059号
[357] Powell,M.J.D.(1994),通过线性插值对目标函数和约束函数建模的直接搜索优化方法。《优化和数值分析进展》(Gomez,S.和Hennart,J.P.编辑),Springer,第51-67页·Zbl 0826.90108号
[358] Powell,M.J.D.(1997年),重温信托区域计算。1997年《数值分析》(Griffiths,D.F.et al.,eds),Addison-Wesley Longman,第193-211页·Zbl 0903.65052号
[359] Powell,M.J.D.(1998年a),优化计算的直接搜索算法。《数值学报》第7卷,剑桥大学出版社,第287-336页·Zbl 0911.65050号
[360] Powell,M.J.D.(1998年b),信赖域算法中二阶导数近似的带矩阵使用。《非线性规划进展》(Yuan,Y.编辑),Springer,第3-28页·Zbl 0908.90241号
[361] Powell,M.J.D.(2001),“关于插值定义的二次模型的拉格朗日函数”,Optim。方法软件16,289-309·Zbl 1027.90091号
[362] Powell,M.J.D.(2002),“UOBYQA:二次近似无约束优化”,数学。程序92555-582·Zbl 1014.65050号
[363] Powell,M.J.D.(2003),“关于无导数无约束最小化的信赖域方法”,数学。程序97,605-623·Zbl 1106.90382号
[364] Powell,M.J.D.(2004a),“满足插值条件的二次模型的最小Frobenius范数更新”,数学。计划100183-215·兹伯利1146.90526
[365] Powell,M.J.D.(2004b),“关于无导数无约束最小化中二次模型的使用”,Optim。方法软件19,399-411·兹比尔1140.90513
[366] Powell,M.J.D.(2004c),关于更新KKT矩阵的逆矩阵。技术报告DAMTP 2004/NA01,剑桥大学。
[367] Powell,M.J.D.(2006),无导数无约束优化的NEWUOA软件。《大尺度非线性优化》(Di Pillo,G.和Roma,M.主编),Springer,第255-297页·Zbl 1108.90005号
[368] Powell,M.J.D.(2007),《无导数优化算法视图》。技术报告DAMTP 2007/NA03,剑桥大学。
[369] Powell,M.J.D.(2008),“无导数最小化NEWUOA的发展”,IMA J.Numer。分析28649-664·Zbl 1154.65049号
[370] Powell,M.J.D.(2009),无导数的有界约束优化的BOBYQA算法。剑桥大学DAMTP 2009/NA06技术报告。
[371] Powell,M.J.D.(2010),“关于无约束优化的各种信赖域方法的收敛性”,IMA J.Numer。分析30289-301·Zbl 1187.65069号
[372] Powell,M.J.D.(2012),“关于无导数无约束最小化信赖域算法的收敛性”,计算。最佳方案。申请53527-555·Zbl 1284.90096号
[373] Powell,M.J.D.(2013),“超越对称Broyden,在无导数的情况下更新二次模型”,数学。程序138,475-500·Zbl 1266.65095号
[374] Powell,M.J.D.(2015),“关于线性约束二次模型的快速信赖域方法”,数学。程序。计算7,237-267·Zbl 1325.65084号
[375] Press,W.H.、Teukolsky,S.A.、Vetterling,W.T.和Flannery,B.P.(2007),《Fortran中的数字配方:科学计算的艺术》,第三版,剑桥大学出版社·Zbl 1132.65001号
[376] Price,C.J.和Toint,P.L.(2006),“利用模式搜索方法中的问题结构实现无约束优化”,Optim。方法软件21479-491·Zbl 1136.90516号
[377] Price,C.J.、Coope,I.D.和Byatt,D.(2002),“Nelder-Mead算法的收敛变体”,J.Optim。理论应用113,5-19·Zbl 1172.90508号
[378] Ralston,M.L.和Jennrich,R.I.(1978),“Dud:非线性最小二乘的无导数算法”,《技术计量学》20,7-14·Zbl 0422.65006号
[379] Rashid,K.、Ambani,S.和Cetinkaya,E.(2012),“用于昂贵的黑盒混合整数非线性约束优化的自适应多二次径向基函数方法”,《工程优化》45185-206。
[380] Rastrigin,L.A.(1963),“多参数系统极值控制中随机搜索方法的收敛性”,自动化。遥控器241337-1342。
[381] Reddi,S.J.、Hefny,A.、Sra,S.、Poczos,B.和Smola,A.(2016),非凸优化的随机方差减少。第33届国际机器学习会议(Balcan,M.F.和Weinberger,K.Q.主编)。程序。机器。学习。第43814-323号决议。
[382] Regier,J.、Jordan,M.I.和Mcauliffe,J.(2017),通过随机信任区域优化进行快速黑盒变分推断。《神经信息处理系统进展》30(Guyon,I.et al.,eds),Curran Associates,第2402-2411页。
[383] Regis,R.G.(2013),“初始点不可行的高维昂贵黑盒问题的径向基函数插值约束优化”,Enging Optim.46,218-243。
[384] Regis,R.G.(2015),“单纯形梯度的演算”,Optim。信函9845-865·兹比尔1351.90168
[385] Regis,R.G.(2016),“关于正生成集和正基的性质”,Optim。工程17,229-262·Zbl 1364.90364号
[386] Regis,R.G.和Shoemaker,C.A.(2007),“昂贵函数全局优化的随机径向基函数方法”,《信息计算杂志》,第19期,第457-509页·Zbl 1241.90192号
[387] Regis,R.G.和Wild,S.M.(2017),“CONORBIT:信任区域中径向基函数插值的约束优化”,Optim。方法软件32,552-580·Zbl 1367.65091号
[388] Rinnooy Kan,A.H.G.和Timmer,G.T.(1987年A),“随机全局优化方法,I:聚类方法”,数学。方案39,27-56·Zbl 0634.90066号
[389] Rinnooy Kan,A.H.G.和Timmer,G.T.(1987年b),“随机全局优化方法,II:多级方法”,数学。程序39,57-78·Zbl 0634.90067号
[390] Rios,L.M.和Sahinidis,N.V.(2013),“无导数优化:算法回顾和软件实现比较”,J.Global Optim.561247-1293·Zbl 1272.90116号
[391] Robbins,H.(1952),“实验顺序设计的某些方面”,公牛。阿默尔。数学。Soc.58527-536·Zbl 0049.37009号
[392] Robbins,H.和Monro,S.(1951),“随机近似方法”,《数学年鉴》。统计22,400-407·Zbl 0054.05901号
[393] Rockafellar,R.和Wets,R.J.-B.(2009),《变分分析》,施普林格出版社·Zbl 0888.49001号
[394] Rosenbrock,H.H.(1960),“寻找函数最大值或最小值的自动方法”,计算。期刊3175-184。
[395] Ruppert,D.(1991),《随机近似》。《序列分析手册》(Ghosh,B.K.和Sen,P.K.编辑),CRC出版社,第503-529页。
[396] Russo,D.和Van Roy,B.(2016),“汤普森抽样的信息理论分析”,J.Mach。学习。第17号决议,2442-2471·兹比尔1360.62030
[397] Rykov,A.S.(1980),“单纯形直接搜索算法”,《自动化》。遥控41,784-793·兹比尔0457.90066
[398] Ryu,J.H.和Kim,S.(2014),“生物目标优化的无衍生信任区域方法”,SIAM J.Optim.24,334-362·Zbl 1291.90230号
[399] Sacks,J.(1958),“随机近似程序的渐近分布”,《数学年鉴》。统计29373-405·Zbl 0229.62010号
[400] Saha,A.和Tewari,A.(2011),带土匪反馈的在线光滑凸优化的改进遗憾保证。在第14届国际人工智能与统计会议(AISTATS)上。程序。机器。学习。第15号决议,636-642。
[401] Sampaio,P.R.和Toint,P.L.(2015),“等式约束非线性优化的无导数信任隧道法”,计算。最佳方案。申请61,25-49·Zbl 1311.90187号
[402] Sampaio,P.R.和Toint,P.L.(2016),“具有一般非线性约束的非线性优化问题的无导数信任隧道方法的数值经验”,Optim。方法软件31,511-534·Zbl 1369.90138号
[403] Sankaran,S.、Audet,C.和Marsden,A.L.(2010),“使用无导数替代模式搜索和配置的随机约束优化方法”,J.Compute。物理学229,4664-4682·Zbl 1193.65100号
[404] Scheinberg,K.和Toint,P.L.(2010),“无导数无约束优化基于模型算法中的自校正几何”,SIAM J.Optim.20,3512-3532·Zbl 1209.65017号
[405] Shahraria,B.、Swersky,K.、Wang,Z.、Adams,R.P.和De Freitas,N.(2016),“让人脱离循环:贝叶斯优化综述”,Proc。IEEE104,148-175。
[406] Shamir,O.(2013),《关于土匪和无导数随机凸优化的复杂性》。第26届学习理论年会(COLT 2013)(Shalev-Shwartz,S.和Steinwart,I.编辑)。程序。机器。学习。决议30,3-24。
【407】 Shamir,O.(2017),“带两点反馈的土匪和零阶凸优化的优化算法”,J.Mach。学习。第18(52)号决议,1-11·Zbl 1440.90049号
[408] Shashaani,S.、Hashemi,F.S.和Pasupathy,R.(2018),“ASTRO-DF:无导数随机优化的一类自适应采样信任域算法”,SIAM J.Optim.28,3145-3176·Zbl 1403.90541号
[409] Shashaani,S.、Hunter,S.R.和Pasupathy,R.(2016),ASTRO-DF:自适应采样信任区域优化算法、启发式和数值经验。在2016年IEEE冬季模拟会议(WSC)上。
[410] Shoemaker,C.A.和Regis,R.G.(2003),MAPO:使用算法专家委员会并行优化昂贵的函数。《ACM并行算法和体系结构研讨会论文集》,ACM,第242-243页。
[411] Spall,J.C.(1992),“使用同时扰动梯度近似的多元随机近似”,IEEE Trans。自动化。控制37,332-341·兹比尔074560110
[412] Spall,J.C.(2005),《随机搜索和优化导论:估计、模拟和控制》,威利出版社·邮编1088.90002
[413] Spendley,W.(1969),使用改进单纯形最小化方法的非线性最小二乘拟合。《优化》(Fletcher,R.编辑),学术出版社,第259-270页·Zbl 0194.47502号
[414] Spendley,W.、Hext,G.R.和Himsworth,F.R.(1962年),“单纯形设计在优化和进化操作中的顺序应用”,《技术计量学》441-461·Zbl 0121.35603号
[415] Srebro,N.、Sridharan,K.和Tewari,A.(2011年),《在线镜像下降的普遍性》。《神经信息处理系统进展》24(Shawe-Taylor,J.等人编辑),Curran Associates,第2645-2653页。
[416] Sriver,T.A.,Chrissis,J.W.和Abramson,M.A.(2009),“基于混合变量模拟的优化的模式搜索排名和选择算法”,欧洲J.Oper。第198878-890号决议·Zbl 1176.90269号
[417] Stich,S.U.、Müller,C.L.和Gärtner,B.(2013),“随机追踪凸函数的优化”,SIAM J.Optim.231284-1309·Zbl 1273.90155号
[418] Taddy,M.、Lee,H.K.H.、Gray,G.A.和Griffin,J.D.(2009),“稳健局部优化的贝叶斯引导模式搜索”,技术计量学51,389-401。
[419] Torczon,V.(1991),“关于多向搜索算法的收敛性”,SIAM J.Optim.1,123-145·Zbl 0752.90076号
[420] Torczon,V.(1997),“关于模式搜索算法的收敛性”,SIAM J.Optim.7,1-25·Zbl 0884.65053号
[421] Törn,A.和繃ilinskas,A.(1989),《全局优化》,施普林格出版社·Zbl 0752.90075号
[422] Tröltzsch,A.(2016),“无导数等式约束优化的序列二次规划算法”,Optim。信件10,383-399·Zbl 1343.90093号
[423] Tseng,P.(1999),“强化-分段简单搜索法:一般方法”,SIAM J.Optim.10,269-288·Zbl 1030.90122号
[424] Valko,M.、Carpentier,A.和Munos,R.(2013),随机同步乐观优化。在第30届国际机器学习会议(ICML 13)上。程序。机器。学习。第28、19-27号决议。
[425] Van Dyke,B.和Asaki,T.J.(2013),“使用QR分解获得均匀分布轮询方向的网格自适应直接搜索的新实例”,J.Optim。理论应用159805-821·Zbl 1284.90081号
[426] Vanden Berghen,F.(2004),CONDOR:一种约束、非线性、无导数的并行优化器,用于连续、高计算负载、有噪声的目标函数。布鲁塞尔自由大学博士论文。
[427] Vanden Berghen,F.和Bersini,H.(2005),“CONDOR:鲍威尔UOBYQA算法的一种新的并行约束扩展:实验结果和与DFO算法的比较”,J.Compute。申请。数学181157-175·Zbl 1072.65088号
[428] Verdério,A.、Karas,E.W.、Pedroso,L.G.和Scheinberg,K.(2017),“关于无导数信任区域算法的二次模型的构建”,EURO J.Compute。选项5,501-527·Zbl 1386.90181号
[429] Vicente,L.N.(2013),“直接搜索的最坏情况复杂性”,EURO J.Compute。优化1,143-153·兹比尔1304.90198
[430] Vicente,L.N.和Custódio,A.(2012),“不连续函数的直接搜索分析”,数学。程序133,299-325·Zbl 1245.90127号
[431] Vu,K.K.,D’Ambrosio,C.,Hamadi,Y.和Liberty,L.(2016),“基于代孕的黑箱优化方法”,国际。事务处理。操作。第24号决议,第393-424号·Zbl 1366.90196号
[432] Wang,Y.,Du,S.S.,Balakrishnan,S.和Singh,A.(2018),高维随机零阶优化。第21届国际人工智能与统计会议(Storkey,A.和Perez-Cruz,F.编辑)。程序。机器。学习。第84号决议,1356-1365。
[433] Wendland,H.(2005),《离散数据近似》,剑桥大学出版社·Zbl 1075.65021号
[434] Wild,S.M.(2008a),用于计算昂贵函数的无导数优化算法。康奈尔大学博士论文。
[435] Wild,S.M.(2008b),MNH:使用最小范数Hessians的无导数优化算法。在第十届铜山迭代方法会议上。http://grandmaster.colorado.edu/铜/2008/SCWinners/Wild.pdf
[436] Wild,S.M.(2017),用POUNDERS解决无导数非线性最小二乘问题。《工程应用优化的进展和趋势》(Terlaky,T.等人,eds),SIAM,第529-540页。
[437] Wild,S.M.和Shoemaker,C.A.(2011),“径向基函数信赖域无导数算法的全局收敛性”,SIAM J.Optim.21,761-781·Zbl 1397.65024号
[438] Wild,S.M.和Shoemaker,C.A.(2013),“用于无导数优化的径向基函数信任域算法的全局收敛性”,SIAM Review55,349-371·Zbl 1270.65028号
[439] Wild,S.M.、Regis,R.G.和Shoemaker,C.A.(2008),“轨道:通过信任区域中的径向基函数插值进行优化”,SIAM J.Sci。计算303197-3219·Zbl 1178.65065号
[440] Winfield,D.H.(1969)通过数据表中的插值进行函数和函数优化。哈佛大学博士论文。
[441] Winfield,D.H.(1973),“通过数据表内插实现函数最小化”,J.Inst.Math。申请12339-347·Zbl 0274.90060号
[442] Woods,D.J.(1985),解决多目标优化问题的交互式方法。莱斯大学博士论文。
[443] Wright,M.H.(1995年),《直接搜索方法:曾经被鄙视,现在却备受尊敬》。在《数值分析1995》(Griffiths,D.F.和Watson,G.A.编辑)中,Addison-Wesley Longman,第191-208页·Zbl 0844.65057号
[444] Xiong,S.,Qian,P.Z.G.和Wu,C.F.J.(2013),“高精度和低精度计算机代码的顺序设计和分析”,《技术计量学》55,37-46。
[445] Xu,J.和Zikatanov,L.(2017),代数多重网格方法。《数值学报》第26卷,剑桥大学出版社,第591-721页·Zbl 1378.65182号
[446] Yu,W.C.(1979),“正基与一类直接搜索技术”,《中国科学》,数学专刊1,53-67。
[447] Yuan,Y.-X.(1985),“非光滑优化信赖域算法收敛的条件”,数学。程序31220-228·Zbl 0576.90080号
[448] Zabinsky,Z.B.和Smith,R.L.(1992),“全局优化中的纯自适应搜索”,数学。程序53、323-338·Zbl 0756.90086号
[449] Zhang,D.和Lin,G.-H.(2014),“领导-下属问题的双层直接搜索方法及其在健康保险中的应用”,计算。操作。第41号决议,359-373·Zbl 1348.91083号
[450] Zhang,H.和Conn,A.R.(2012),“关于最小二乘最小化无导数算法的局部收敛性”,计算。最佳方案。申请51481-507·Zbl 1268.90043号
[451] Zhang,H.,Conn,A.R.和Scheinberg,K.(2010),“最小二乘最小化的无导数算法”,SIAM J.Optim.20,3555-3576·Zbl 1213.65091号
[452] Zhang,L.,Yang,T.,Jin,R.和Zhou,Z.-H.(2015),针对非凸损失的特殊类的在线盗贼学习。在第29届AAAI人工智能会议(AAAI’15)上,AAAI出版社,第3158-3164页。
[453] Zhang,Z.(2014),“二次函数的Sobolev半范数及其在无导数优化中的应用”,数学。程序14677-96·Zbl 1315.90063号
[454] Zhigljavsky,A.A.(1991),《全球随机搜索理论》,施普林格出版社·Zbl 0783.90114号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。