拉胡·博拉普拉加达；Wild，Stefan M。 零阶随机优化的自适应采样拟Newton方法。 （英语） Zbl 1517.90164号 数学。程序。计算。 15，编号2，327-364（2023）. 摘要：我们考虑没有可用梯度信息的无约束随机优化问题。这样的问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟Newton方法，在该方法中，我们使用公共随机数框架内随机函数求值的有限差分来估计梯度标准试验和一个内积拟牛顿试验控制随机逼近中使用的样本大小，并向局部最优解的邻域提供全局收敛结果。我们对仿真优化问题进行了数值实验，以说明该算法的性能。与经典的零阶随机梯度方法相比，我们观察到，我们调整样本大小的策略在所需的随机函数评估数量方面显著提高了性能。 引用于三文件 MSC公司： 90 C56 无导数方法和使用广义导数的方法 65千5 数值数学规划方法 90立方厘米 随机规划 90立方 非线性规划 90元53 拟Newton型方法 关键词：无导数优化；随机预言；自适应采样；公共随机数 软件：卡特尔；12月6日；ASTRO-DF公司；github；切割机；IMFIL公司；ZOAdaQN公司 PDF格式BibTeX公司 XML格式引用 \textit{R.Bollapragada}和\textit{S.M.Wild}，数学。程序。计算。15，第2号，327--364（2023；Zbl 1517.90164） 全文： 内政部 arXiv公司 参考文献： [1] Agarwal，A.，Dekel，O.，Xiao，L.：具有多点强盗反馈的在线凸优化的优化算法。摘自：第23届学习理论会议，第28-40页。(2010). http://www.learningtheory.org/colt2010/conference-website/papers/037agarwal.pdf [2] Audet，C。；Dzahini，KJ；科科拉拉斯，M。；Le Digabel，S.，使用概率估计的黑箱优化的随机网格自适应直接搜索，计算。最佳方案。申请。，79, 1, 1-34 (2021) ·Zbl 1469.90095号 ·doi:10.1007/s10589-020-00249-0 [3] Audet，C。；Hare，WL，Derivative-Free and Blackbox Optimization（2017），海德堡：施普林格·Zbl 1391.90001号 ·数字对象标识代码：10.1007/978-3-319-68913-5 [4] Balasubramanian，K。；加迪米，S。；Bengio，S。；瓦拉赫，H。；拉罗谢尔，H。；格劳曼，K。；塞萨·比安奇，N。；Garnett，R.，通过条件梯度和梯度更新实现的零阶（非）凸随机优化，《神经信息处理系统进展》（2018），纽约：Curran Associates Inc，纽约 [5] Balasubramanian，K。；Ghadimi，S.，零阶非凸随机优化：处理约束、高维和鞍点，发现。计算。数学。，22, 35-76 (2022) ·Zbl 1516.90056号 ·doi:10.1007/s10208-021-09499-8 [6] Berahas，AS；伯德，RH；Nocedal，J.，通过拟Newton方法对噪声函数进行无导数优化，SIAM J.Optim。，29, 2, 965-993 (2019) ·Zbl 1411.90359号 ·数字对象标识代码：10.1137/18m117718 [7] Berahas，AS；曹，L。；Choromanski，K。；Scheinberg，K.，无导数优化中梯度近似的理论和经验比较，发现。计算。数学。，22, 507-560 (2022) ·Zbl 1493.90233号 ·doi:10.1007/s10208-021-09513-z [8] Berahas，AS；Nocedal，J。；塔卡奇，M。；Lee，DD；杉山，M。；卢克斯堡，UV；盖恩，I。；Garnett，R.，用于机器学习的多批L-BFGS方法，《神经信息处理系统进展》291055-1063（2016），纽约：Curran Associates Inc.，纽约 [9] Berahas，AS；Takáć，M.，用于机器学习的稳健多批次l-BFGS方法，Optim。方法软件。，35, 1, 191-219 (2020) ·Zbl 1430.90523号 ·doi:10.1080/10556788.2019.1658107 [10] Bertsekas，DP，强化学习和最优控制（2019年），纳舒亚：雅典娜科学公司，纳舒阿 [11] Bertsekas，DP；Nedić，A。；Ozdaglar，AE，凸分析与优化（2003），纳舒亚：雅典娜科学出版社，纳舒阿·Zbl 1140.90001号 [12] 布兰切特，J。；Cartis，C。；Menickelly，M。；Scheinberg，K.，通过超鞅对随机信任区域方法的收敛速度分析，INFORMS J.Optim。，1, 2, 92-119 (2019) ·doi:10.1287/ijoo.2019.0016 [13] 布鲁姆，JR，多维随机近似方法，《数学年鉴》。Stat.，25，4，737-744（1954年）·Zbl 0056.38305号 ·doi:10.1214/aoms/1177728659 [14] 博拉普拉加达，R。；伯德·R。；Nocedal，J.，随机优化的自适应采样策略，SIAM J.Optim。，28, 4, 3312-3343 (2018) ·Zbl 1461.65131号 ·数字对象标识代码：10.1137/17m1154679 [15] 博拉普拉加达，R。；伯德，RH；Nocedal，J.，优化的精确和不精确子采样牛顿方法，IMA J.Numer。分析。，39, 2, 545-578 (2018) ·Zbl 1462.65077号 ·doi:10.1093/imanum/dry009 [16] 博拉普拉加达，R。；Menickelly，M。；Nazarewicz，W。；奥尼尔，J。；莱因哈德，PG；Wild，SM，无导数数值物理模型拟合的优化和监督机器学习方法，J.Phys。G编号。第部分。物理。，48, 2 (2021) ·doi:10.1088/1361-6471/abd009 [17] Bollapragada，R.，Nocedal，J.，Mudigere，D.，Shi，H.J.，Tang，P.T.P.：机器学习的渐进批处理L-BFGS方法。收录于：J.Dy，A.Krause（编辑）《第35届机器学习国际会议论文集》，第80卷，第620-629页。PMLR（2018）。http://proceedings.mlr.press/v80/bollapragada18a.html [18] Bollapragada，R.，Wild，S.M.：“零阶随机优化的自适应采样准牛顿方法”的在线补充（2023）·Zbl 1517.90164号 [19] Bollapragada，R.，Wild，S.M.：ZOAdaQN：零阶随机优化的自适应准牛顿算法。https://github.com/POptUS/ZOAdaQN (2023). doi:10.5281/zenodo.7579239·Zbl 1517.90164号 [20] 博图，L。；FE柯蒂斯；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60，2，223-311（2018）·Zbl 1397.65085号 ·doi:10.137/16m1080173 [21] 伯德，RH；总经理Chin；Nocedal，J。；Wu，Y.，机器学习优化方法中的样本量选择，数学。程序。，134, 1, 127-155 (2012) ·Zbl 1252.49044号 ·doi:10.1007/s10107-012-0572-5 [22] Cartis，C。；Scheinberg，K.，基于概率模型的无约束优化方法的全局收敛速度分析，数学。程序。，169, 2, 337-375 (2018) ·Zbl 1407.90307号 ·doi:10.1007/s10107-017-1137-4 [23] Chang，KH，随机Nelder-单纯形法-一种新的全局收敛的模拟优化直接搜索方法，Eur.J.Oper。第220、3、684-694号决议（2012年）·Zbl 1253.90178号 ·doi:10.1016/j.ejor.2012.02.028 [24] Chen，R。；Menickelly，M。；Scheinberg，K.，使用信任域方法和随机模型的随机优化，数学。程序。，169, 2, 447-487 (2018) ·Zbl 1401.90136号 ·doi:10.1007/s10107-017-1141-8 [25] 陈，X。；Kelley，CT，《带隐藏约束和嵌入式蒙特卡罗计算的优化》，Optim。工程，17，1，157-175（2016）·Zbl 1364.65119号 ·doi:10.1007/s11081-015-9302-1 [26] 陈，X。；康涅狄格州凯利；徐，F。；Zhang，基于Monte Carlo的有界约束复合非光滑优化的平滑直接搜索方法，SIAM J.Sci。计算。，40，4，A2174-A2199（2018）·Zbl 1461.65138号 ·数字对象标识代码：10.1137/17m1116714 [27] 陈，X。；刘，S。；Xu，K。；李，X。；林，X。；洪，M。；考克斯·D。；瓦拉赫，H。；拉罗谢尔，H。；Beygelzimer，A。；Alché-Buc，F。；福克斯，E。；Garnett，R.，ZO-AdaMM：黑盒优化的零阶自适应动量法，神经信息处理系统进展（2019），纽约：Curran Associates Inc，纽约 [28] Deng，G.，Ferris，M.C.：UOBYQA算法对噪声函数的适应性。载：《冬季模拟会议论文集》，第312-319页（2006年）。doi:10.1109/wsc.2006.323088 [29] 邓，G。；Ferris，MC，变量样本路径优化，数学。程序。，117, 81-109 (2009) ·Zbl 1165.90013号 ·doi:10.1007/s10107-007-0164-y [30] 杜奇，JC；密歇根州约旦；温赖特，MJ；Wibisono，A.，《零阶凸优化的最佳速率：两个函数评估的功效》，IEEE Trans。Inf.理论，61，5，2788-2806（2015）·Zbl 1359.90155号 ·doi:10.1109/TIT.2015.2409256 [31] Fu，M.C.，Glover，F.W.，April，J.：模拟优化：综述、新发展和应用。摘自：冬季模拟会议记录。IEEE（2005）。doi:10.1109/wsc.2005.1574242 [32] 加斯尼科夫，AV；科里莫娃，EA；拉古诺夫斯卡娅，AA；印第安纳州乌斯马诺娃；Fedorenko，FA，随机在线优化。单点和多点非线性多武器强盗。凸和强凸情形，Automat。远程控制，78，2，224-234（2017）·Zbl 1362.93165号 ·doi:10.1134/S0005117917020035 [33] Ghadimi，S.，复合非线性随机优化的条件梯度型方法，数学。程序。，173, 1-2, 431-464 (2019) ·Zbl 1410.90150号 ·doi:10.1007/s10107-017-1225-5 [34] 加迪米，S。；Lan，G.，非凸随机规划的随机一阶和零阶方法，SIAM J.Optim。，23, 4, 2341-2368 (2013) ·Zbl 1295.90026号 ·数字对象标识代码：10.1137/120880811 [35] 古尔德，NIM；Orban，D。；Toint、PL、CUTEr和SifDec：一个受约束和不受约束的测试环境，重新访问，ACM Trans。数学。软质。，29, 4, 373-394 (2003) ·Zbl 1068.90526号 ·数字对象标识代码：10.1145/962437.96243439 [36] Huang，F.、Gu，B.、Huo，Z.、Chen，S.、Huang、H.：非凸非光滑优化的快速无梯度近似随机方法。《AAAI人工智能会议记录》，第33卷，第1503-1510页。(2019). doi:10.10609/aai.v33i01.33011503 [37] Huang，F.，Tao，L.，Chen，S.：加速随机无梯度和无投影方法。参见：H.D.III，A.Singh（编辑）《第37届国际机器学习会议论文集》，《机器学习研究论文集》第119卷，第4519-4530页。PMLR（2020）。http://proceedings.mlr.press/v119/huang20j.html [38] Kelley，C.T.：imfil 0.5版用户指南。网址：www4.ncsu.edu/ctk/imfil.html [39] 基弗，J。；Wolfowitz，J.，回归函数最大值的随机估计，《数学年鉴》。《统计》，22，3，462-466（1952年）·Zbl 0049.36601号 ·doi:10.1214/网址/117729392 [40] Kim，S。；Pasupathy，R。；亨德森，SG；Fu，M.，《样本平均逼近指南》，《模拟优化手册》，运筹学与管理科学国际系列，207-243（2015），纽约：Springer，New York·Zbl 1303.90004号 ·doi:10.1007/978-1-4939-1384-88 [41] 荷兰克莱曼；剥落，JC；Naiman，DQ，使用常见随机数进行随机近似的基于模拟的优化，Manag。科学。，45, 11, 1570-1578 (1999) ·Zbl 0946.90040号 ·doi:10.1287/mnsc.45.11.1570 [42] Kungurtsev，V.公司。；Rinaldi，F.，随机弱凸优化的零阶方法，计算。最佳方案。申请。，80, 3, 731-753 (2021) ·Zbl 1481.90236号 ·doi:10.1007/s10589-021-00313-3 [43] Larson，J。；比卢普斯，SC，使用信赖域框架的随机无导数优化，计算。最佳方案。申请。，64, 3, 619-645 (2016) ·Zbl 1381.90098号 ·doi:10.1007/s10589-016-9827-z [44] Larson，J。；Menickelly，M。；Wild，SM，无导数优化方法，Acta Numer。，28, 287-404 (2019) ·Zbl 1461.65169号 ·doi:10.1017/s0962492919000060 [45] L'Ecuyer，P。；Yin，G.，随机近似的预算相关收敛速度，SIAM J.Optim。，8, 1, 217-247 (1998) ·Zbl 0911.60003号 ·doi:10.1137/S1052623495270723 [46] 刘，S。；凯尔库拉，B。；陈，PY；Ting，P。；Chang，S。；阿米尼，L。；Bengio，S。；瓦拉赫，H。；拉罗谢尔，H。；格劳曼，K。；塞萨·比安奇，N。；Garnett，R.，非凸优化的零阶随机方差缩减，神经信息处理系统进展（2018），纽约：Curran Associates Inc，New York [47] 马尼亚，H。；盖伊，A。；Recht，B。；Bengio，S。；瓦拉赫，H。；拉罗谢尔，H。；格劳曼，K。；塞萨·比安奇，N。；Garnett，R.，《静态线性策略的简单随机搜索在强化学习中具有竞争力》，《神经信息处理系统进展》（2018），纽约：Curran Associates Inc，纽约 [48] 莫雷，JJ；Wild，SM，基准无导数优化算法，SIAM J.Optim。，20, 1, 172-191 (2009) ·Zbl 1187.90319号 ·doi:10.1137/080724083 [49] 莫雷，JJ；Wild，SM，估算计算噪声，SIAM J.Sci。计算。，33, 3, 1292-1314 (2011) ·Zbl 1243.65016号 ·数字对象标识代码：10.1137/100786125 [50] 莫雷，JJ；Wild，SM，估计噪声模拟的导数，ACM Trans。数学。软质。，38, 3, 19:1-19:21 (2012) ·Zbl 1365.65056号 ·doi:10.1145/2168773.2168777 [51] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，Found。计算。数学。，17, 2, 527-566 (2017) ·Zbl 1380.90220号 ·doi:10.1007/s10208-015-9296-2 [52] Nocedal，J。；Wright，SJ，《数值优化》（2006），纽约：Springer，纽约·Zbl 1104.65059号 [53] Pasupathy，R.，Ghosh，S.：模拟优化：简明概述和实施指南。摘自：《影响应用驱动的理论》，第122-150页。信息（2013）。doi:10.1287/educ.2013.0118 [54] Pasupathy，R。；Glynn，P。；Ghosh，S。；Hashemi，FS，关于基于模拟的递归中的采样率，SIAM J.Optim。，28, 1, 45-73 (2018) ·Zbl 1380.93168号 ·doi:10.1137/140951679 [55] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，3，400-407（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [56] 罗斯塔·呼拉桑尼，F。；Mahoney，MW，子样本牛顿方法，数学。程序。，174, 1-2, 293-326 (2019) ·Zbl 1412.49059号 ·doi:10.1007/s10107-018-1346-5 [57] Ross，SM，Simulation（2006），阿姆斯特丹：Elsevier，Amsterdam·Zbl 1111.65008号 [58] Sahu，A.K.，Zaheer，M.，Kar，S.：走向无梯度和无投影的随机优化。收录于：K.Chaudhuri，M.Sugiyama（编辑）机器学习研究论文集，机器学习研究文献集，第89卷，第3468-3477页。PMLR（2019年） [59] Salimans，T.、Ho，J.、Chen，X.、Sidor，S.、Sutskever，I.：进化策略作为强化学习的可扩展替代方案。技术代表：1703.03864（2017） [60] Schaul，T.，LeCun，Y.：随机、稀疏、非光滑梯度的自适应学习速率和并行化。参加：2013年（2013年）ICLR第一届国际学习代表大会 [61] Shamir，O.，带两点反馈的土匪和零阶凸优化的一种优化算法，J.Mach。学习。第18、52、1-11号决议（2017年）·Zbl 1440.90049号 [62] Shashaani，S。；哈希米，FS；Pasupathy，R.，ASTRO-DF:一类用于无导数随机优化的自适应采样信赖域算法，SIAM J.Optim。，28, 4, 3145-3176 (2018) ·Zbl 1403.90541号 ·doi:10.1137/15m1042425 [63] Shashaani，S.、Hunter，S.R.、Pasupathy，R.：ASTRO-DF：自适应采样信任区域优化算法、启发式和数值经验。2016年冬季模拟会议（WSC）。IEEE（2016）。doi:10.1109/wsc.2016.7822121 [64] Wibisono，A。；温赖特，MJ；密歇根州约旦；杜奇，JC；佩雷拉，F。；博格斯，CJC；博图，L。；Weinberger，KQ，零阶随机优化方法的有限样本收敛速度，神经信息处理系统进展（2012），纽约：Curran Associates Inc，纽约 [65] 谢毅。；伯德，RH；Nocedal，J.，带误差的BFGS方法分析，SIAM J.Optim。，30, 1, 182-209 (2020) ·Zbl 1435.90149号 ·doi:10.1137/19m1240794 [66] 徐，P。；罗斯塔，F。；Mahoney，MW，《不精确Hessian信息下非凸优化的牛顿型方法》，数学。程序。，184, 1-2, 35-70 (2020) ·Zbl 1451.90134号 ·doi:10.1007/s10107-019-01405-z 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。