×
陈，R。;梅尼克利，M。;谢恩伯格，K。

使用信任区域方法和随机模型进行随机优化。 （英语） Zbl 1401.90136号

数学。程序。 169，第2（A）号，447-487（2018）。
摘要：在本文中，我们提出并分析了一种基于信任区域模型的算法来解决无约束随机优化问题。我们的框架利用了目标函数（f（x））的随机模型，该模型是从函数或其梯度的随机观测中获得的。我们的方法还利用函数值的估计来衡量正在取得的进展。收敛性分析依赖于这样的要求，即这些模型和这些估计具有足够高但固定的概率，足够准确。除这些条件外，没有对这些模型和估计是如何生成的进行假设。在这些一般条件下，我们证明了该方法几乎可以全局收敛到一阶平稳点。在本文的第二部分中，我们给出了在有偏或无偏噪声假设下生成足够精确的随机模型的示例。最后，我们给出了一些计算结果，表明了与基于样本平均或随机梯度的现有方法相比，该方法的优点。

引用于44文件

MSC公司：

90立方厘米 随机规划
90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法

关键词：

基于信任区域模型的算法;目标函数的随机模型;全球收敛

软件：

苏蒂尔;ASTRO-DF公司;传奇;阿达格拉德;UOBYQA公司
PDF格式BibTeX公司 XML格式引用
\textit{R.Chen}等人，数学。程序。169，第2（A）号，447--487（2018；Zbl 1401.90136）
全文： 内政部 arXiv公司

参考文献：

[1] Bach，F.，Moulines，E.：机器学习随机近似算法的非症状分析。在：《神经信息处理系统进展》第24期：2011年第25届神经信息处理系统年会。2011年12月12日至14日举行的会议记录，西班牙格拉纳达，第451-459页（2011）
[2] 澳大利亚班德拉；谢恩伯格，K；Vicente，LN，基于概率模型的信任区域方法的收敛性，SIAM J.Optim。，24, 1238-1264, (2014) ·Zbl 1311.90186号 ·数字对象标识代码：10.1137/130915984
[3] 比卢普斯，南卡罗来纳州；格拉芙，P；Larson，J，使用加权回归对具有计算误差的昂贵函数进行无导数优化，SIAM J.Optim。，23, 27-53, (2013) ·Zbl 1295.90106号 ·数字对象标识代码：10.1137/100814688
[4] Bottou，L.，Curtis，F.E.，Nocedal，J.：大规模机器学习的优化方法。技术报告。arXiv:1606.04838（2016）·Zbl 1397.65085号
[5] Chang，KH公司；李，MK；Wan，H，随机信任区域响应面方法（强）-一种新的模拟优化响应面框架，INFORMS J.Compute。，25, 230-243, (2013) ·doi:10.1287/ijoc.1120.0498
[6] Chen，R.：噪声函数的随机无导数优化。美国伯利恒利海大学工业与系统工程系博士论文（2015年）
[7] 连接器，AR；谢恩伯格，K；Vicente，LN，一般无导数信任区域算法到一阶和二阶临界点的全局收敛，SIAM J.Optim。，20, 387-415, (2009) ·兹比尔1187.65062 ·电话：10.1137/060673424
[8] Conn，A.R.，Scheinberg，K.，Vicente，法律公告：无导数优化简介。费城工业和应用数学学会（2009年）·Zbl 1163.49001号 ·数字对象标识代码：10.1137/1.9780898718768
[9] 德法齐奥，A；巴赫，F；鳄鱼朱利安，S；Ghahramani，Z（编辑）；Welling，M（编辑）；Cortes，C（编辑）；劳伦斯，ND（编辑）；Weinberger，KQ（编辑），Saga：支持非强凸复合目标的快速增量梯度法，第27期，1646-1654，（2014），Red Hook
[10] 邓，G；Ferris，MC，变量样本路径优化，数学。程序。，117, 81-109, (2009) ·Zbl 1165.90013号 ·doi:10.1007/s10107-007-0164-y
[11] 杜奇，J；哈赞，E；Singer，Y，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12号决议，2121-2159，（2011年）·Zbl 1280.68164号
[12] Durrett，R.：《概率：理论与实例》。剑桥统计与概率数学系列，第105页。剑桥大学出版社，剑桥（2010）·Zbl 1202.60001号 ·doi:10.1017/CBO9780511779398
[13] Ghadimi，S.，Lan，G.：非凸非线性随机规划的加速梯度法。数学。程序。156(1), 59-99 (2016) ·Zbl 1335.62121号
[14] 加迪米，S；Lan，G，非凸随机规划的随机一阶和零阶方法，SIAM J.Optim。，2341-2368年（2013年）·Zbl 1295.90026号 ·数字对象标识代码：10.1137/120880811
[15] Ghosh，S.，Glynn，P.W.，Hashemi，F.，Pasupathy，R.：关于随机递归中的抽样作用。SIAM J.Optim公司。（审查中）·Zbl 1380.93168号
[16] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。收录于：Burges，C.J.C.，Bottou，L.，Welling，M.，Ghahramani，Z.，Weinberger，K.Q.（编辑），《神经信息处理系统进展》（NIPS 2013），第26卷，第315-323页（2013）
[17] Juditsky，AB；Polyak，BT，通过平均加速随机近似，SIAM J.控制优化。，30, 838-855, (1992) ·Zbl 0762.62022号 ·数字对象标识代码：10.1137/0330046
[18] 基弗，J；Wolfowitz，J，回归函数最大值的随机估计，《数学年鉴》。统计，22，462-466，（1952）·Zbl 0049.36601号 ·doi:10.1214/网址/117729392
[19] Lan，G，随机组合优化的优化方法，数学。程序。，133, 365397, (2012) ·Zbl 1273.90136号 ·doi:10.1007/s10107-010-0434-y
[20] 拉尔森，J；比卢普斯，SC，使用信赖域框架的随机无导数优化，计算。最佳方案。申请。，64619645（2016）·Zbl 1381.90098号 ·doi:10.1007/s10589-016-9827-z
[21] 林德拉斯，J；夏皮罗，A；Wright，S，随机规划抽样方法的经验行为，Ann.Oper。研究，142，215-241，（2006）·Zbl 1122.90391号 ·doi:10.1007/s10479-006-6169-8
[22] 蒙罗，S；罗宾斯，H，《随机近似方法》，《数学年鉴》。《统计》，22，400-407，（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[23] 莫雷，JJ；Wild，SM，基准衍生自由优化算法，SIAM J.Optim。，20, 172-191, (2009) ·Zbl 1187.90319号 ·doi:10.1137/080724083
[24] 内米洛夫斯基，A；朱迪茨基，A；兰，G；Shapiro，A，随机规划的稳健随机近似方法，SIAM J.Optim。，19, 1574-1609, (2009) ·Zbl 1189.90109号 ·doi:10.1137/070704277
[25] Pasupathy，R.，Ghosh，S.：模拟优化：简明概述和实施指南。收录于：Topaloglu，H.，Smith，J.C.（编辑）《运筹学教程》，第7章，第122-150页。信息，卡通斯维尔（2013）
[26] Powell，MJD，UOBYQA：二次近似无约束优化，数学。程序。，92, 555-582, (2002) ·Zbl 1014.65050号 ·doi:10.1007/s101070100290
[27] Richtarik，P；Takac，M，最小化复合函数的随机块坐标下降方法的迭代复杂性，数学。程序。，144，1-38，（2014）·Zbl 1301.65051号 ·doi:10.1007/s10107-012-0614-z
[28] Robinson，SM，样本路径优化分析，数学。操作。决议，21，513-528，（1996）·Zbl 0868.90087号 ·doi:10.1287/门21.3.513
[29] Ruszczynski，A.，Shapiro，A.（编辑）：随机规划。《运筹学和管理科学手册》，第10卷。爱思唯尔，阿姆斯特丹（2003）·Zbl 1115.90001号
[30] Shashaani，S.，Hashemi，F.S.，Pasupathy，R.：Astro-DF：一类用于无导数仿真优化的自适应采样信赖域算法（2015）（正在审查中）·Zbl 1295.90106号
[31] Spall，JC，使用同时扰动梯度近似的多元随机近似，IEEE Trans。自动化。控制，37，332-341，（1992）·Zbl 0745.60110号 ·doi:10.1109/9.119632
[32] Spall，JC，同步扰动法的自适应随机近似，IEEE Trans。自动化。控制，451839-1853，（2000）·Zbl 0990.93125号 ·doi:10.1109/TAC.2000.880982
[33] Spall，J.C.：随机搜索和优化简介：估计、模拟和控制。离散数学与优化中的威利级数。威利，伦敦（2005）·邮编1088.90002
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。