×
Krejić，纳塔沙;纳塔沙·克雷克·杰林基奇

可变样本量的非单调线搜索方法。 （英语） Zbl 1316.65062号

数字。算法 68，第4期，711-739（2015）.
本文研究无约束优化问题的非单调线搜索方法。目标函数具有数学期望的形式，并通过具有固定大小的大样本的样本平均近似（SAA）进行近似。由于函数求值代价昂贵，通常会考虑从小样本开始并在整个优化过程中增加样本大小的通用方法。其目的是确保在优化过程中提高精度，而不管目标函数的行为如何。
在本文中，作者介绍并分析了一类将非单调线搜索规则与可变样本大小策略相结合的算法，并扩展了N.Krejić和N.Krklec公司《计算应用数学杂志》245、213–231（2013；Zbl 1262.65066号)]. 样本量在每次迭代中可能会根据目标函数减少的进度和由置信区间的近似宽度测量的精度而振荡。与经典SAA方法相比，所提出的方法可以得到SAA问题的近似解，且计算成本显著降低。
给出了一个完整的算法，并证明了一般搜索方向的全局收敛性。当目标函数的梯度可用且每次迭代都使用下降搜索方向时，得到了R线性收敛速度。对噪声环境下的理论优化问题以及实际数据问题进行了广泛的数值实验。
审核人：Ctirad Matonoha（布拉格）

引用于13文件

MSC公司：

65千5 数值数学规划方法
90 C56 无导数方法和使用广义导数的方法
90立方 非线性规划

关键词：

无约束极小化;非单调线搜索;样本平均近似;可变样本量;算法;全球收敛;局部收敛;数值实验

引文：

Zbl 1262.65066号

软件：

AMLET公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Krejić}和\textit{N.Krklec Jerinkić}.数字。算法68，No.4，711--739（2015；Zbl 1316.65062）
全文： 内政部

参考文献：

[1] Bastin，F.：非线性随机规划和混合Logit模型的信赖域算法，博士论文。比利时纳穆尔大学，2004年·Zbl 1267.90090号
[2] Bastin，F.，Cirillo，C.，Toint，P.L.：计算混合logit估计量的自适应蒙特卡罗算法。计算。管理。科学。3(1), 55-79 (2006) ·Zbl 1136.62086号 ·doi:10.1007/s10287-005-0044-y
[3] Bastin，F.，Cirillo，C.，Toint，P.L.：非凸随机规划的收敛理论及其在混合逻辑中的应用。数学。程序。，序列号。B.108207-234（2006）·Zbl 1130.90371号 ·doi:10.1007/s10107-006-0708-6
[4] Birgin，E.G.，Krejić，N.，Martínez，J.M.：求解非线性系统的全局收敛非精确拟Newton方法。数字。算法32249-260（2003）·Zbl 1034.65032号 ·doi:10.1023/A:1024013824524
[5] Byrd，R.，Chin，G.，Neveit，W.，Nocedal，J.：关于机器学习优化方法中随机Hessian信息的使用。SIAM J.Optim公司。21(3), 977-995 (2011) ·Zbl 1245.65062号 ·数字对象标识码：10.1137/10079923X
[6] Byrd，R.，Chin，G.，Nocedal，J.，Wu，Y.：机器学习优化方法中的样本大小选择。数学。程序。134(1), 127-155 (2012) ·Zbl 1252.49044号 ·doi:10.1007/s10107-012-0572-5
[7] Cheng，W.，Li，D.H.：无导数非单调线搜索及其在光谱残差法中的应用。IMA J.数字。分析。29814-825（2008年）·Zbl 1169.65043号 ·doi:10.1093/imanum/drn019
[8] Dai，Y.H.：关于非单调线搜索。J.优化。理论应用。112, 315-330 (2002) ·Zbl 1049.90087号 ·doi:10.1023/A:1013653923062
[9] Deng，G.，Ferris，M.C.：可变数量样本路径优化。数学。程序。117(1-2), 81-109 (2009) ·Zbl 1165.90013号 ·doi:10.1007/s10107-007-0164-y
[10] Diniz-Ehrhardt，M.A.，Martínez，J.M.，Raydan，M.：用于无约束优化的无导数非单调线搜索技术。J.计算。申请。数学。219(2), 383-397 (2008) ·兹比尔1149.65041 ·doi:10.1016/j.cam.2007.07.017
[11] Dolan，ED；莫雷，JJ；使用性能配置文件对标优化软件，无文章标题，数学。程序。序列号。A.，91，201-213（2002）·邮编：1049.90004 ·doi:10.1007/s101070100263
[12] Friedlander，M.P.，Schmidt，M.：数据拟合的混合确定性随机方法，SIAM。科学杂志。计算。34(3), 1380-1405 (2012) ·Zbl 1262.90090号
[13] Fu，M.C.：OR&MS手册。收录：Henderson，S.G.，Nelson，B.L.（编辑）梯度估计，第13卷，第575-616页（2006）·Zbl 1259.90102号
[14] Grippo，L.，Lampariello，F.，Lucidi，S.：牛顿法的非单调线搜索技术，SIAM。J.数字。分析。23(4), 707-716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046
[15] Grippo，L.，Lampariello，F.，Lucidi，S.：无约束优化中的一类非单调稳定化方法。数字。数学。59, 779-805 (1991) ·Zbl 0724.90060号 ·doi:10.1007/BF01385810
[16] Homem-de-Mello，T.：随机优化的可变样本方法。ACM事务处理。模型。计算。模拟。13(2), 108-133 (2003) ·Zbl 1390.65003号 ·数字对象标识代码：10.1145/858481.858483
[17] Krejić，N.，Krklec，N.:针对无约束优化的可变样本大小的线搜索方法。J.计算。申请。数学。245, 213-231 (2013) ·Zbl 1262.65066号 ·doi:10.1016/j.cam.2012.12.020
[18] Krejić，N.，Rapajić，S.：NCP的全局收敛雅可比平滑非精确牛顿方法。计算。最佳方案。申请。41(2), 243-261 (2008) ·兹比尔1182.90091 ·文件编号：10.1007/s10589-007-9104-2
[19] La Cruz，W.，Martínez，J.M.，Raydan，M.：解大型非线性方程组的无梯度信息谱残差法。数学。计算。75, 1429-1448 (2006) ·Zbl 1122.65049号 ·doi:10.1090/S0025-5718-06-01840-0
[20] Li，D.H.，Fukushima，M.：非线性方程类Broyden方法的无导数线搜索全局收敛性。选择。方法软件。13, 181-201 (2000) ·Zbl 0960.65076号 ·doi:10.1080/10556780008805782
[21] Lizotte，D.J.，Greiner，R.，Schuurmans，D.：响应面优化方法的实验方法。环球杂志。最佳方案。53(4), 699-736 (2012) ·Zbl 1259.90102号 ·doi:10.1007/s10898-011-9732-z网址
[22] Nesterov，Y.：凸优化导论。Kluwer学术出版社（2004）·Zbl 1086.90045号
[23] Nocedal，J.、Wright，S.J.：数值优化。施普林格（1999）·Zbl 0930.65067号
[24] Pasupathy，R.：关于随机寻根和模拟优化的回溯逼近算法中的参数选择。操作。第58（4）号决议，889-901（2010年）·Zbl 1228.90069号 ·doi:10.1287/opre.1090.773
[25] Polak，E.，Royset，J.O.：随机非线性规划中的有效样本大小。J.计算。申请。数学。217(2), 301-310 (2008) ·Zbl 1146.90042号 ·doi:10.1016/j.cam.2007.02.014
[26] Raydan，M.：大规模无约束最小化问题的Barzilai和Borwein梯度法。SIAM J.Optim公司。7, 26-33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365
[27] Royset，J.O.：随机规划中的最优性函数。数学。程序。135(1-2), 293-321 (2012) ·Zbl 1267.90090号 ·doi:10.1007/s10107-011-0453-3
[28] Shapiro，A.，Ruszczynski，A.：随机编程。收录于：《运筹学和管理科学手册》，第10卷，第353-425页。爱思唯尔（2003）·Zbl 0849.90113号
[29] Spall，J.C.：随机搜索和优化简介。收录：Wiley-离散数学交叉科学系列。新泽西州（2003）·邮编1088.90002
[30] Tavakoli，R.，Zhang，H.：用于大规模拓扑优化问题的非单调谱投影梯度法。数字。代数控制。最佳方案。2(2), 395-412 (2012) ·Zbl 1247.90191号 ·doi:10.3934/naco.2012.2.395
[31] Toint，P.L.：无约束优化的非单调线搜索技术评估。SIAM J.科学。计算。17(3), 725-739 (1996) ·Zbl 0849.90113号 ·doi:10.1137/S106482759427021X
[32] Zhang，H.，Hager，W.W.：非单调线搜索技术及其在无约束优化中的应用。SIAM J.Optim公司。4, 1043-1056 (2004) ·Zbl 1073.90024号 ·doi:10.1137/S1052623403428208
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。