×

随机优化的谱投影梯度法。 (英语) Zbl 1417.90109号

摘要:我们考虑了谱投影梯度法,用于求解目标函数为数学期望形式的约束优化问题。假设可行集是凸的、封闭的且易于投影。目标函数由一系列具有不同样本大小的不同样本平均逼近函数逼近。样本量更新基于两个误差估计值——SAA误差和近似解误差。采用谱投影梯度法和非单调线搜索相结合的方法。在不施加显式样本增长条件的情况下,获得了几乎肯定的收敛结果。初步数值结果表明了该方法的有效性。

MSC公司:

90立方厘米 随机规划
90摄氏52度 减少梯度类型的方法

软件:

AMLET公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Andradottir,S.:缩放随机近似算法。管理。科学。42(4), 475-498 (1996) ·Zbl 0885.93058号 ·doi:10.1287/mnsc.42.475
[2] Bastin,F.:非线性随机规划和混合Logit模型的信任域算法,博士论文,比利时纳穆尔大学(2004)
[3] Bastin,F.,Cirillo,C.,Toint,P.L.:计算混合logit估值器的自适应蒙特卡罗算法。CMS 3(1),55-79(2006)·Zbl 1136.62086号 ·doi:10.1007/s10287-005-0044-y
[4] Bastin,F.,Cirillo,C.,Toint,P.L.:非凸随机规划的收敛理论及其在混合逻辑中的应用。数学。程序。序列号。B 108207-234(2006)·Zbl 1130.90371号 ·doi:10.1007/s10107-006-0708-6
[5] Bayraksan,G.,Morton,D.P.:随机规划的顺序抽样程序。操作。Res.Int.J.59,898-913(2011年)·兹伯利1235.90105
[6] Homem-de-Mello,T.,Bayraksan,G.:基于蒙特卡罗抽样的随机优化方法。Surv公司。操作。资源管理。科学。19, 56-85 (2014)
[7] Birgin,E.G.,Martínez,J.M.,Raydan,M.:凸集上的非单调谱投影梯度。SIAM J.Optim公司。10, 1196-1211 (2000) ·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963
[8] Birgin,E.G.、Martínez,J.M.、Raydan,M.:光谱投影梯度法:回顾与展望。J.统计软件。60(3), 1-21 (2014) ·doi:10.18637/jss.v060.2003
[9] Byrd,R.,Chin,G.,Neveit,W.,Nocedal,J.:关于机器学习优化方法中随机Hessian信息的使用。SIAM J.Optim公司。21(3), 977-995 (2011) ·Zbl 1245.65062号 ·数字对象标识码:10.1137/10079923X
[10] Byrd,R.、Chin,G.、Neveit,W.、Nocedal,J.:机器学习优化方法中的样本大小选择。数学。程序。134(1), 127-155 (2012) ·Zbl 1252.49044号 ·doi:10.1007/s10107-012-0572-5
[11] Byrd,R.H.,Hansen,S.L.,Nocedal,J.,Singer,Y.:大规模优化的随机拟Newton方法,arxiv.org/abs/1401.7020)·Zbl 1382.65166号
[12] Dolan,E.D.,Moré,J.J.:用性能曲线对优化软件进行基准测试。数学。程序。序列号。A 91,201-213(2002)·邮编:1049.90004 ·doi:10.1007/s101070100263
[13] Friedlander,M.P.,Schmidt,M.:数据拟合的混合确定性随机方法。SIAM J.科学。计算。34(3), 1380-1405 (2012) ·Zbl 1262.90090号 ·doi:10.1137/10830629
[14] Fu,M.C.:梯度估计,In:Henderson,S.G.,Nelson,B.L.(编辑),OR&MS 13手册,第575-616页。Elsevier B.V.(2006)
[15] Grippo,L.,Lampariello,F.,Lucidi,S.:牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23(4), 707-716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046
[16] Grippo,L.,Lampariello,F.,Lucidi,S.:无约束优化中的一类非单调稳定方法。数字。数学。59, 779-805 (1991) ·Zbl 0724.90060号 ·doi:10.1007/BF01385810
[17] Homem de Mello,T.:随机优化的可变样本方法。ACM事务处理。模型。计算。模拟。13(2), 108-133 (2003) ·Zbl 1390.65003号 ·数字对象标识代码:10.1145/858481.858483
[18] Kao,C.,Song,W.T.,Chen,S.:用于模拟优化的改进准Newton方法。国际事务处理。操作。第4(3)号决议,223-233(1997)·Zbl 0891.90074号 ·doi:10.1111/j.1475-3995.1997.tb00078.x
[19] Krejić,N.,Luíanin,Z.,Ovcin,Z.和Stojkovska,I.:噪声环境中无约束优化的下降方向法。最佳方案。方法软件。30(6), 1164-1184 (2015) ·Zbl 1328.90091号 ·doi:10.1080/10556788.2015.1025403
[20] Krejić,N.,Krklec,N.:针对无约束优化的可变样本大小的线搜索方法。J.计算。申请。数学。245, 213-231 (2013) ·Zbl 1262.65066号 ·doi:10.1016/j.cam.2012.12.020
[21] Krejić,N.,Jerinkić,N.Krklec:可变样本量的非单调线搜索方法。数字。算法68711-739(2015)·Zbl 1316.65062号 ·doi:10.1007/s11075-014-9869-1
[22] Krejić,N.,Martínez,J.M.:目标函数评估不精确的最小化不精确恢复方法。数学。计算。85(300), 1775-1791 (2016) ·Zbl 1335.65053号 ·网址:10.1090/com/3025
[23] 法学硕士:仿真建模与分析。McGraw-Hill教育,纽约(2014)
[24] Mokhtary,A.,Ribeiro,A.:在线有限内存BFGS的全球收敛。J.马赫。学习。第16号决议,3151-3181(2015年)·Zbl 1351.90124号
[25] Ali,M.Montaz,Khompatraporn,C.,Zabinsky,Z.B.:关于选定的连续全局优化测试问题的几种随机算法的数值评估。J.全球优化。31(4), 635-672 (2005) ·Zbl 1093.90028号 ·doi:10.1007/s10898-004-9972-2
[26] Li,D.H.,Fukushima,M.:非线性方程类Broyden方法的导数自由线搜索和全局收敛性。最佳方案。方法软件。13, 181-201 (2000) ·Zbl 0960.65076号 ·doi:10.1080/10556780008805782
[27] Pasupathy,R.:关于随机寻根和模拟优化的回溯近似算法中的参数选择。操作。第58(4)号决议,889-901(2010年)·Zbl 1228.90069号 ·doi:10.1287/opre.1090.773
[28] Polak,E.,Royset,J.O.:随机非线性规划中的有效样本大小。J.计算。申请。数学。217(2), 301-310 (2008) ·Zbl 1146.90042号 ·doi:10.1016/j.cam.2007.02.014
[29] Royset,J.O.:随机规划中的最优性函数。数学。程序。135(1-2), 293-321 (2012) ·Zbl 1267.90090号 ·doi:10.1007/s10107-011-0453-3
[30] Shapiro,A.,Dentcheva,D.,Ruszczynski,A.:随机规划讲座:建模与理论。MPS/SIAM系列。最佳方案。9, 1-413 (2009) ·邮编:1183.90005
[31] Shapiro,A.,Wardi,Y.:梯度下降随机算法的收敛性分析。J.优化。理论应用。91(2),439-454(1996)·Zbl 0873.93084号 ·doi:10.1007/BF02190104
[32] Spall,J.C.:随机搜索和优化简介。霍博肯·威利(2003)·邮编1088.90002 ·doi:10.1002/0471722138
[33] Wardi,Y.:函数最小化的Armijo步长随机算法。J.优化。理论应用。64, 399-417 (1990) ·Zbl 0687.90086号 ·doi:10.1007/BF00939456
[34] Zhang,H.,Hager,W.W.:非单调线搜索技术及其在无约束优化中的应用。SIAM J.Optim公司。4, 1043-1056 (2004) ·Zbl 1073.90024号 ·doi:10.1137/S1052623403428208
[35] Yan,D.,Mukai,H.:概率估计优化算法。J.优化。理论应用。79(2),345-371(1993)·Zbl 0797.90072号 ·doi:10.1007/BF00940585
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。