×

关于无约束优化的三次正则化中迭代方法的使用。 (英语) Zbl 1308.90166号

小结:在本文中,我们考虑了使用自适应三次正则化(ARC)框架最小化光滑函数的问题。我们重点计算作为三次模型合适的近似极小值的试探步,并讨论了无矩阵迭代方法的使用。我们的方法是ARC原始版本中提出的实现的替代方案,涉及线性代数阶段,但保留了相同的最坏情况复杂度计数。此外,我们引入了一个新的停止准则,以妥善处理当三次模型不是真正目标函数的适当模型时出现的“过度求解”问题。给出了用非单调梯度法作为不精确解算器的数值实验。所得结果清楚地表明了ARC算法的新变体的有效性。

MSC公司:

90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bellavia,S.,Morini,B.:非线性最小二乘自适应正则化方法的强局部收敛性。IMA J.数字。分析。doi:10.1093/imanum/dru021·兹比尔1316.65061
[2] Bellavia,S.、Cartis,C.、Gould,N.I.M.、Morini,B.、Toint,PhL:非线性最小二乘正则化欧几里德残差算法的收敛性。SIAM J.数字。分析。48, 1-29 (2010) ·Zbl 1218.90182号 ·doi:10.1137/080732432
[3] Benson,H.Y.,Shanno,D.F.:非凸非线性规划的内点方法:三次正则化。计算。最佳方案。申请。58, 323-346 (2014) ·Zbl 1305.90333号 ·doi:10.1007/s10589-013-9626-8
[4] Bishop,C.M.:模式识别和机器学习。柏林施普林格出版社(2006)·Zbl 1107.68072号
[5] Cartis,C.,Gould,N.I.M.,Toint,PhL:关于最速下降的复杂性,非凸无约束优化的牛顿和正则化牛顿方法。SIAM J.Optim公司。20, 2833-2852 (2010) ·Zbl 1211.90225号 ·doi:10.1137/090774100
[6] Cartis,C.,Gould,N.I.M.,Toint,PhL:无约束优化的自适应三次高估方法。第一部分:动机、收敛性和数值结果。数学。程序。A 127、245-295(2011)·Zbl 1229.90192号 ·doi:10.1007/s10107-009-0286-5
[7] Cartis,C.,Gould,N.I.M.,Toint,PhL:无约束优化的自适应三次高估方法。第二部分:最坏情况下函数评估的复杂性。数学。程序。A 130,295-319(2011)·Zbl 1229.90193号 ·doi:10.1007/s10107-009-0337-y
[8] Cartis,C.,Gould,N.I.M.,Toint,PhL:一种用于凸约束非凸优化及其函数估值复杂性的自适应立方正则化算法。IMA J.数字。分析。32, 1662-1695 (2012) ·Zbl 1267.65061号 ·doi:10.1093/imanum/drr035
[9] Dolan,E.D.,Moré,J.J.:用性能曲线对优化软件进行基准测试。数学。程序。序列号。A 91,201-213(2002)·邮编:1049.90004 ·doi:10.1007/s101070100263
[10] Gould,N.I.M.,Orban,D.,Toint,PhL:GALAHAD——用于大规模非线性优化的线程安全Fortran 90包库。ACM事务处理。数学。柔和。29, 353-372 (2003) ·Zbl 1068.90525号 ·数字对象标识代码:10.1145/962437.96243438
[11] Gould,N.I.M.,Orban,D.,Toint,PhL:CUTEr(和SifDec),一个有约束和无约束的测试环境,被重新审视。ACM事务处理。数学。柔和。29, 373-394 (2003) ·Zbl 1068.90526号 ·数字对象标识代码:10.1145/962437.96243439
[12] Gould,N.I.M.,Porcelli,M.,Toint,PhL:更新自适应立方正则化算法中的正则化参数。计算。最佳方案。申请。53, 1-22 (2012) ·Zbl 1259.90134号 ·doi:10.1007/s10589-011-9446-7
[13] Gould,N.I.M.,Lucidi,S.,Roma,M.,Toint,PhL:使用Lanczos方法解决信任域子问题。SIAM J.Optim公司。9, 504-525 (1999) ·Zbl 1047.90510号 ·doi:10.1137/S1052623497322735
[14] Griewank,A.:通过有界三次项修改牛顿无约束优化方法。技术报告NA,12(1981)。英国剑桥大学应用数学和理论物理系(1981年)
[15] Grippo,L.,Sciandone,M.:Barzilai-Borwein梯度法的非单调全球化技术。计算。最佳方案。申请。23, 143-169 (2002) ·Zbl 1028.90061号 ·doi:10.1023/A:1020587701058
[16] 于内斯特罗夫:改进的Gauss-Newton格式具有全局性能的最坏情况保证。最佳方案。方法软件。22, 469-483 (2007) ·Zbl 1136.65051号 ·doi:10.1080/08927020600643812
[17] 于内斯特罗夫。,Polyak,B.T.:牛顿方法的立方正则化及其全局性能。数学。程序。108, 177-205 (2006) ·Zbl 1142.90500 ·doi:10.1007/s10107-006-0706-8
[18] Toint,L.:无约束优化的非线性步长控制、信赖域和正则化。最佳方案。方法软件。28, 82-95 (2013) ·Zbl 1270.90078号 ·doi:10.1080/10556788.2011.610458
[19] Weiser,M.,Deuflhard,P.,Erdmann,B.:非线性弹性力学的仿射共轭自适应牛顿方法。最佳方案。方法软件。22, 413-431 (2007) ·Zbl 1128.74007号 ·doi:10.1080/10556780600605129
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。