×

一种新的大规模无约束优化的自适应共轭梯度算法。 (英语) 兹比尔1354.90072

Boris Goldengorin(编辑),控制和数据科学中的优化和应用。为了纪念鲍里斯·波利亚克的80岁生日。根据2015年5月13日至15日在俄罗斯莫斯科举行的国际会议上的发言选出的论文。查姆:施普林格(ISBN 978-3-319-42054-7/hbk;978-3-3169-42056-1/电子书)。Springer Optimization及其应用115,1-16(2016)。
摘要:提出了一种自适应共轭梯度算法。搜索方向计算为负梯度和通过最小化目标函数在当前点的二次近似确定的向量之和。利用由正参数决定的目标函数的逆Hessian的特殊逼近,我们得到了同时满足充分下降条件和Dai-Liao共轭条件的搜索方向。通过对定义搜索方向的矩阵的特征值进行聚类,自适应地确定搜索方向上的参数。对于一致凸函数,证明了算法的全局收敛性。使用一组800个无约束优化测试问题,我们证明了我们的算法比CG-DESCENT算法更有效,更鲁棒。通过求解MINPACK-2测试问题集合中的五个应用程序,并使用(10^{6})变量,我们表明,与CG-DESCENT相比,所建议的自适应共轭梯度算法表现最佳。
关于整个系列,请参见[Zbl 1356.93004号].

MSC公司:

90C06型 数学规划中的大规模问题
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Andrei,N.:无约束优化共轭梯度算法的加速。申请。数学。计算。213, 361–369 (2009) ·Zbl 1172.65027号
[2] Andrei,N.:另一个大规模无约束优化测试函数集合。ICI技术报告,2013年1月30日
[3] Aris,R.:渗透性催化剂中扩散和反应的数学理论。牛津大学出版社,纽约(1975年)·Zbl 0315.76051号
[4] Averick,B.M.、Carter,R.G.、Moré,J.J.、Xue,G.L.:MINPACK-2测试问题集。阿贡国家实验室数学和计算机科学部。预印MCS-P153-06921992年6月
[5] Axelsson,O.,Lindskog,G.:关于预处理共轭梯度法的收敛速度。数字。数学。48, 499–523, (1986) ·Zbl 0564.65017号 ·doi:10.1007/BF01389448
[6] Babaie-Kafaki,S.:关于改进Polak-Ribière-Polyak共轭梯度法的充分下降性的特征值研究。牛市。伊朗。数学。Soc.40(1)235-242(2014)·Zbl 1308.65088号
[7] Babaie-Kafaki,S.,Ghanbari,R.:非凸函数全局收敛的修正尺度共轭梯度法。牛市。比利时数学。Soc.Simon Stevin 21(3),465–47(2014)·Zbl 1305.90379号
[8] Bebernes,J.,Eberly,D.:燃烧理论中的数学问题。收录于:《应用数学科学》,第83卷。施普林格,纽约(1989)·Zbl 0692.35001号 ·doi:10.1007/978-1-4612-4546-9
[9] Cimatti,G.:关于由变分不等式支配的润滑理论问题。申请。数学。最佳方案。3, 227–242 (1977) ·Zbl 0404.76036号 ·doi:10.1007/BF01441967
[10] Dai,Y.H.,Yuan,Y.:一种具有强全局收敛性的非线性共轭梯度法。SIAM J.Optim公司。10, 177–182 (1999) ·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992
[11] Dai,Y.H.,Liao,L.Z.:新的共轭条件和相关的非线性共轭梯度方法。申请。数学。最佳方案。43, 87–101, (2001) ·Zbl 0973.65050号 ·doi:10.1007/s002450010019
[12] Dai,Y.H.,Liao,L.Z.,Duan,L.:关于共轭梯度法的重启程序。数字。算法35、249–260(2004)·Zbl 1137.90669号 ·doi:10.1023/B:NUMA.0000021761.10993.6e
[13] Dennis,J.E.,Schnabel,R.B.:无约束优化和非线性方程的数值方法。普伦蒂斯·霍尔,恩格尔伍德悬崖(1983年)·Zbl 0579.65058号
[14] Fletcher,R.,Reeves,C.M.:共轭梯度函数最小化。计算。J.7,149–154(1964)·兹伯利0132.11701 ·doi:10.1093/comjnl/7.2.149
[15] Gilbert,J.C.,Nocedal,J.:优化共轭梯度法的全局收敛性。SIAM J.Optim公司。2 (1), 21–42 (1992) ·Zbl 0767.90082号 ·doi:10.1137/0802003年
[16] Glowinski,R.:非线性变分问题的数值方法。柏林施普林格(1984)·Zbl 0536.65054号 ·doi:10.1007/978-3-662-12613-4
[17] Goodman,J.,Kohn,R.,Reyna,L.:优化设计中松弛变分问题的数值研究。计算。方法应用。机械。工程57、107–127(1986)·Zbl 0591.73119号 ·doi:10.1016/0045-7825(86)90073-3
[18] Hager,W.W.,Zhang,H.:一种新的共轭梯度法,具有保证下降和有效的线搜索。SIAM J.Optim公司。16, 170–192 (2005) ·邮编1093.90085 ·doi:10.1137/030601880
[19] Hager,W.W.,Zhang,H.:算法851:CG-DESCENT,一种保证下降的共轭梯度法。ACM事务处理。数学。柔和。32, 113–137 (2006) ·Zbl 1346.90816号 ·数字对象标识代码:10.1145/1132973.1132979
[20] Hager,W.W.,Zhang,H.:非线性共轭梯度法综述。派克靴。J.优化。2 (1), 35–58 (2006) ·Zbl 1117.90048号
[21] Hestenes,M.R.,Steifel,E.:求解线性系统的共轭梯度法。《国家研究杂志》。伯尔。站立。第B.48节,409–436(1952年)·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[22] Kaporin,I.E.:共轭梯度法的新收敛结果和预处理策略。数字。线性代数应用。1 (2), 179–210 (1994) ·Zbl 0837.65027号 ·doi:10.1002/nla.1680010208
[23] Kratzer,D.,Parter,S.V.,Steuerwalt,M.:共轭梯度法的Bolck分裂。公司。流体11,255–279(1983)·Zbl 0526.76003号 ·doi:10.1016/0045-7930(83)90015-4
[24] Luenberger,D.G.,Ye,Y.:线性和非线性规划。运筹学与管理科学国际丛书,第3版。Springer Science+Business Media,纽约(2008)
[25] Nitsche,J.C.C.:极小曲面讲座,第1卷。剑桥大学出版社,剑桥(1989)·Zbl 0688.53001号
[26] Nocedal,J.:共轭梯度法和非线性优化。摘自:Adams,L.,Nazareth,J.L.(编辑)《线性和非线性共轭梯度相关方法》,第9-23页。SIAM,费城(1996)·Zbl 0866.65037号
[27] Polak,E.,Ribière,G.:关于共轭方向收敛性的注。Rev.Fr.Informat Recherche Oper公司。3e Anneée 16,35-43(1969年)·Zbl 0174.48001号
[28] Polyak,B.T.:极端问题中的共轭梯度法。苏联公司。数学。数学。物理学。9, 94–112 (1969) ·Zbl 0229.49023号 ·doi:10.1016/0041-5553(69)90035-4
[29] Polyak,B.T.:优化导论。优化软件,出版部,纽约(1987年)
[30] Powell,M.J.D.:非凸最小化计算和共轭梯度法。In:Griffiths,D.F.(编辑)《数值分析》(Dundee,1983)。数学课堂讲稿,第1066卷,第122–141页。柏林施普林格(1984)
[31] Stiefel,E.:放松技术的统一方法。Z.安圭。数学。物理学。3,1–33(1952年)·Zbl 0046.34104号 ·doi:10.1007/BF02080981
[32] 孙伟,袁永新:优化理论与方法:非线性规划。Springer Science+Business Media,纽约(2006)·邮编1129.90002
[33] Winther,R.:共轭梯度法的一些超线性收敛结果。SIAM J.数字。分析。17, 14–17 (1980) ·Zbl 0447.65021号 ·doi:10.1137/0717002
[34] Wolfe,P.:上升法的收敛条件。SIAM第11版,226–235(1969)·Zbl 0177.20603号 ·数字对象标识代码:10.1137/1011036
[35] Wolfe,P.:上升法的收敛条件。二: 一些修正。SIAM第13版,185-188(1971)·Zbl 0216.26901号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。