×

一种新的改进的三项Hestenes-Stiefel共轭梯度法,具有充分的下降性和全局收敛性。 (英语) Zbl 1460.90205号

小结:本文描述了一种改进的三项Hestenes-Stiefel(HS)方法。原始HS方法是最早的共轭梯度法。虽然HS方法使用精确的线搜索实现了全局收敛,但在不精确的线查找情况下,这并不能保证。此外,HS方法通常不满足下降特性。我们改进的三项共轭梯度法无论线搜索的类型如何,都具有充分的下降性,并且使用不精确的Wolfe-Powell线搜索保证了全局收敛。使用75个标准测试函数检查了改进的三项HS方法的数值效率。众所周知,三项共轭梯度法在数值上比二项共轭梯度方法更有效。重要的是,本文量化了三项方法与两项方法相比的性能改善程度。因此,在数值结果中,我们将我们的新修正与有效的二项共轭梯度法进行了比较。我们还将我们的修改与最先进的三项HS方法进行了比较。最后,我们得出结论,我们提出的修改是全局收敛的和数值有效的。

MSC公司:

90元53 拟Newton型方法
65K10码 数值优化和变分技术
90摄氏52度 降低梯度类型的方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Polak,E.,《优化:算法和一致逼近》(1997),纽约州纽约市,美国:施普林格市,纽约州,美国·Zbl 0899.90148号
[2] Nocedal,J。;亚当斯,L。;Nazareth,J.L.,共轭梯度法和非线性优化,线性和非线性共轭梯度相关方法,9-23(1995),宾夕法尼亚州费城,美国:SIAM,宾夕法尼亚州,美国
[3] Ziadi,R。;Ellaia,R。;Bencherif Madani,A.,通过Polak Ribière共轭梯度方法的随机扰动进行全局优化,计算与应用数学杂志,317672-684(2017)·Zbl 1381.90069号 ·doi:10.1016/j.cam.2016.12.021
[4] Hestenes,M.R。;Stiefel,E.,求解线性系统的共轭梯度方法,国家标准局研究杂志,49,409-436(1952)·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[5] 弗莱彻,R。;Reeves,C.M.,《共轭梯度函数最小化》,《计算机杂志》,第7期,第149-154页(1964年)·Zbl 0132.11701号 ·doi:10.1093/comjnl/7.2.149
[6] Polak,E。;Ribière,G.,《联合方向方法的收敛性说明》,《法国信息评论》,第3期,第16期,第35-43页(1969年)·兹标0174.48001 ·doi:10.1051/m2安/196903R100351
[7] Polyak,B.T.,极端问题中的共轭梯度法,苏联计算,苏联计算数学和数学物理,9,94-112(1969)·Zbl 0229.49023号 ·doi:10.1016/0041-5553(69)90035-4
[8] Fletcher,R.,《实用优化方法》,I:无约束优化(1987),美国纽约州纽约市:John Wiley&Sons,美国纽约市·Zbl 0905.65002号
[9] 刘,Y。;Storey,C.,高效广义共轭梯度算法,第1部分,优化理论与应用杂志,69,1,129-137(1991)·Zbl 0702.90077号 ·doi:10.1007/BF00940464
[10] Dai,Y.H。;Yuan,Y.,一种具有强全局收敛性的非线性共轭梯度法,SIAM优化杂志,10,1,177-182(1999)·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992
[11] 史振杰。;郭,J.,共轭梯度法的一个新家族,计算与应用数学杂志,224,1,444-457(2009)·Zbl 1155.65049号 ·doi:10.1016/j.cam.2008.05.012
[12] 袁,G。;卢,X。;Wei,Z.,无约束优化的带下降方向的共轭梯度法,计算与应用数学杂志,233,2519-530(2009)·Zbl 1179.65075号 ·doi:10.1016/j.cam.2009.08.001
[13] 史振杰。;王,S。;Xu,Z.,带非单调线搜索的共轭梯度法的收敛性,应用数学与计算,217,51921-1932(2010)·Zbl 1206.65166号 ·doi:10.1016/j.amc.2010.06.047
[14] Alhawarat,A。;Salleh,Z.,用弱Wolfe-Powell线搜索修改非线性共轭梯度法,摘要与应用分析(2017)·Zbl 1470.90158号
[15] Z.Salleh。;Alhawarat,A.,具有重启性质的Hestenes-Stiefel非线性共轭梯度方法的有效修改,不等式与应用杂志,2016,1(2016)·Zbl 1337.65048号 ·doi:10.1186/s13660-016-1049-5
[16] Alhawarat,A。;Z.Salleh。;Mamat,M。;Rivaie,M.,一种具有全局收敛性的高效修正Polak-Ribière-Polyak共轭梯度法,优化方法与软件,32,6,1299-1312(2017)·Zbl 1379.49028号
[17] Alhawarat,A。;马马特,M。;Rivaie,M。;Salleh,Z.,一种有效的混合共轭梯度法和强wolfe-powell线搜索,工程数学问题,2015(2015)·Zbl 1394.90556号 ·doi:10.1155/2015/103517
[18] Beale,E.M.L。;Lootsma,F.A.,共轭梯度的导数,非线性优化的数值方法,39-43(1972),英国伦敦:学术出版社,英国伦敦
[19] Nazareth,L.,《无线搜索的共轭方向算法》,《优化理论与应用杂志》,23,3,373-387(1977)·Zbl 0348.65061号 ·doi:10.1007/BF00933447
[20] Dai,Y.H。;袁毅,非线性共轭梯度法(2000),上海,中国:上海科学技术出版社,上海·Zbl 1030.90141号
[21] 海格,W.W。;Zhang,H.,《非线性共轭梯度法综述》,《太平洋优化杂志》。《国际期刊》,2,1,35-58(2006)·Zbl 1117.90048号
[22] McGuire,M.F。;Wolfe,P.,评估共轭梯度的重启程序,报告RC-4382(1973),约克镇高地:IBM研究中心,约克城高地
[23] 邓,纽约。;Li,Z.,三项共轭梯度法的全局收敛性,最优化方法和软件,4273-282(1995)
[24] 张,L。;周,W。;Li,D.H.,下降修正的Polak-Ribiere-Polyak共轭梯度法及其全局收敛性,IMA数值分析杂志(IMAJNA),26,4,629-640(2006)·Zbl 1106.65056号 ·doi:10.1093/imanum/drl016
[25] 张,L。;周,W。;Li,D.,一些下降三项共轭梯度法及其全局收敛性,优化方法与软件,22,4,697-711(2007)·Zbl 1220.90094号 ·doi:10.1080/10556780701223293
[26] Cheng,W.,基于PRP的二项下降法,数值泛函分析与优化,28,11,1217-1230(2007)·Zbl 1138.90028号 ·网址:10.1080/01630560701749524
[27] Al-Bayati,A.Y。;Sharif,W.H.,无约束优化的新三项共轭梯度法,加拿大科学与工程数学杂志,1,5,108-124(2010)
[28] 张杰。;萧,Y。;Wei,Z.,大规模无约束优化的具有充分下降条件的非线性共轭梯度法,工程数学问题,2009(2009)·Zbl 1184.65066号 ·doi:10.1155/2009/243290
[29] Andrei,N.,无约束优化的改进Polak-Ribière-Polyak共轭梯度算法,优化。数学规划与运筹学杂志,60,12,1457-1471(2011)·Zbl 1233.90255号 ·doi:10.1080/032331031003653187
[30] Andrei,N.,《关于无约束优化的三项共轭梯度算法》,应用数学与计算,219,11,6316-6327(2013)·Zbl 1274.90372号 ·doi:10.1016/j.amc.2012.11.097
[31] Andrei,N.,《无约束优化的简单三项共轭梯度算法》,《计算与应用数学杂志》,24119-29(2013)·Zbl 1258.65056号 ·doi:10.1016/j.cam.2012.10.002
[32] 铃木,K。;Y.Narushima。;Yabe,H.,使用割线条件并为无约束优化生成下降搜索方向的全局收敛三项共轭梯度方法,优化理论与应用杂志,153,3373-757(2012)·Zbl 1262.90170号 ·数字对象标识代码:10.1007/s10957-011-9960-x
[33] Y.Narushima。;Yabe,H。;Ford,J.A.,无约束优化的具有充分下降性质的三项共轭梯度法,SIAM优化杂志,21,1,212-230(2011)·Zbl 1250.90087号 ·doi:10.1137/080743573
[34] Babaie-Kafaki,S。;Ghanbari,R.,《两种具有充分下降性质的修正三项共轭梯度法》,《优化快报》,8,8,2285-2297(2014)·Zbl 1309.90097号 ·doi:10.1007/s11590-014-0736-8
[35] Al-Baali,M。;Y.Narushima。;Yabe,H.,无约束优化的一类具有充分下降性的三项共轭梯度法,计算优化与应用,60,1,89-110(2015)·Zbl 1315.90051号 ·doi:10.1007/s10589-014-9662-z
[36] Sun,M。;Liu,J.,三种具有充分下降性质的修正Polak-Ribière-Polyak共轭梯度法,不等式与应用杂志,2015,1(2015)·Zbl 1310.90108号 ·doi:10.1186/s13660-015-0649-9
[37] 俾路支,B。;Z.Salleh。;Alhawarat,A。;Roslan,U.A.M.,一种新的具有充分下降性质的修正三项共轭梯度法及其全局收敛性,数学杂志(2017)·Zbl 1461.90166号 ·doi:10.1155/2017/2715854
[38] Dai,Z.-F.,无约束优化问题的两种修正HS型共轭梯度法,非线性分析:理论、方法与应用,74,3,927-936(2011)·Zbl 1203.49049号 ·doi:10.1016/j.na.2010.09.046
[39] 魏,Z。;李·G。;Qi,L.,大型无约束优化问题的新非线性共轭梯度公式,应用数学与计算,179,2407-430(2006)·Zbl 1106.65055号 ·doi:10.1016/j.ac.2005.11.150
[40] 戴,Z。;Wen,F.,另一种具有充分下降性的改进的Wei-Yao-Liu非线性共轭梯度法,应用数学与计算,218,14,7421-7430(2012)·Zbl 1254.65074号 ·doi:10.1016/j.amc.2011.12.091
[41] 吉尔伯特,J.C。;Nocedal,J.,共轭梯度优化方法的全局收敛性,SIAM优化杂志,2,1,21-42(1992)·Zbl 0767.90082号 ·doi:10.1137/0802003
[42] Dai,Y.-H。;廖立中,新共轭条件及相关非线性共轭梯度法,应用数学与优化,43,1,87-101(2001)·Zbl 0973.65050号 ·doi:10.1007/s002450010019
[43] Zoutendijk,G。;Abadie,J.,《非线性规划、计算方法、整数和非线性规划》,37-86(1970),荷兰阿姆斯特丹北荷兰特
[44] 戴,Z.-f。;Tian,B.-S.,一些修正的PRP非线性共轭梯度法的全局收敛性,《优化快报》,5,4,615-630(2011)·Zbl 1228.90153号 ·doi:10.1007/s11590-010-0224-8
[45] 海格,W.W。;Zhang,H.,一种新的保下降共轭梯度法和有效的线搜索,SIAM优化杂志,16,1,170-192(2005)·邮编1093.90085 ·doi:10.1137/030601880
[46] 刘博士。;Nocedal,J.,《关于大规模优化的有限内存BFGS方法》,《数学规划》,45,1-3,503-528(1989)·Zbl 0696.90048号 ·doi:10.1007/BF0158916文件
[47] 莫雷,J.J。;Garbow,B.S。;Hillstrom,K.E.,测试无约束优化软件,ACM数学软件汇刊,7,1,17-41(1981)·Zbl 0454.65049号 ·doi:10.1145/355934.355936
[48] Andrei,N.,《无约束优化测试函数集》,《高级建模与优化》,10,1,147-161(2008)·Zbl 1161.90486号
[49] 多兰,医学博士。;Moré,J.J.,《带性能曲线的基准优化软件》,《数学规划》,91,2,201-213(2002)·邮编:1049.90004 ·doi:10.1007/s101070100263
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。