×
Livieris，Ioannis E。;瓦西里斯·坦帕卡斯;平特斯、帕纳吉奥蒂斯

基于无记忆BFGS更新的下降混合共轭梯度法。 （英语） Zbl 06986853号

数字。算法 第4期第79页，1169-1185页（2018）.
小结：在这项工作中，我们基于DY和HS+共轭梯度更新参数的凸杂交方法，采用准Newton原理，提出了一种新的混合共轭梯度方法。通过最小化混合共轭梯度方向和自缩放无记忆BFGS方向之间的距离来计算氢化参数。此外，我们提出的方法的一个重要特性是，它确保了与线搜索精度无关的充分下降。在线性搜索满足Wolfe条件的前提下，建立了该方法的全局收敛性。我们对CUTEr集合中的一组无约束优化测试问题进行的数值实验表明，我们提出的方法在效率和鲁棒性方面优于经典的共轭梯度法，并且总体上优于传统的共轭梯度方法。

引用于12文件

MSC公司：

65-XX岁 数值分析

关键词：

无约束优化;共轭梯度法;frobenious范数;自缩放无记忆BFGS;全球收敛

软件：

可爱的;切割机;L-BFGS公司;万亿;SCALCG公司
PDF格式BibTeX公司 XML格式引用
\textit{I.E.Livieris}等人，数字。算法79，No.4，1169--1185（2018；Zbl 06986853）
全文： 内政部

参考文献：

[1] Al-Baali，M.，带不精确线搜索的Fletcher-Reeves方法的下降性质和全局收敛性，IMA J.Numer。分析。，5, 121-124, (1985) ·Zbl 0578.65063号 ·doi:10.1093/imanum/5.1.121
[2] Al-Baali，M.，一类自标度拟牛顿方法的分析，计算。优化。申请。，191-203年9月（1998年）·Zbl 0904.90127号 ·doi:10.1023/A:1018315205474
[3] Al-Baali，M.，一类自缩放准牛顿算法的数值经验，J.Optim。理论，96，533-553，（1998）·Zbl 0907.90240号 ·doi:10.1023/A:1022608410710
[4] Al-Baali，M.，BFGS方法的额外更新，Optim。方法软。，13, 159-179, (2000) ·Zbl 0957.90115号 ·doi:10.1080/10556780008805781
[5] Al-Baali，M。；Spedicato，E。；Maggioni，F.，Broyden的非线性方程组和无约束优化的拟Newton方法：综述和开放问题，Optim。方法软件。，29, 937-954, (2014) ·Zbl 1308.90202号 ·doi:10.1080/10556788.2013.856909
[6] 阿拉斯加州Alekseev；纳文，IM；Steward，JL，用于求解逆不适定问题的高级大规模最小化算法的比较，Optim。方法软件。，24, 63-87, (2009) ·Zbl 1189.90221号 ·网址：10.1080/10556780802370746
[7] Andrei，N.，无约束优化的标度无记忆BFGS预条件共轭梯度算法，Optim。方法软件。，22, 561-571, (2007) ·Zbl 1270.90068号 ·网址：10.1080/1055678060082260
[8] Andrei，N.，无约束优化的另一种混合共轭梯度算法，Numer。阿尔戈。，47, 143-156, (2008) ·Zbl 1141.65041号 ·doi:10.1007/s11075-007-9152-9
[9] Andrei，N.，无约束优化的混合共轭梯度算法，J.Optim。理论应用。，141, 249-264, (2009) ·Zbl 1168.90017号 ·doi:10.1007/s10957-008-9505-0
[10] Andrei，N.，无约束优化的带修正正割条件的加速混合共轭梯度算法，Numer。阿尔戈。，54, 23-46, (2010) ·兹比尔1192.65074 ·doi:10.1007/s11075-009-9321-0
[11] Apostolopoulou，M.S.，Sotiropoulos，D.G.，Livieris，I.E.，Pintelas，P.：无记忆BFGS神经网络训练算法。摘自：第七届IEEE工业信息学国际会议（INDIN'09），第216-221页（2009）
[12] 巴巴伊·卡法基，S。；法特米，M。；Mahdavi-Amiri，N.，基于修改的BFGS更新的两种有效的混合共轭梯度算法，Numer。阿尔戈。，58, 315-331, (2011) ·Zbl 1277.90149号 ·doi:10.1007/s11075-011-9457-6
[13] Babaie-Kafaki，S.，Ghanbari，R.：基于修正正割方程的两种混合非线性共轭梯度法。优化：数学规划与运筹学杂志，1-16（2012）
[14] Babaie-Kafaki，S。；Ghanbari，R.，具有最佳参数选择的Dai-Liao非线性共轭梯度法，Eur.J.Oper。研究，234625-630，（2014）·Zbl 1304.90216号 ·doi:10.1016/j.ejor.2013.11.012
[15] Babaie-Kafaki，S。；Ghanbari，R.，基于最小二乘法的Hestenes-Stiefel和Dai-Yuan共轭梯度法的杂交，Optim。方法软件。，30673-681（2015年）·Zbl 1328.65133号 ·doi:10.1080/10556788.2014.966825
[16] Babaie-Kafaki，S。；Ghanbari，R.，Polak-Ribière-Polyak和Fletcher-Reeves共轭梯度法的杂交，Numer。阿尔戈。，68, 481-495, (2015) ·Zbl 1311.65066号 ·doi:10.1007/s11075-014-9856-6
[17] Babaie-Kafaki，S。；Ghanbari，R.，《两种最佳Dai-Laio共轭梯度法》，《最优化》，64，2277-2287，（2015）·Zbl 1386.65158号 ·doi:10.1080/02331934.2014.938072
[18] Babaie-Kafaki，S.，Ghanbari，R.：基于尺度无记忆BFGS更新4OR的一类自适应Dai-Laio共轭梯度法，1-8（2016）·Zbl 1360.90293号
[19] Babaie-Kafaki，S。；Mahdavi-Amiri，N.，基于混合正割方程的两种改进的混合共轭梯度法，数学。模型。分析。，2013年12月18日至52日·Zbl 1264.49034号 ·doi:10.3846/139262922013.756832
[20] 邦加兹，I。；康涅狄格州A。；古尔德，N。；Toint，P.，CUTE：约束和非约束测试环境，ACM Trans。数学。软质。，21223-160，（1995年）·Zbl 0886.65058号 ·doi:10.1145/200979.201043
[21] Burstede，C。；Kunoth，A.，带算子扰动的线性不适定问题的共轭梯度法，数值。阿尔戈。，48, 161-188, (2008) ·Zbl 1152.65108号 ·doi:10.1007/s11075-008-9164-0
[22] 戴，YH；Kou，CX，具有最优性质的非线性共轭梯度算法和改进的Wolfe线搜索，SIAM J.Optim。，23, 296-320, (2013) ·Zbl 1266.49065号 ·数字对象标识代码：10.1137/100813026
[23] 戴，YH；Yuan，YX，具有强全局收敛性的非线性共轭梯度，SIAM J.Optim。，10, 177-182, (1999) ·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992
[24] Dai，Y.H.，Yuan，Y.X.：非线性共轭梯度法。上海科学技术出版社，上海（2000）
[25] 戴，YH；袁，YX，无约束优化的一种有效的混合共轭梯度法，Ann.Oper。决议，103，33-47，（2001）·Zbl 1007.90065号 ·doi:10.1023/A:1012930416777
[26] Dolan，E。；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 201-213, (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[27] Fletcher，R.：《实用优化方法》，第1卷：无约束优化，第1版。威利，纽约（1987）·Zbl 0905.65002号
[28] 弗莱彻，R。；Reeves，CM，共轭梯度函数最小化，计算。J、 7149-154（1964）·Zbl 0132.11701号 ·doi:10.1093/comjnl/7.2.149
[29] Gilbert，JC；Nocedal，J.，共轭梯度优化方法的全局收敛性，SIAM J Optim。，2, 21-42, (1992) ·Zbl 0767.90082号 ·doi:10.1137/0802003
[30] 哈格，WW；张浩，一种新的保下降共轭梯度法和有效的线性搜索，SIAM J Optim。，170-192年6月16日，（2005年）·邮编1093.90085 ·doi:10.1137/030601880
[31] 哈格，WW；Zhang，H.，非线性共轭梯度方法综述，太平洋优化杂志。，2, 35-58, (2006) ·Zbl 1117.90048号
[32] 赫斯特内斯，MR；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。站立。，49, 409-436, (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[33] 胡，YF；Storey，C.，共轭梯度法的全局收敛结果，J.Optim。理论应用。，71, 399-405, (1991) ·Zbl 0794.90063号 ·doi:10.1007/BF00939927
[34] Kou，C.X.，Dai，Y.H.：无约束优化的改进自缩放无记忆Broyden-Fletcher-Goldfarb-Shanno方法。优化理论与应用杂志（2014）·Zbl 1319.49042号
[35] 刘，DC；Nocedal，J.，关于大规模优化方法的有限内存BFGS方法，数学。程序。，45, 503-528, (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF01589116
[36] Liu，Q.，用于计算昂贵函数的两种基于最小正基的直接搜索共轭梯度方法，Numer。阿尔戈。，58, 461-474, (2011) ·Zbl 1387.65052号 ·doi:10.1007/s11075-011-9464-7
[37] 刘，Y。；Storey，C.，《高效广义共轭梯度算法》，第1部分：理论，J.Optim。理论应用。，69, 129-137, (1991) ·Zbl 0702.90077号 ·doi:10.1007/BF00940464
[38] 爱尔兰利维埃利斯；Pintelas，P.，基于修正正割方程训练神经网络的新共轭梯度算法，应用。数学。计算。，221, 491-502, (2013) ·Zbl 1329.65128号
[39] 爱尔兰利维埃利斯；Pintelas，P.，有限记忆下降Perry共轭梯度法，Optim。莱特。，10, 17-25, (2016) ·Zbl 1365.90242号 ·doi:10.1007/s11590-015-0979-z
[40] 莫拉莱斯，JL；Nocedal，J.，大规模无约束优化的丰富方法，计算。优化。申请。，2143-154，（2002年）·Zbl 0988.90035号 ·doi:10.1023/A:1013756631822
[41] Nash，SG，通过Lanczos方法实现牛顿型最小化，SIAM J Numer。分析。，21770-788（1984年）·Zbl 0558.65041号 ·doi:10.1137/0721052
[42] Nash，SG，截断牛顿法的预处理，SIAM科学杂志。统计计算。，6, 599-616, (1985) ·Zbl 0592.65038号 ·doi:10.1137/0906042
[43] Nocedal，J.，用有限存储更新拟Newton矩阵，数学。计算。，35, 773-782, (1980) ·Zbl 0464.65037号 ·doi:10.1090/S0025-5718-1980-0572855-7
[44] Nocedal，J.，无约束优化算法理论，《数值学报》，1199-242，（1992）·Zbl 0766.65051号 ·doi:10.1017/S0962492900002270
[45] Nocedal，J.，Wright，S.J.：数值优化。纽约施普林格出版社（1999年）·Zbl 0930.65067号 ·数字对象标识代码：10.1007/b98874
[46] Nocedal，J。；Yuan，Y.，自标度拟牛顿方法的分析，数学。程序。，61, 19-37, (1993) ·Zbl 0794.90067号 ·doi:10.1007/BF01582136
[47] Oren，S.S.：无约束最小化的自缩放可变度量算法。加州斯坦福大学博士论文（1972年）
[48] 奥伦，SS；Luenberger，DG，自缩放变量度量（SSVM）算法，第一部分：缩放一类算法的准则和充分条件，Manag。科学。，20, 845-862, (1974) ·Zbl 0316.90064号 ·doi:10.1287/mnsc.20.5.845
[49] 奥伦，SS；Spedicado，E.，自缩放可变度量算法的最优条件，数学。程序。，10, 70-90, (1976) ·Zbl 0342.90045号 ·doi:10.1007/BF01580654
[50] Perry，J.M.：一类带有两步变量记忆的共轭梯度算法。经济与管理科学数学研究中心。西北大学出版社，Evanston Illiois（1977）
[51] 柏拉图，R.，带算子扰动的线性不适定问题的共轭梯度法，数值。阿尔戈。，20, 1-22, (1999) ·Zbl 0935.65059号 ·doi:10.1023/A:1019139414435
[52] Polak，E。；Ribière，G.，《方向共轭方法的收敛性注释》，《法国信息与经济评论》，第16期，第35-43页，（1969年）·Zbl 0174.48001号
[53] Powell，M.J.D.：无需精确线搜索的最小化变尺度算法的一些全局收敛性。摘自：Cottle，R.W.，Lemke，C.E.（eds.）非线性规划，SIAM-AMS Proceedings，vol.IX，pp 53-72。SIAM出版物（1976）·Zbl 0338.65038号
[54] Powell，MJD，共轭梯度法的重新启动程序，数学。程序。，12, 241-254, (1977) ·兹伯利03690072 ·doi:10.1007/BF01593790
[55] Powell，M.J.D.，非凸极小化计算和共轭梯度法，122-141，（1984），柏林，海德堡·Zbl 0531.65035号
[56] Frank Risler；Rey，Christian，无文章标题，数值算法，23，1-30，（2000）·Zbl 0951.65047号 ·doi:10.1023/A:1019187614377
[57] Shanno，DF，关于新共轭梯度算法的收敛性，SIAM J.Numer。分析。，15, 1247-1257, (1978) ·Zbl 0408.90071号 ·doi:10.1137/0715085
[58] 图阿提·阿赫迈德，D。；Storey，C.，《高效混合共轭梯度技术》，J.Optim。理论应用。，64, 379-397, (1990) ·Zbl 0666.90063号 ·doi:10.1007/BF00939455
[59] 吴，X。；席尔瓦，B。；袁，J.，秩亏鞍点问题的共轭梯度法，数值。阿尔戈。，35, 139-154, (2004) ·Zbl 1054.65032号 ·doi:10.1023/B:NUMA.000021758.65113.f5
[60] 张，L。；Zhou，W.，用于优化的两下降混合共轭梯度方法，计算机J。申请。数学。，216, 251-164, (2008) ·Zbl 1142.65050号 ·doi:10.1016/j.cam.2007.04.028
[61] 张，L。；周，W。；Li，D.，带Armijo型线搜索的修正Fletcher-Reeves共轭梯度法的全局收敛性，Numer。数学。，104, 561-572, (2006) ·Zbl 1103.65074号 ·数字对象标识代码：10.1007/s00211-006-0028-z
[62] 邹，X。；纳文，IM；伯杰，M。；普瓦，KH；Schlick，T。；Le Dimet，FX，有限记忆准牛顿法和截断牛顿法的数值经验，SIAM J Optim。，3, 582-608, (1993) ·Zbl 0784.90086号 ·doi:10.1137/0803029
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。