×

一种具有充分下降条件和共轭条件的加速三项共轭梯度法。 (英语) Zbl 1402.90176号

摘要:提出了一种加速三项共轭梯度法,其搜索方向既能满足充分下降条件,又能满足扩展的戴廖共轭条件。与现有方法不同,我们提出的方法中考虑了一种动态补偿策略,即尽可能满足Li Fushikuma型拟牛顿方程,否则,在一定程度上,搜索方向迭代矩阵的奇异值将自适应聚类,这大大有利于加速迭代矩阵的收敛或减少迭代矩阵的条件数。对于一般目标函数,在温和的条件下建立了全局收敛性。我们还报告了一些数值结果以证明其有效性。

MSC公司:

90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] 弗莱彻,R。;Reeves,C.,共轭梯度函数最小化,计算。J.,第7期,第149-154页,(1964年)·兹伯利0132.11701 ·doi:10.1093/comjnl/7.2.149
[2] Gilbert,JC;Nocedal,J.,共轭梯度优化方法的全局收敛性,SIAM J.Optim。,2, 21-42, (1992) ·Zbl 0767.90082号 ·doi:10.1137/0802003年
[3] 赫斯特内斯,MR;Stiefel,E.,求解线性系统的共轭梯度方法,J.Res.Natl。伯尔。支架。,49/409-436(1952年)·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[4] 戴,Y。;Yuan,Y.,一种具有强全局收敛性的非线性共轭梯度法,SIAM J.Optim。,10, 177-182, (1999) ·兹比尔0957.65061 ·doi:10.1137/S1052623497318992
[5] 哈格,WW;Zhang,H.,非线性共轭梯度法综述,Pac。J.Optim。,2, 35-58, (2006) ·Zbl 1117.90048号
[6] Andrei,N.,无约束优化非线性共轭梯度算法中的开放问题,Bull。马来人。数学。科学。《社会学杂志》,34,319-330,(2011)·Zbl 1225.49030号
[7] Al-Baali,M.,带不精确线搜索的Fletcher-Reeves方法的下降性质和全局收敛性,IMA J.Numer。分析。,5, 121-124, (1985) ·兹比尔0578.65063 ·doi:10.1093/imanum/5.1.121
[8] Gilbert,JC;Nocedal,J.,共轭梯度优化方法的全局收敛性,SIAM J.Optim。,2, 21-42, (1992) ·Zbl 0767.90082号 ·doi:10.1137/0802003年
[9] 哈格,WW;Zhang,H.,一种新的保下降共轭梯度法和有效的线性搜索,SIAM J.Optim。,16, 170-192, (2005) ·邮编1093.90085 ·doi:10.1137/030601880
[10] 戴,Y。;Kou,C.,一种具有优化特性和改进Wolfe线搜索的非线性共轭梯度算法,SIAM J.Optim。,23, 296-320, (2013) ·Zbl 1266.49065号 ·数字对象标识代码:10.1137/100813026
[11] Y.Narushima。;Yabe,H。;Ford,JA,无约束优化的具有充分下降性质的三项共轭梯度方法,SIAM J.Optim。,21, 212-230, (2011) ·Zbl 1250.90087号 ·doi:10.1137/080743573
[12] 张,L。;周,W。;Li,D.,一些下降三项共轭梯度法及其全局收敛性,Optim。方法软件。,22, 697-711, (2007) ·Zbl 1220.90094号 ·doi:10.1080/10556780701223293
[13] Al-Baali,M。;Y.Narushima。;Yabe,H.,无约束优化的一类具有充分下降性的三项共轭梯度法,计算。最佳方案。申请。,60, 89-110, (2015) ·Zbl 1315.90051号 ·doi:10.1007/s10589-014-9662-z
[14] Yu,G。;关,L。;Chen,W.,具有充分下降性的谱共轭梯度法,用于大规模无约束优化,Optim。方法软件。,23, 275-293, (2008) ·Zbl 1279.90166号 ·doi:10.1080/155678701661344
[15] 张,L。;周,W。;Li,D.,一种下降修正的Polak-Ribi(\grave{e})re-Polyak共轭梯度法及其全局收敛性,IMA J.Numer。分析。,26, 629-640, (2006) ·Zbl 1106.65056号 ·doi:10.1093/imanum/drl016
[16] 张,L。;周,W。;Li,D.,带Armijo型线搜索的修正Fletcher-Reeves共轭梯度法的全局收敛性,Numer。数学。,104, 561-572, (2006) ·Zbl 1103.65074号 ·数字对象标识代码:10.1007/s00211-006-0028-z
[17] 程,W。;Li,D.,用于大规模非线性有界约束优化的活动集修正Polak-Ribi(\grave{e})re-Polyak方法,J.Optim。理论应用。,155, 1084-1094, (2012) ·Zbl 1276.90067号 ·doi:10.1007/s10957-012-0091-9
[18] Dong,X。;刘,H。;Xu,Y。;杨,X.,一些具有充分下降条件和全局收敛性的非线性共轭梯度法,Optim。莱特。,9, 1421-1432, (2015) ·Zbl 1332.90344号 ·doi:10.1007/s11590-014-0836-5
[19] 袁,G。;李毅。;Li,Y.,用于大规模非光滑最小化和非线性方程的改进Hestenes和Stiefel共轭梯度算法,J.Optim。理论应用。,168, 129-152, (2016) ·Zbl 1332.65081号 ·doi:10.1007/s10957-015-0781-1
[20] 袁,G。;魏,Z。;Lu,X.,BFGS和PRP方法在改进的弱Wolfe-Powell线搜索下的全局收敛性,应用。数学。型号。,47, 811-825, (2017) ·Zbl 1446.65031号 ·doi:10.1016/j.apm.2017.02.008
[21] 袁,G。;盛,Z。;王,B。;胡,W。;Li,C.,非凸函数修正BFGS方法的全局收敛性,J.Comp。申请。数学。,327, 274-294, (2018) ·Zbl 1370.90203号 ·doi:10.1016/j.cam.2017.05.030
[22] 邓,S。;Wan,Z.,大型无约束优化问题的三项共轭梯度算法,应用。数字。数学。,92, 70-81, (2015) ·Zbl 1321.65096号 ·doi:10.1016/j.apnum.2015.01.008
[23] 戴,Z。;陈,X。;Wen,F.,求解大型非线性单调方程的基于修正Perry共轭梯度法的无导数方法,应用。数学。计算。,270, 378-386, (2015) ·Zbl 1410.90248号
[24] 刘,J。;Li,S.,脉冲噪声去除的谱梯度法,Optim。莱特。,9, 1341-1351, (2015) ·Zbl 1332.90278号 ·doi:10.1007/s11590-014-0845-4
[25] 戴,Z。;Wen,F.,《一些改进的稀疏和稳定投资组合优化问题》,《金融研究快报》。,(2018) ·doi:10.1016/j.fr.2018.02.026
[26] Yu,J。;李,M。;Wang,Y。;He,G.,大型箱约束优化的分解方法,应用。数学。计算。,231, 9-15, (2014) ·Zbl 1410.90207号
[27] Sun,L。;He,G。;Wang,Y。;周,C.,用于大规模有界约束优化的精确主动集牛顿算法,应用。数学。,56, 297-314, (2011) ·Zbl 1224.90177号 ·doi:10.1007/s10492-011-0018-z
[28] Sun,L。;方,L。;He,G.,基于乘数函数或梯度的主动集策略,Appl。数学。,55, 291-304, (2010) ·兹伯利1224.90176 ·doi:10.1007/s10492-010-0022-8
[29] 郑,F。;Han,C。;Wang,Y.,大规模约束优化的并行SSLE算法,应用。数学。计算。,217, 5377-5384, (2011) ·Zbl 1210.90164号
[30] 孙,Z。;李,H。;Wang,J。;Tian,Y.,两种改进的谱共轭梯度法及其无约束优化的全局收敛性,国际J计算。数学。,(2018) ·Zbl 1499.65230号 ·doi:10.1080/00207160.2017.1366457
[31] Perry,A.,一种改进的共轭梯度算法,Oper。决议,261073-1078,(1976)·兹伯利0419.90074 ·doi:10.1287/opre.26.6.1073
[32] 戴,Y。;Liao,L.,新共轭条件及相关非线性共轭梯度法,应用。数学。最佳。,43, 87-101, (2001) ·Zbl 0973.65050号 ·doi:10.1007/s002450010019
[33] 李,D。;Fukushima,M.,一种改进的BFGS方法及其在最小化中的全局收敛性p,J.Compute。申请。数学。,129, 15-35, (2001) ·Zbl 0984.65055号 ·doi:10.1016/S0377-0427(00)00540-9
[34] 周,W。;Zhang,L.,基于MBFGS割线条件的非线性共轭梯度法,Optim。方法软件。,21, 707-714, (2006) ·Zbl 1112.90096号 ·doi:10.1080/10556780500137041
[35] Yabe,H。;Takano,M.,带修正正割条件的非线性共轭梯度法的全局收敛性,计算。最佳方案。申请。,28, 203-225, (2004) ·兹比尔1056.90130 ·doi:10.1023/B:COAP.000026885.81997.88
[36] 福特,JA;Y.Narushima。;Yabe,H.,无约束最小化的多步非线性共轭梯度法,计算。最佳方案。申请。,40, 191-216, (2008) ·Zbl 1181.90221号 ·doi:10.1007/s10589-007-9087-z
[37] 李·G。;唐,C。;Wei,Z.,无约束优化的新共轭条件和相关的新共轭梯度法,J.Comp。申请。数学。,202, 523-539, (2007) ·兹比尔1116.65069 ·doi:10.1016/j.cam.2006.03.005
[38] 铃木,K。;Y.Narushima。;Yabe,H.,使用割线条件并为无约束优化生成下降搜索方向的全局收敛三项共轭梯度法,J.Optim。理论应用。,153, 733-757, (2012) ·Zbl 1262.90170号 ·数字对象标识代码:10.1007/s10957-011-9960-x
[39] Andrei,N.,关于无约束优化的三项共轭梯度算法,应用。数学。计算。,219, 6316-6327, (2013) ·Zbl 1274.90372号
[40] Andrei,N.,无约束优化的一种简单的三项共轭梯度算法,J.Comp。申请。数学。,241, 19-29, (2013) ·Zbl 1258.65056号 ·doi:10.1016/j.cam.2012.10.002
[41] Andrei,N.,无约束优化的加速缩放无记忆BFGS预条件共轭梯度算法,Eur.J.Oper。研究,204,410-420,(2010)·Zbl 1189.90151号 ·doi:10.1016/j.ejor.2009.11.030
[42] Andrei,N.,基于自缩放无记忆BFGS更新的加速自适应Perry共轭梯度算法,J.Comp。申请。数学。,325, 149-164, (2017) ·Zbl 1365.65158号 ·doi:10.1016/j.cam.2017.04.045
[43] Al-Baali,M。;Caliciotti,A。;法萨诺,G。;Roma,M.,开发非线性共轭梯度法的阻尼技术,数学。方法操作。决议,(2018)·Zbl 1390.90388号 ·doi:10.1007/s00186-017-0593-1
[44] Babaie-Kafaki,S。;Reza,G.,Dai Liao共轭梯度方法的一个后裔家族,Optim。方法软件。,29, 583-591, (2014) ·Zbl 1285.90063号 ·doi:10.1080/10556788.2013.833199
[45] Babaie-Kafaki,S。;Reza,G.,具有最佳参数选择的Dai-Liao非线性共轭梯度法,Eur.J.Oper。研究,234625-630,(2014)·Zbl 1304.90216号 ·doi:10.1016/j.ejor.2013.11.012
[46] Andrei,N.,带特征值聚类的Dai-Liao共轭梯度算法,Numer。算法,77,1273-1282,(2018)·Zbl 06860411号 ·doi:10.1007/s11075-017-0362-5
[47] Babaie-Kafaki,S.,关于自缩放无记忆准牛顿更新公式参数的优化,J.Optim。理论应用。,167, 91-101, (2015) ·兹比尔1327.90394 ·doi:10.1007/s10957-015-0724-x
[48] Fatemi,M.,无约束优化的一种新的有效共轭梯度法,J.Comp。申请。数学。,300, 207-216, (2016) ·Zbl 1382.65170号 ·doi:10.1016/j.cam.2015.12.035
[49] Dong,X。;刘,H。;He,Y.,具有充分下降条件和共轭条件的自调整共轭梯度法,J.Optim。理论应用。,165, 225-241, (2015) ·Zbl 1322.90094号 ·doi:10.1007/s10957-014-0601-z
[50] Dong,X。;刘,H。;何毅。;杨,X.,具有充分下降条件和共轭条件的修正Hestenes-Stiefel共轭梯度法,J.Comp。申请。数学。,281, 239-249, (2015) ·兹比尔1309.65074 ·doi:10.1016/j.cam.2014.11.058
[51] Dong,X。;Han,D。;Reza,G。;李,X。;Dai,Z.,一些新的仿射组合三项Hestenes-Stiefel共轭梯度法,最优化。,66, 759-776, (2017) ·Zbl 1375.90281号 ·doi:10.1080/02331934.2017.1295242
[52] Dong,X。;刘,H。;He,Y.,基于产生下降搜索方向的谱标度共轭条件的三项共轭梯度法的新版本,Appl。数学。计算。,269, 606-617, (2015) ·Zbl 1410.90195号
[53] 邓,S。;Wan,Z.,大型无约束优化问题的三项共轭梯度算法,应用。数字。数学。,92, 70-81, (2015) ·Zbl 1321.65096号 ·doi:10.1016/j.apnum.2015.01.008
[54] Babaie-Kafaki,S。;Ghanbari,R.,具有充分下降性质的两个修正三项共轭梯度法,Optim。莱特。,8, 2285-2297, (2014) ·兹比尔1309.90097 ·doi:10.1007/s11590-014-0736-8
[55] 哈格,WW;张浩,有限记忆共轭梯度法,SIAM J.Optim。,23, 2150-2168, (2013) ·Zbl 1298.90129号 ·数字对象标识代码:10.1137/120898097
[56] Babaie-Kafaki,S。;Ghanbari,R.,两种具有充分下降性质的修正三项共轭梯度法,Optim。莱特。,8, 2285-2297, (2014) ·Zbl 1309.90097号 ·doi:10.1007/s11590-014-0736-8
[57] Babaie-Kafaki,S。;Fatemi,M.,无约束最小化的改进两点步长梯度算法,Optim。方法软件。,28, 1040-105, (2013) ·Zbl 1278.90448号 ·doi:10.1080/10556788.2012.667811
[58] Wolfe,P.,上升法的收敛条件,SIAM Rev.,11,226-235,(1969)·兹标0177.20603 ·数字对象标识代码:10.1137/1011036
[59] 邦加兹,I。;连接器,AR;古尔德,N。;Toint,PL,Cute:约束和非约束测试环境,ACM Trans。数学。软质。,50, 123-160, (1993) ·Zbl 0886.65058号
[60] 教育部多兰;Moré,JJ,带性能配置文件的基准优化软件,数学。项目,91,201-213,(2002)·邮编:1049.90004 ·doi:10.1007/s101070100263
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。