×

大规模无约束优化的自适应共轭梯度算法。 (英语) Zbl 1321.90124号

摘要:提出了一种自适应共轭梯度算法。搜索方向计算为负梯度和通过最小化目标函数在当前点的二次近似确定的向量之和。利用由正参数决定的目标函数的逆Hessian的特殊逼近,我们得到了同时满足充分下降条件和Dai-Liao共轭条件的搜索方向。通过最小化定义它的矩阵的最大特征值,以自适应方式确定搜索方向上的参数,以便对所有特征值进行聚类。对于一致凸函数,证明了算法的全局收敛性。使用一组800个无约束优化测试问题,我们证明了我们的算法比CG-DESCENT算法更有效,更鲁棒。通过求解MINPACK-2测试问题集合中的五个应用程序,使用\(10^6\)个变量,我们表明所建议的自适应共轭梯度算法与CG-DESCENT相比表现最好。

MSC公司:

90立方 非线性规划
90C06型 数学规划中的大尺度问题
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Perry,A.,一种改进的共轭梯度算法,Oper。研究技术注释,26,1073-1078(1978)·Zbl 0419.90074号
[2] 海格,W.W。;Zhang,H.,一种新的保下降共轭梯度法和有效的线性搜索,SIAM J.Optim。,16, 170-192 (2005) ·邮编1093.90085
[3] 海格,W.W。;Zhang,H.,算法851:CG-DESCENT,一种保证下降的共轭梯度法,ACM-Trans。数学。软件,32,113-137(2006)·Zbl 1346.90816号
[5] Dai,Y.H。;廖立中,新共轭条件及相关非线性共轭梯度法,应用。数学。最佳。,43, 87-101 (2001) ·Zbl 0973.65050号
[6] Babaie-Kafaki,S。;Ghanbari,R.,非凸函数全局收敛的修正尺度共轭梯度法,Bull。贝尔格。数学。西蒙·斯蒂文(Simon Stevin),21、3、465-477岁(2014年)·Zbl 1305.90379号
[7] O.阿克塞尔森。;Lindskog,G.,关于预处理共轭梯度法的收敛速度,Numer。数学。,48, 499-523 (1986) ·Zbl 0564.65017号
[8] Winther,R.,共轭梯度法的一些超线性收敛结果,SIAM J.Numer。分析。,17, 14-17 (1980) ·兹比尔0447.65021
[9] Kratzer,D。;Parter,S.V.公司。;Steuerwalt,M.,共轭梯度法的Bolck分裂,计算。流体,11255-279(1983)·Zbl 0526.76003号
[10] Kaporin,I.E.,共轭梯度法的新收敛结果和预处理策略,Numer。线性代数应用。,1, 2, 179-210 (1994) ·Zbl 0837.65027号
[11] Sun,W。;袁永新,优化理论与方法。非线性编程(2006),Springer Science+Business Media:Springer科学+Business Media纽约·邮编1129.90002
[12] Andrei,N.,无约束优化共轭梯度算法的加速,应用。数学。计算。,213, 361-369 (2009) ·Zbl 1172.65027号
[13] Nocedal,J.,共轭梯度法和非线性优化,(Adams,L.;Nazareth,J.L.,线性和非线性共轭梯度相关方法(1996),SIAM),9-23·Zbl 0866.65037号
[15] Glowinski,R.,非线性变分问题的数值方法(1984),Springer-Verlag:Springer-Verlag Berlin·Zbl 0575.65123号
[16] Cimatti,G.,关于变分不等式支配的润滑理论问题,应用。数学。最佳。,3, 227-242 (1977) ·Zbl 0404.76036号
[17] J.古德曼。;科恩,R。;Reyna,L.,优化设计中松弛变分问题的数值研究,计算。方法应用。机械。工程,57,107-127(1986)·兹比尔0591.73119
[19] Bebernes,J。;Eberly,D.,(燃烧理论中的数学问题。燃烧理论的数学问题,应用数学科学,第83卷(1989),Springer-Verlag)·Zbl 0692.35001号
[20] Nitsche,J.C.C.,极小曲面讲座。第1卷(1989),剑桥大学出版社·Zbl 0202.20601号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。