×
刘泽贤；刘洪伟；戴玉红

针对无约束优化问题，提出了一种改进的代口共轭梯度算法。 （英语） Zbl 1433.90126

计算。最佳方案。申请。 75，第1号，145-167（2020）.
摘要：人们逐渐认识到，共轭梯度算法中梯度的正交性丢失可能会在一定程度上减慢收敛速度。代口共轭梯度算法[第三作者和C.-X.寇，SIAM J.Optim。23，第1期，296–320（2013年；Zbl 1266.49065号)]被称为CGOPT，由于其数值效率而吸引了许多研究人员的注意。本文针对无约束优化问题提出了一种改进的代口共轭梯度算法，该算法只包含两种迭代。在改进的Dai-Kou共轭梯度算法中，我们开发了一种新的拟Newton方法，通过求解子空间中的子问题来改善正交性，并设计了一种改进的初始步长选择策略以提高数值性能。改进的代口共轭梯度算法的全局收敛性是建立在其他有限记忆共轭梯度算法收敛性分析中没有严格假设的基础上的。一些数值结果表明，改进的岱口共轭梯度算法（CGOPT（2.0））比原岱口CG算法（CGOPT（1.0））有了很大的改进，并且略优于由W.W.黑格和H.张[SIAM J.Optim.23，第4期，2150–2168（2013；Zbl 1298.90129号)]用于CUTEr库。

引用于6文件

MSC公司：

90C26型 非凸规划，全局优化
65K10码 数值优化和变分技术
90元53 拟Newton型方法
90C06型 数学规划中的大尺度问题
65年20月 数值算法的复杂性和性能

关键词：

共轭梯度算法；有限的内存；准牛顿法；预条件共轭梯度算法；全球收敛

引文：

Zbl 1266.49065号；Zbl 1298.90129号

软件：

CG_气味；切割机；L-BFGS公司；12月6日
PDF格式BibTeX公司 XML格式引用
\textit{Z.Liu}等人，计算。最佳方案。申请。75，第1号，145--167（2020；Zbl 1433.90126）
全文： 内政部

参考文献：

[1] 弗莱彻，R。；Reeves，C.，共轭梯度函数最小化，计算。J.，7，2，149-154（1964）·Zbl 0132.11701号
[2] 赫斯特内斯先生；Stiefel，El，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 6, 409-436 (1952) ·Zbl 0048.09901号
[3] Polak，E。；Ribière，G.，《关于方向收敛方法的注释》，Rev.Fr.Inform。里奇。歌剧。，3, 35-43 (1969) ·Zbl 0174.48001号
[4] Polyak，Bt，极端问题中的共轭梯度法，苏联计算。数学。数学。物理。，9, 94-112 (1969) ·Zbl 0229.49023号
[5] Shanno，Df，关于新共轭梯度算法的收敛性，SIAM J.Numer。分析。，15, 6, 1247-1257 (1978) ·Zbl 0408.90071号
[6] Perry，J.M.：一类具有两步可变度量存储器的共轭梯度算法。伊利诺伊州埃文斯顿西北大学经济与管理科学数学研究中心讨论论文269（1977）
[7] 戴，Yh；Yu，Yx，一种具有强全局收敛性的非线性共轭梯度法，SIAM J.Optim。，10, 1, 177-182 (1999) ·Zbl 0957.65061号
[8] 戴，Yh；Kou，Cx，具有最优性质的非线性共轭梯度算法和改进的Wolfe线搜索，SIAM J.Optim。，23, 1, 296-320 (2013) ·Zbl 1266.49065号
[9] 华盛顿州海格；Zhang，Hc，一种新的保下降共轭梯度法和有效的线搜索，SIAM J.Optim。，16, 1, 170-192 (2005) ·邮编1093.90085
[10] 张，L。；周，Wj；Li，Dh，带Armijo型线搜索的修正Fletcher-Reeves共轭梯度法的全局收敛性，Numer。数学。，104, 561-572 (2006) ·Zbl 1103.65074号
[11] 刘，Hw；Liu，Zx，无约束优化的高效Barzilai-Borwein共轭梯度法，J.Optim。理论应用。，181, 2, 608-633 (2019) ·Zbl 1420.90035号
[12] 戴，Yh；韩，Jy；Liu，Gh，非线性共轭梯度法的收敛性，SIAM J.Optim。，10, 2, 345-358 (1999) ·Zbl 0957.65062号
[13] 戴，Yh；Liao，Lz，新共轭条件及相关非线性共轭梯度法，应用。数学。最佳。，43，187-101（2001年）·Zbl 0973.65050号
[14] 华盛顿州海格；张华，非线性共轭梯度法综述，太平洋。J.Optim。，2, 1, 35-58 (2006) ·Zbl 1117.90048号
[15] 戴，Yh；袁，Yx，非线性共轭梯度法（2000），上海：上海科学技术出版社，上海
[16] 华盛顿州海格；张华，有限记忆共轭梯度法，SIAM J.Optim。，23, 4, 2150-2168 (2013) ·Zbl 1298.90129号
[17] Schmidt，E.，U-ber die Auflösung linear Gleichungen mit Unendlich vielen unbekannten，Rend。循环。马特·巴勒莫。序列号。，1, 25, 53-77 (1908) ·JFM 39.0401.01型
[18] 刘博士；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 1-3, 503-528 (1989) ·Zbl 0696.90048号
[19] Nocedal，J。；Wright，Sj，《数值优化》（1999），纽约：Springer，纽约·Zbl 0930.65067号
[20] 华盛顿州海格；Zhang，Hc，算法851:共轭梯度CG下降，一种保证下降的共轭梯度法，ACM-Trans。数学。软质。，32, 1, 113-137 (2006) ·兹伯利1346.90816
[21] 比格拉里，F。；马·哈桑（Ma Hassan）；Leong，Wj，通过高阶张量模型的新的拟牛顿方法，J.Comput。申请。数学。，235, 8, 2412-2422 (2011) ·Zbl 1211.65068号
[22] 魏，Zx；李，Gy；Qi，Lq，无约束优化问题的新拟Newton方法，应用。数学。计算。，175, 2, 1156-1188 (2006) ·Zbl 1100.65054号
[23] 李，Dh；Fukushima，M.，关于非凸无约束优化问题BFGS方法的全局收敛性，SIAM J.Optim。，1054-1064年11月4日（2001年）·Zbl 1010.90079号
[24] Yuan，Yx，无约束优化的改进BFGS算法，IMA J.Numer。分析。，11, 3, 325-332 (1991) ·Zbl 0733.65039号
[25] 戴，Yh；袁，Jy；袁，Yx，无约束优化问题的改进两点步长梯度法，计算。最佳方案。申请。，22, 1, 103-109 (2002) ·Zbl 1008.90056号
[26] 刘，Zx；Liu，Hw，大规模无约束优化的一种具有近似最优步长的有效梯度法，Numer。算法，78，1，21-39（2018）·Zbl 1397.90270号
[27] 刘，Zx；Liu，Hw，基于张量模型的无约束优化的近似最优步长的高效梯度法，J.Optim。理论应用。，181, 2, 608-633 (2019) ·Zbl 1420.90035号
[28] 达累斯萨拉格；Reza Peyghami，M.，基于无约束优化问题的修正正割条件的新正则有限内存BFGS型方法，J.Glob。最佳。，63, 709-728 (2015) ·Zbl 1337.90043号
[29] Barzilai，J。；Borwein，Jm，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号
[30] Andrei，N.，无约束优化非线性共轭梯度算法中的开放问题，Bull。马来人。数学。科学。《社会学杂志》，34，2，319-330（2011）·Zbl 1225.49030号
[31] 尼姆·古尔德；Orban，D。；Toint、Pl、CUTEr和SifDec：约束和非约束测试环境，重访ACM Trans。数学。软质。，29, 4, 373-394 (2003) ·Zbl 1068.90526号
[32] Ed Dolan；更多，Jj，具有性能配置文件的基准优化软件，数学。程序。，91, 2, 201-213 (2002) ·邮编：1049.90004
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。