×
刘泽贤;倪燕;刘洪伟;孙吴梅

一种新的用于无约束极小化的子空间极小化共轭梯度法。 （英语） 兹伯利07802209

J.优化。理论应用。 200，第2期，820-851（2024）.
摘要：子空间最小化共轭梯度（SMCG）方法是一类非常有效的无约束优化迭代方法，近年来受到了越来越多的关注。SMCG方法的搜索方向是通过在当前梯度（g_k）和最近一步跨越的二维子空间上用近似矩阵B_k最小化一个近似模型来生成的。SMCG方法的主要缺点是在计算搜索方向时必须确定搜索方向中的参数（g_k^T B_k g_k）。参数（g_k^T B_k g_k）是SMCG方法的关键，很难正确确定。针对这个缺点的另一种解决方案可能是开发一种新的方法来派生独立于\（g_k^T B_k g_k\）的SMCG方法。投影技术已成功地用于导出共轭梯度方向，例如Dai-Kou共轭梯度方向（SIAM J Optim 23（1）中的Dai和Kou：296-320，2013）。基于上述两个观察结果，我们利用投影技术推导出了一种新的独立于（g_k^T B_k g_k）的SMCG方法。更具体地说，我们将无记忆拟Newton方法的搜索方向投影到上述二维子空间中，并导出了一个新的搜索方向，该方向被证明是下降的。值得注意的是，对于二维严格凸二次函数，该方法在不进行任何线搜索的情况下具有有限终止性。基于有限终止特性，利用搜索方向上的自适应比例因子。该方法不需要确定参数（g_k^T B_k g_k），可以看作是岱口共轭梯度法的推广。在适当的假设下，证明了该方法的全局收敛性。对CUTEst库中147个测试函数的数值比较表明，该方法非常有前途。

MSC公司：

90C06型 数学规划中的大尺度问题
65Kxx美元 数学规划、优化和变分技术的数值方法

关键词：

共轭梯度法;子空间最小化;无记忆准牛顿法;有限终止性质;全球收敛

软件：

CUTEst公司;CG_退出
PDF格式BibTeX公司 XML格式引用
\textit{Z.Liu}等人，J.Optim。理论应用。200，编号2，820--851（2024；Zbl 07802209）
全文： 内政部 arXiv公司

参考文献：

[1] Andrei，N.，无约束优化的加速子空间最小化三项共轭梯度算法，Numer。算法，65，4，859-874（2014）·Zbl 1301.65041号 ·doi:10.1007/s11075-013-9718-7
[2] Andrei，N.，《无约束优化的非线性共轭梯度法》（2020），柏林：施普林格出版社，柏林·Zbl 1514.90250号 ·doi:10.1007/978-3-030-42950-8
[3] 戴，YH；Kou，CX，Barzilai-Borwein共轭梯度法，科学。中国数学。，1511-1524年8月59日（2016年）·兹比尔1352.49031 ·doi:10.1007/s11425-016-0279-2
[4] 戴，YH；Kou，CX，具有最优性质的非线性共轭梯度算法和改进的Wolfe线搜索，SIAM J.Optim。，23296-320（2013年）·Zbl 1266.49065号 ·数字对象标识代码：10.1137/100813026
[5] 戴，YH；Lia，LZ，新共轭条件及相关非线性共轭梯度法，应用。数学。最佳。，43, 87-101 (2001) ·Zbl 0973.65050号 ·doi:10.1007/s002450010019
[6] 戴，YH；袁，JY；袁，YX，无约束优化的改进两点步长梯度法，计算。最佳方案。申请。，22, 1, 103-109 (2002) ·Zbl 1008.90056号 ·doi:10.1023/A:1014838419611
[7] 戴，YH；Yuan，YX，一种具有强全局收敛性的非线性共轭梯度法，SIAM J.Optim。，10, 1, 177-182 (1999) ·Zbl 0957.65061号 ·doi:10.1137/S1052623497318992
[8] Dolan，ED；更多，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 2, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[9] 弗莱彻，R。；Reeves，C.，共轭梯度函数最小化，计算。J.，7，2，149-154（1964）·Zbl 0132.11701号 ·doi:10.1093/comjnl/7.2.149
[10] 古尔德，NI；欧尔班博士。；Toint，PL，CUTEst：一个有约束和无约束的测试环境，具有用于数学优化的安全线程，Compute。最佳方案。申请。，60, 545-557 (2015) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[11] 哈格，WW；Zhang，HC，算法851:CG_DESCENT，一种保证下降的共轭梯度法，ACM-Trans。数学。柔软。，32, 1, 113-137 (2006) ·Zbl 1346.90816号 ·数字对象标识代码：10.1145/1132973.1132979
[12] 哈格，WW；Zhang，HC，一种具有保证下降和有效线搜索的新共轭梯度方法，SIAM J.Optim。，16, 1, 170-192 (2005) ·邮编1093.90085 ·doi:10.1137/030601880
[13] 赫斯特内斯，MR；Stiefel，EL，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 6, 409-436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/JRES.049.044
[14] 黄，YK；戴，YH；Liu，XW，装备具有二维二次终止性质的Barzilai-Borwein方法，SIAM J.Optim。，31, 4, 3068-3096 (2021) ·Zbl 1481.90244号 ·doi:10.137/21M1390785
[15] 刘，HW；Liu，ZX，无约束优化的高效Barzilai-Borwein共轭梯度法，J.Optim。理论应用。，180, 3, 879-906 (2019) ·Zbl 1409.49031号 ·doi:10.1007/s10957-018-1393-3
[16] 刘，ZX；刘，HW；Dai，YH，无约束优化的一种改进的Dai-Kou共轭梯度算法，计算。最佳方案。申请。，75, 1, 145-167 (2020) ·Zbl 1433.90126 ·doi:10.1007/s10589-019-00143-4
[17] Perry J.M.：一类具有两步可变度量存储器的共轭梯度算法。讨论，经济和管理科学数学研究中心，西北大学，芝加哥（1977年）。https://EconPapers.repec.org/repec:nwu:cmsems:269
[18] Polak，E。；Ribière，G.，《方向趋同方法的注解》，弗朗西斯·Informat（Rev.Francaise Informat）。Recherche Opértionelle，335-43（1969）·Zbl 0174.48001号
[19] Polyak，BT，极端问题中的共轭梯度法，苏联计算。数学。数学。物理。，9, 94-112 (1969) ·Zbl 0229.49023号 ·doi:10.1016/0041-5553（69）90035-4
[20] 鲍威尔，MJD；Griffiths，DF，非凸最小化计算和共轭梯度法，数值分析。数学课堂讲稿，122-141（1984），柏林：施普林格，柏林·Zbl 0531.65035号 ·doi:10.1007/BFb0099521
[21] 鲍威尔，MJD，共轭梯度法的重新启动程序，数学。程序。，2, 241-254 (1977) ·Zbl 0396.90072号 ·doi:10.1007/BF01593790
[22] Shanno，DF，关于一种新的共轭梯度算法的收敛性，SIAM J.Numer。分析。，15, 1247-1257 (1978) ·Zbl 0408.90071号 ·doi:10.1137/0715085
[23] Sun，WM；刘，HW；Liu，ZX，一类加速子空间极小化共轭梯度法，J.Optim。理论应用。，190, 3, 811-840 (2021) ·Zbl 1478.90127号 ·doi:10.1007/s10957-021-01897-w
[24] 王，XM；李，C。；王，JH，黎曼流形上凸可行性的次梯度算法的线性收敛性，SIAM J.Optim。，252334-2358（2015）·Zbl 1326.65072号 ·数字对象标识码：10.1137/14099961X
[25] Wang，XM，下界曲率黎曼流形上的次梯度算法，优化，67179-194（2018）·Zbl 1398.90125号 ·doi:10.1080/02331934.2017.1387548
[26] 杨，YT；陈，YT；Lu，YL，用于大规模无约束优化的子空间共轭梯度算法，Numer。算法，76,3813-828（2017）·Zbl 1379.65038号 ·doi:10.1007/s11075-017-0284-2
[27] Yuan，YX，无约束优化的改进BFGS算法，IMA J.Numer。分析。，11, 3, 325-332 (1991) ·Zbl 0733.65039号 ·doi:10.3390/math11061420
[28] 元，YX；Stoer，J.，共轭梯度算法的子空间研究，Z.Angew。数学。机械。，75, 1, 69-77 (1995) ·Zbl 0823.65061号 ·doi:10.1002/zamm.19950750118
[29] Zhao，T。；刘，HW；Liu，ZX，基于正则化模型的无约束优化新子空间最小化共轭梯度法，Numer。算法，87，4，1501-1534（2021）·Zbl 1472.90133号 ·doi:10.1007/s11075-020-01017-1
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。