×
黄亚奎；戴玉红；刘新伟；张洪超

关于Barzilai-Borwein方法的加速。 （英语） Zbl 1487.90513号

计算。最佳方案。申请。 81，第3期，717-740（2022年）.
小结：Barzilai-Borwein（BB）梯度法由于其巧妙的步长，通常会产生非单调行为，因此对于求解大规模无约束问题而言，具有中等精度。在本文中，我们提出了一种新的步长来加速BB方法，通过要求有限终止来最小化二维强凸二次函数。基于这种新的步长，我们开发了一种有效的二次优化梯度方法，该方法自适应地采用非单调BB步长和某些单调步长。还介绍了使用与新步长相关联的延迟步长的两种变体。数值实验表明，我们在非单调BB方法中适当插入单调梯度步长的策略可以显著提高其性能，并且我们的新方法与最近文献中最成功的梯度下降方法具有竞争力。

引用于5文件

MSC公司：

90C20个 二次规划
90C25型 凸面编程
90立方 非线性规划

关键词：

Barzilai-Borwein方法；梯度法；有限终止；二次优化

软件：

稀疏矩阵
PDF格式BibTeX公司 XML格式引用
\textit{Y.Huang}等人，计算。最佳方案。申请。81，编号3，717--740（2022；Zbl 1487.90513）
全文： DOI程序 arXiv公司

参考文献：

[1] Akaike，H.，《概率分布的逐次变换及其在最优梯度法分析中的应用》，《Ann.Inst.Stat.Math。，11, 1, 1-16 (1959) ·Zbl 0100.14002号 ·doi:10.1007/BF01831719
[2] Barzilai，J。；Borwein，JM，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[3] Cauchy，A.，《同时计算系统解决方案的方法》，Comp。伦德。科学。巴黎，25536-538（1847）
[4] Dai，YH，交替梯度法，最优化，52，4-5，395-415（2003）·Zbl 1056.65055号 ·doi:10.1080/02331930310001611547
[5] 戴，YH；Fletcher，R.，大型箱约束二次规划的投影Barzilai-Borwein方法，Numer。数学。，100, 1, 21-47 (2005) ·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[6] 戴，YH；黄，Y。；Liu，XW，一系列用于优化的谱梯度方法，Comp。最佳方案。申请。，74, 1, 43-65 (2019) ·兹比尔1427.90260 ·doi:10.1007/s10589-019-00107-8
[7] 戴，YH；Kou，CX，Barzilai-Borwein共轭梯度法，科学。中国数学。，59, 8, 1511-1524 (2016) ·Zbl 1352.49031号 ·doi:10.1007/s11425-016-0279-2
[8] 戴，YH；Liao，LZ，\（R\）-Barzilai和Borwein梯度法的线性收敛性，IMA J.Numer。分析。，22, 1, 1-10 (2002) ·Zbl 1002.65069号 ·doi:10.1093/imanum/22.1.1
[9] 戴，YH；袁，YX，交替最小梯度法，IMA J.Numer。分析。，23, 3, 377-393 (2003) ·Zbl 1055.65073号 ·doi:10.1093/imanum/23.3377
[10] 戴，YH；袁，YX，单调梯度法分析，J.Ind.Manag。最佳。，1, 2, 181-192 (2005) ·Zbl 1071.65084号
[11] De Asmund，R。；Di Serafino，D。；哈格，WW；托拉尔多，G。；张华，一种使用元步长的有效梯度法，Comp。最佳方案。申请。，59, 3, 541-563 (2014) ·Zbl 1310.90082号 ·doi:10.1007/s10589-014-9669-5
[12] Di Serafino，D。；Ruggiero，V。；托拉尔多，G。；Zanni，L.，关于无约束优化梯度法中的步长选择，应用。数学。计算。，318, 176-195 (2018) ·Zbl 1426.65082号
[13] 教育部多兰；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 2, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[14] 弗莱彻，R。；齐，L。；Teo，K。；Yang，X.，关于Barzilai-Borwein方法，优化和控制及其应用，235-256（2005），波士顿：Springer，Boston·Zbl 1118.90318号 ·doi:10.1007/0-387-24255-4_10
[15] Fletcher，R.，有限记忆最速下降法，数学。程序。，135, 1-2, 413-436 (2012) ·Zbl 1254.90113号 ·doi:10.1007/s10107-011-0479-6
[16] 赫斯特内斯，MR；Stiefel，E.，求解线性系统的共轭梯度法，J.Res.Nat.Bur。支架。，49, 409-436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[17] Forsythe，GE，关于s维最优梯度法的渐近方向，Numer。数学。，11, 1, 57-76 (1968) ·Zbl 0153.46004号 ·doi:10.1007/BF02165472
[18] 弗雷索尔达蒂，G。；Zanni，L。；Zanghirati，G.，梯度方法中的新自适应步长选择，J.Ind.Manag。最佳。，4, 2, 299-312 (2008) ·Zbl 1161.90524号
[19] 弗里德兰德，A。；马丁内斯，JM；莫利纳，B。；Raydan，M.，具有延迟和推广的梯度法，SIAM J.Numer。分析。，36, 1, 275-289 (1998) ·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[20] 戈卢布，GH；Van Loan，CF，《矩阵计算》（2013），马里兰州巴尔的摩：约翰霍普金斯大学出版社，马里兰州巴的摩·Zbl 1268.65037号
[21] CC Gonzaga；Schneider，RM，关于二次函数的最速下降算法，Comp。最佳方案。申请。，63, 2, 523-542 (2016) ·Zbl 1360.90183号 ·doi:10.1007/s10589-015-9775-z
[22] 黄，Y。；戴，YH；刘，XW；Zhang，H.，利用光谱特性的梯度方法，Optim。方法软件。，35, 4, 681-705 (2020) ·Zbl 1454.90042号 ·doi:10.1080/10556788.2020.1727476
[23] 黄，Y。；戴，YH；刘，XW；Zhang，H.，关于梯度方法的渐近收敛性和加速性，J.Sci。计算。，90, 7 (2022) ·Zbl 1481.90309号 ·doi:10.1007/s10915-021-01685-8
[24] 黄，Y。；刘，H。；Zhou，S.，非负矩阵分解的二次正则化投影Barzilai-Borwein方法，Data Min Knowl。光盘。，29, 6, 1665-1684 (2015) ·Zbl 1405.65060号 ·doi:10.1007/s10618-014-0390-x
[25] 江，B。；Dai，YH，极端对称特征值问题的可行Barzilai-Borwein类方法，Optim。方法软件。，28, 4, 756-784 (2013) ·Zbl 1302.90209号 ·doi:10.1080/10556788.2012.656115
[26] 刘，YF；戴，YH；Luo，ZQ，miso干扰信道的协调波束形成：复杂性分析和有效算法，IEEE Trans。信号处理。，1142-1157年3月59日（2011年）·Zbl 1392.94315号 ·doi:10.1109/TSP.2010.2092772
[27] Raydan，M.，关于Barzilai和Borwein梯度法步长的选择，IMA J.Numer。分析。，13, 3, 321-326 (1993) ·Zbl 0778.65045号 ·doi:10.1093/imanum/13.3321
[28] Raydan，M.，大规模无约束极小化问题的Barzilai和Borwein梯度法，SIAM J.Optim。，7, 1, 26-33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365
[29] Tan，C.，Ma，S.，Dai，Y.H.，Qian，Y.：随机梯度下降的Barzilai-Borwein步长。摘自：《神经信息处理系统进展》，第685-693页（2016年）
[30] TA Davis；Hu，Y.，佛罗里达大学稀疏矩阵收集，ACM Trans。数学。软质。，38, 1, 1-25 (2011) ·兹比尔1365.65123
[31] Wang，Y。；Ma，S.，用于大规模非负图像恢复的投影Barzilai-Borwein方法，逆问题。科学。英语。，15, 6, 559-583 (2007) ·Zbl 1202.94077号 ·doi:10.1080/17415970600881897
[32] SJ赖特；罗德岛诺瓦克；Figueiredo，MA，可分离近似稀疏重建，IEEE Trans。信号处理。，57, 7, 2479-2493 (2009) ·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[33] Yu，YX，最速下降法的新步长，J.Compute。数学。，24, 2, 149-156 (2006) ·Zbl 1101.65067号
[34] Yuan，YX，梯度法的步长，AMS IP Stud.Adv.Math。，42785-796（2008年）·Zbl 1172.90509号
[35] 周，B。；高，L。；Dai，YH，自适应步长梯度法，Comp。最佳方案。申请。，35, 1, 69-86 (2006) ·兹比尔1121.90099 ·doi:10.1007/s10589-006-6446-0
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。