×
周斌;高、李;戴玉红

具有自适应步长的梯度方法。 （英语） Zbl 1121.90099

计算。最佳方案。申请。 35，第1期，69-86（2006）.
小结：基于二维二次型Barzilai-Borwein（BB）方法的超线性行为，我们提出了两种梯度方法，在每次迭代时自适应地选择小步长或大步长。较小的步长主要用于诱导下一次迭代的有利下降方向，而较大的步长则主要用于产生足够的缩减。尽管新算法在二次型情况下仍然是线性收敛的，但对一些典型测试问题的数值实验表明，它们与BB方法和其他一些有效的梯度方法相比是有利的。

引用于62文件

MSC公司：

90C20个 二次规划
90摄氏52度 减少梯度类型的方法

关键词：

线性系统;梯度法;自适应步长;Barzilai-Borwein方法;超线性行为;信任区域方法

软件：

配置文件_QP;GPDT公司;运动类游戏
PDF格式BibTeX公司 XML格式引用
\textit{B.Zhou}等人，计算。最佳方案。申请。35，编号1，69--86（2006；Zbl 1121.90099）
全文： 内政部

参考文献：

[1] H.Akaike，“关于概率分布的连续变换及其在最佳梯度法分析中的应用”，《Ann.Inst.Statist》。数学。，东京，第11卷，第1-17页，1959年·Zbl 0100.14002号 ·doi:10.1007/BF01831719
[2] R.Andreani、E.G.Birgin、J.M.Martínez和J.Yuan，“线性不等式优化的谱投影梯度和可变度量方法”，IMA J.Numer。分析。，第25卷，第221-252页，2005年·Zbl 1072.90051号 ·doi:10.1093/imanum/drh020
[3] J.Barzilai和J.M.Borwein，“两点步长梯度法”，IMA J.Numer。分析。，第8卷，第141-148页，1988年·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[4] L.Bello和M.Raydan，“凸集上的预条件谱投影梯度方法”，《计算数学杂志》，第23卷，第225–232页，2005年·Zbl 1110.65048号
[5] E.G.Birgin、J.M.Martínez和M.Raydan，“凸集上的非单调谱投影梯度方法”，SIAM J.Optim。，第10卷，第1196-1211页，2000年·Zbl 1047.90077号 ·doi:10.1137/S1052623497330963
[6] E.G.Birgin、J.M.Martínez和M.Raydan，“算法813:SPG–凸约束优化软件”，ACM Trans。数学。《软件》，第27卷，第340–349页，2001年·Zbl 1070.65547号 ·数字对象标识代码：10.1145/502800.502803
[7] E.G.Birgin、J.M.Martínez和M.Raydan，“凸集上的非精确谱投影梯度方法”，IMA J.Numer。分析。，第23卷，第539–559页，2003年·Zbl 1047.65042号 ·doi:10.1093/imanum/23.4.539文件
[8] A.Cauchy，“Méthode générale pour la résolution des systèms d’équations simultanees”，《比较》。伦德。科学。巴黎，第25卷，第536–538页，1847年。
[9] Y.H.Dai，“交替阶梯梯度法”，《优化》，第52卷，第395–4152003页·Zbl 1056.65055号 ·doi:10.1080/02331930310001611547
[10] 戴永华和廖立中，“Barzilai和Borwein梯度法的R-线性收敛性”，IMA J.Numer。分析。，第22卷，第1-10页，2002年·Zbl 1002.65069号 ·doi:10.1093/imanum/22.1.1
[11] Y.H.Dai和Y.Yuan，“交替最小化梯度法”，IMA J.Numer。分析。，第23卷，第377-393页，2003年·Zbl 1055.65073号 ·doi:10.1093/imanum/23.3377
[12] R.Fletcher，“无约束优化的低存储方法”，《应用数学讲座》，第26卷，第165-179页，1990年·Zbl 0699.65052号
[13] R.Fletcher，“关于Barzilai-Borwein方法”，数值分析报告NA/207，邓迪大学数学系，2001年·Zbl 1118.90318号
[14] A.Friedlander、J.M.Martínez、B.Molina和M.Raydan，“具有延迟和泛化的梯度法”，SIAM J.Numer。分析。，第36卷，第275-289页，1999年·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[15] L.Grippo、F.Lampariello和S.Lucidi，“牛顿法的非单调线搜索技术”，SIAM J.Numer。分析。，第23卷，第707–716页，1986年·Zbl 0616.65067号 ·doi:10.1137/0723046
[16] M.R.Hestenes和E.L.Stiefel，“求解线性系统的共轭梯度方法”，J.Research National Bureau of Standards，第B49卷，第409–436页，1952年·Zbl 0048.09901号
[17] W.LaCruz、J.M.Martínez和M.Raydan，“求解大型非线性方程组的无梯度信息谱残差法”，《计算数学》即将出版。
[18] W.LaCruz和M.Raydan，“大型非线性系统的非单调谱方法”，《优化方法与软件》，第18卷，第583-599页，2003年·Zbl 1069.65056号 ·网址：10.1080/1055678031001610493
[19] J.-L.Lamotte、B.Molina和M.Raydan，“具有延迟的平滑和自适应梯度法”，《数学和计算机建模》，第36卷，第1161-1168页，2002年·Zbl 1029.65029号 ·doi:10.1016/S0895-7177（02）00266-2
[20] F.Luengo和M.Raydan，“大规模优化问题的动态延迟梯度法”，《数值分析电子汇刊》，第16卷，第186-193页，2003年·Zbl 1134.90496号
[21] M.Raydan，“关于Barzilai和Borwein梯度法步长的选择”，IMA J.Numer。分析。，第13卷，第321-326页，1993年·兹比尔0778.65045 ·doi:10.1093/imanum/13.3321
[22] M.Raydan，“大规模无约束最小化问题的Barzilai和Borwein方法”，SIAM J.Optim。，第7卷，第26-33页，1997年·兹伯利0898.90119 ·doi:10.1137/S1052623494266365
[23] M.Raydan和B.F.Svaiter，“松弛最速下降和Cauchy-Barzilai-Borwein方法”，《计算优化与应用》，第21卷，第155-167页，2002年·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892
[24] T.Serafini、G.Zanghirati和L.Zanni，“二次规划的梯度投影方法和在训练支持向量机中的应用”，技术代表48，Modena和Reggio Emilia大学，意大利，2003年·Zbl 1054.65062号
[25] H.Zhang和W.W.Hager，“非单调线搜索技术及其在无约束优化中的应用”，SIAM J.Optim。，第14卷，第1043-1056页，2004年·兹比尔1073.90024 ·doi:10.1137/S1052623403428208
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。