×
罗杰·弗莱彻

内存有限的最速下降法。 （英语） Zbl 1254.90113号

数学。程序。 135，编号1-2（A），413-436（2012）.
总结：Barzilai Borwein步长选择和其他相关思想的引入大大放大了最陡下降方法固有的可能性。这些方法已被证明在大维无约束极小化问题的极小化方面与共轭梯度方法具有竞争力。本文提出了一种方法，该方法能够利用几个额外的“长”存储向量的可用性，显著提高二次和非二次目标函数的性能。它利用了与Lanczos过程相关的某些Ritz值[C.兰佐斯，“求解线性微分和积分算子特征值问题的迭代方法”，J.Res.Natl。伯尔。站立。45, 255–282 (1950)]. 提供了一些基本理论，并给出了数值证据，表明新方法提供了一种竞争性的、更简单的替代最先进的l-BFGS有限记忆方法的方法。

引用于1审查
引用于28文件

MSC公司：

90C06型 数学规划中的大尺度问题
90C26型 非凸规划，全局优化
65千5 数值数学规划方法

关键词：

Barzilai-Borwein步长选择；里兹价值观

软件：

配置文件_QP；切割机；L-BFGS公司；12月6日；BB公司
PDF格式BibTeX公司 XML格式引用
\textit{R.Fletcher}，数学。程序。135，编号1--2（A），413--436（2012；Zbl 1254.90113）
全文： 内政部

参考文献：

[1] Barzilai J.，Borwein J.M.：两点步长梯度法。IMA J.数字。分析。8, 141–148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[2] Byrd R.H.，Nocedal J.，Schnabel R.B.：拟牛顿矩阵的表示及其在有限记忆方法中的应用。数学。程序。63, 129–156 (1994) ·Zbl 0809.90116号 ·doi:10.1007/BF01582063
[3] Cauchy A.：同时系统方程的Méthode générale pour la résolution des systèms d’équations。公司。伦德。科学。巴黎25536–538（1847）
[4] Dai Y.H.，Fletcher R.：关于一些新梯度方法的渐近行为。数学。程序。103, 541–559 (2005) ·Zbl 1099.90038号 ·doi:10.1007/s10107-004-0516-9
[5] Dai Y.H.，Fletcher R.：大型箱约束二次规划的投影Barzilai–Borwein方法。数字。数学。100, 21–47 (2005) ·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y
[6] 戴义华，袁毅：单调梯度法分析。J.工业管理。最佳方案。1, 181–192 (2005) ·Zbl 1071.65084号 ·doi:10.3934/jimo.2005.1.181
[7] Fletcher R.：实用优化方法。第2版。奇切斯特·威利（1987）·Zbl 0905.65002号
[8] Fletcher，R.：无约束优化的低存储方法。In：Allgower，E.L.，Georg，K.（编辑）非线性方程组的计算解。应用数学讲座（AMS），第26卷，第165-179页（1990年）
[9] Fletcher，R.：关于Barzilai–Borwein方法。收录于：Qi，L.，Teo，K.，Yang，X.（编辑）应用优化与控制系列，第96卷。Kluwer，第235–256页（2005年）·Zbl 1118.90318号
[10] Fletcher R.，Powell M.J.D.：极小化的快速收敛下降法。计算。J.6163–168（1963年）·Zbl 0132.11603号 ·doi:10.1093/comjnl/6.2.163
[11] Friedlander A.、Martínez J.M.、Molina B.、Raydan M.：具有延迟和推广的梯度法。SIAM J.数字。分析。36, 275–289 (1999) ·Zbl 0940.65032号 ·doi:10.1137/S003614299427315X
[12] Golub G.H.，Van Loan C.F.：矩阵计算。第3版。约翰·霍普金斯出版社，巴尔的摩（1996）·Zbl 0865.65009号
[13] Gould N.I.M.，Orban D.，Toint Ph.L.:CUTEr（和SifDec），一个约束和非约束的测试环境，再次访问。ACM事务处理。数学。柔和。29, 373–394 (2003) ·Zbl 1068.90526号 ·数字对象标识代码：10.1145/962437.96243439
[14] Grippo L.，Lampariello F.，Lucidi S.：牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23, 707–716 (1986) ·Zbl 0616.65067号 ·doi:10.1137/0723046
[15] Lanczos C.：求解线性微分和积分算子特征值问题的迭代方法。J.Res.Nat.Bur.研究。站立。45255-282（1950年）·doi:10.6028/jres.045.026
[16] Molina B.，Raydan M.：偏微分方程数值解的预处理Barzilai–Borwein方法。数字。阿尔戈里特姆。13, 45–60 (1996) ·Zbl 0861.65025号 ·doi:10.1007/BF02143126
[17] Nocedal J.：用有限存储更新拟Newton矩阵。数学。计算。35, 773–782 (1980) ·Zbl 0464.65037号 ·doi:10.1090/S0025-5718-1980-0572855-7
[18] Paige C.C.，Parlett B.N.，van der Vorst H.：Krylov子空间的近似解和特征值界。数字。线性代数应用。2, 115–133 (1995) ·Zbl 0831.65036号 ·doi:10.1002/nla.1680020205
[19] Raydan M.：关于Barzilai和Borwein梯度法步长的选择。IMA J.数字。分析。13, 321–326 (1993) ·Zbl 0778.65045号 ·doi:10.1093/imanum/13.3321
[20] Raydan M.：大规模无约束极小化问题的Barzilai和Borwein梯度法。SIAM J.Optim公司。7, 26–33 (1997) ·Zbl 0898.90119号 ·doi:10.1137/S1052623494266365
[21] Raydan M.，Svaiter B.F.：放松最陡下降和Cauchy-Barzilai–Borwein方法。计算。最佳方案。申请。21155-167（2002年）·Zbl 0988.90049号 ·doi:10.1023/A:1013708715892
[22] Serafini T.，Zanghirati G.，Zanni L.：二次规划的梯度投影方法及其在支持向量机中的应用。最佳方案。方法软件。20, 353–378 (2005) ·兹比尔1072.90026 ·doi:10.1080/105567805123318182
[23] Toint博士：在无约束优化中使用稀疏矩阵更新公式的一些数值结果。数学。计算。32, 839–852 (1978) ·Zbl 0381.65036号 ·doi:10.1090/S0025-5718-1978-0483452-7
[24] Varadhan R.，Gilbert P.D.：BB：用于求解大型非线性方程组和优化高维非线性目标函数的R包。J.统计软件。32, 1–26 (2009)
[25] Vargas W.E.、Azofeifa D.E.、Clark N.：应用光谱投影梯度法，从透射率测量中恢复了吸收衬底上薄膜的光学特性。固体薄膜425，1-8（2003）·doi:10.1016/S0040-6090（02）01117-3
[26] 袁毅：最速下降法的新步长。J.计算。数学。24, 149–156 (2006) ·Zbl 1101.65067号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。