×
黄亚奎;戴玉红;刘新伟

为Barzilai-Borwein方法配备二维二次终止特性。 （英语） Zbl 1481.90244号

SIAM J.Optim公司。 31，第4号，3068-3096（2021）.
小结：为了使Barzilai-Borwein（BB）方法具有二维二次终止性质，导出了一种新的梯度步长。新步长的一个显著特点是，它的计算只依赖于之前迭代中的BB步长，不需要任何精确的线搜索或Hessian，因此可以很容易地扩展到非线性优化。通过自适应地采用长BB步长和一些与新步长相关的短步长，我们发展了一种用于二次优化和一般无约束优化的有效梯度方法，并将其扩展到求解极值特征值问题。通过引入梯度投影技术，将该方法进一步推广到箱约束优化和单线性箱约束优化。数值实验表明，该方法优于文献中最成功的梯度方法。

引用于7文件

MSC公司：

90C20个 二次规划
90C25型 凸面编程
90立方 非线性规划

关键词：

Barzilai-Borwein方法;二次终止性质;无约束优化;极值特征值问题;箱约束优化;单线性盒约束优化

软件：

CUTEst公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.-K.Huang}等人，SIAM J.Optim。31，第4号，3068--3096（2021；Zbl 1481.90244）
全文： 内政部 arXiv公司

参考文献：

[1] P.Absil、R.Mahony、R.Sepulchre和P.Van Dooren，计算不变子空间的Grassmann-Rayleigh商迭代，SIAM Rev.，44（2002），第57-73页·Zbl 0995.65037号
[2] H.Akaike，关于概率分布的逐次变换及其在最优梯度法分析中的应用，Ann.Inst.Statist。数学。，11（1959年），第1-16页·Zbl 0100.14002号
[3] J.Barzilai和J.M.Borwein，两点步长梯度法，IMA J.Numer。分析。，8（1988），第141-148页·Zbl 0638.65055号
[4] E.G.Birgin，J.M.Martiínez，M.Raydan，凸集上的非单调谱投影梯度方法，SIAM J.Optim。，10（2000），第1196-1211页·Zbl 1047.90077号
[5] E.G.Birgin、J.M.Martiínez和M.Raydan，《光谱投影梯度法：回顾与展望》，J.Stat.Softw。，60（2014年），第539-559页·Zbl 1047.65042号
[6] S.Bonettini、R.Zanella和L.Zanni，约束图像去模糊的缩放梯度投影方法，反问题，25（2008），015002·Zbl 1155.94011号
[7] A.Cauchy，Me⁄thode geкneкrale pour la reкsolution des systemes di'eкquations simultaneкes，公司。伦德。科学。巴黎，25（1847），第536-538页。
[8] C.Cortes和V.Vapnik，支持向量网络，马赫。学习。，20（1995年），第273-297页·Zbl 0831.68098号
[9] S.Crisci、V.Ruggiero和L.Zanni，箱约束二次规划梯度投影方法中的步长选择，应用。数学。计算。，356（2019），第312-327页·Zbl 1428.90110号
[10] S.Crisci，F.Porta，V.Ruggiero，and L.Zanni，Barzilai-Borwein规则在求解具有上下界的单线性约束优化问题中的谱性质，SIAM J.Optim。，30（2020年），第1300-1326页·Zbl 1461.65139号
[11] 戴永华，交替梯度法，优化，52（2003），第395-415页·Zbl 1056.65055号
[12] Y.-H.Dai和R.Fletcher，大型箱约束二次规划的投影Barzilai-Borwein方法，Numer。数学。，100（2005），第21-47页·Zbl 1068.65073号
[13] 戴永华和弗莱彻，受上下界约束的单线性约束二次规划的新算法，数学。程序。，106（2006），第403-421页·Zbl 1134.90030号
[14] Y.-H.Dai、W.W.Hager、K.Schittkowski和H.Zhang，无约束优化的循环Barzilai-Borwein方法，IMA J.Numer。分析。，26（2006），第604-627页·Zbl 1147.65315号
[15] Y.-H.Dai，Y.Huang和X.-W.Liu，优化的谱梯度方法家族，计算机。最佳方案。申请。，74（2019年），第43-65页·Zbl 1427.90260号
[16] 戴永华，廖立中，巴兹莱和博尔文梯度法的线性收敛性，IMA J.Numer。分析。，22（2002），第1-10页·Zbl 1002.65069号
[17] 戴永华，袁永霞，单调梯度法的分析，《印度管理学杂志》。最佳。，1（2005），第181-192页·Zbl 1071.65084号
[18] 戴海华，张海华，自适应两点步长梯度算法，数值。《算法》，27（2001），第377-385页·Zbl 0992.65063号
[19] A.Daspremont、L.E.Ghaoui、M.I.Jordan和G.R.G.Lanckriet，《使用半定规划的稀疏PCA直接公式》，SIAM Rev.，49（2007），第434-448页·邮编1128.90050
[20] R.De Asmundis、D.Di Serafino、W.W.Hager、G.Toraldo和H.Zhang，使用Yuan步长的有效梯度法，计算。最佳方案。申请。，59（2014），第541-563页·Zbl 1310.90082号
[21] D.Di Serafino、V.Ruggiero、G.Toraldo和L.Zanni，关于无约束优化梯度方法中的步长选择，应用。数学。计算。，318（2018），第176-195页·Zbl 1426.65082号
[22] E.D.Dolan和J.J.More©，《性能曲线基准优化软件》，数学。程序。，91（2002），第201-213页·邮编：1049.90004
[23] R.Fletcher，《关于Barzilai-Borwein方法》，载于《应用优化与控制》，L.Qi、K.Teo和X.Yang编辑，Springer，Boston，2005年，第235-256页·Zbl 1118.90318号
[24] G.E.Forsythe，关于维数最优梯度法的渐近方向，Numer。数学。，11（1968年），第57-76页·Zbl 0153.46004号
[25] G.Frassoldati、L.Zanni和G.Zanghirati，梯度方法中的新自适应步长选择，J.Ind.Manag。最佳。，4（2008），第299-312页·Zbl 1161.90524号
[26] A.Friedlander、J.M.Martiínez、B.Molina和M.Raydan，《延迟和推广的梯度法》，SIAM J.Numer。分析。，36（1998年），第275-289页·Zbl 0940.65032号
[27] N.I.Gould，D.Orban和P.L.Toint，CUTEst：一个有约束和无约束的测试环境，具有用于数学优化的安全线程，Compute。最佳方案。申请。，60（2015年），第545-557页·Zbl 1325.90004号
[28] L.Grippo、F.Lampariello和S.Lucidi，牛顿法的非单调线搜索技术，SIAM J.Numer。分析。，23（1986年），第707-716页·Zbl 0616.65067号
[29] 胡建平，江斌，林立林，温振元，正交约束优化的结构化拟牛顿方法，SIAM J.Sci。计算。，41（2019年），第2239-2269页·Zbl 1431.65085号
[30] 黄玉华，戴玉华，刘晓伟，张浩，关于梯度法的渐近收敛性和加速性，科学学报。计算。，出现·Zbl 1481.90309号
[31] Y.Huang，Y.-H Dai，X.-W Liu和H.Zhang，利用光谱特性的梯度方法，Optim。方法软件。，35（2020年），第681-705页·Zbl 1454.90042号
[32] Y.Huang，Y.-H Dai，X.-W Liu，and H.Zhang，《论Barzilai Borwein方法的加速》，预印本，arXiv:2001.02335v1[math.OC]，2020。
[33] 黄毅，刘浩，关于投影Barzilai-Borwein方法的收敛速度，Optim。方法软件。，30（2015），第880-892页·Zbl 1338.90300号
[34] B.Jiang，C.Cui，and Y.-H.Dai，计算实对称矩阵几个极端特征对的无约束优化模型，Pac。J.优化。，10（2014年），第53-71页·Zbl 1291.65122号
[35] D.-W.Li和R.-Y Sun，关于Barzilai-Borwein方法的更快线性收敛速度，预印本，arXiv:2101.00205v1[math.OC]，2021。
[36] J.Moreí和G.Toraldo，有界约束二次规划问题的算法，数值。数学。，55（1989），第377-400页·Zbl 0675.65061号
[37] M.Raydan，关于Barzilai和Borwein梯度法步长的选择，IMA J.Numer。分析。，13（1993），第321-326页·Zbl 0778.65045号
[38] M.Raydan，大规模无约束极小化问题的Barzilai和Borwein梯度法，SIAM J.Optim。，7（1997），第26-33页·Zbl 0898.90119号
[39] M.Raydan和B.F.Svaiter，松弛最速下降和Cauchy-Barzilai-Borwein方法，计算。最佳方案。申请。，21（2002），第155-167页·Zbl 0988.90049号
[40] A.Sameh和Z.Tong，对称广义特征值问题的迹最小化方法，J.Compute。申请。数学。，123（2000），第155-175页·Zbl 0964.65038号
[41] A.Sameh和J.A.Wisniewski，广义特征值问题的迹最小化算法，SIAM J.Numer。分析。，19（1982），第1243-1259页·Zbl 0493.65017号
[42] Y.-X.Yuan，最速下降法的新步长，J.Compute。数学。，24（2006），第149-156页·Zbl 1101.65067号
[43] Y.-X.Yuan，梯度法的步长，AMS/IP Stud.Adv.Math。，42（2008），第785-796页·Zbl 1172.90509号
[44] 张宏，海格，非单调线搜索技术及其在无约束优化中的应用，SIAM J.Optim。，14（2004），第1043-1056页·Zbl 1073.90024号
[45] B.Zhou、L.Gao和Y.-H.Dai，自适应步长梯度法，计算。最佳方案。申请。，35（2006年），第69-86页·Zbl 1121.90099
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。