×
内库莱·安德烈

基于自缩放无记忆Broyden-Fletcher-Goldfarb-Shanno方法的新共轭梯度算法。 （英文） Zbl 1445.90100号

卡尔科洛 57，第2期，第17号论文，27页（2020年）.
摘要：提出了三种新的计算自缩放无记忆Broyden-Fletcher-Goldfarb-Shanno搜索方向中带参数的缩放参数的方法。前两种方法是基于利用矩阵的行列式或迹对具有参数的自缩放无记忆Broyden-Fletcher-Goldfarb-Shanno迭代矩阵的特征值进行聚类R.H.伯德和J.诺西达尔【SIAM J.Numer.Anal.26，No.3，727-739（1989；Zbl 0676.65061号)]. 对于这三种算法，都建立了充分下降条件。使用标准Wolfe线搜索计算步长。在标准Wolfe线搜索下，建立了这些算法的全局收敛性。通过使用80个具有不同结构和复杂度的无约束优化测试问题，表明基于行列式、迭代矩阵迹或最小化测度函数的自缩放无记忆算法的性能优于CG_DESCENT（1.4版）算法使用Wolfe线搜索[W.W.黑格和H.张，SIAM J.Optim。16，第1期，170–192（2005年；邮编1093.90085)]，提出了具有缩放参数的自缩放无记忆BFGS算法S.S.Oren公司和E.Spedicato公司[数学课程.10，70-90（1976；Zbl 0342.90045号)]和依据S.S.Oren公司和D.G.Luenberger先生[管理科学，理论20845-862（1974；Zbl 0316.90064号)]，LBFGS由D.C.刘和J.诺西达尔[数学课程.45，第3（B）期，503-528（1989；Zbl 0696.90048号)]和标准BFGS。基于最小化Byrd和Nocedal度量函数的自缩放无记忆算法[loc.cit.]与基于行列式或迭代矩阵轨迹的相同算法相比，性能稍好。

引用于1文件

MSC公司：

90立方 非线性规划

关键词：

无约束优化;无记忆自缩放;准牛顿法;标准Wolfe线搜索

引文：

Zbl 0676.65061号;邮编1093.90085;Zbl 0342.90045号;Zbl 0316.90064号;Zbl 0696.90048号

软件：

CG_退出;L-BFGS公司;切割机;可爱的;比例尺
PDF格式BibTeX公司 XML格式引用
\textit{N.Andrei}，Calcolo 57，第2期，第17号论文，第27页（2020年；Zbl 1445.90100）
全文： 内政部

参考文献：

[1] Al-Baali，M.，一类自缩放准牛顿算法的数值经验，J.Optim。理论应用。，96,3533-553（1998年）·Zbl 0907.90240号
[2] Andrei，N.：Critica Raţiunii Algoritmilor de Optimizare f \355,ii。【无约束优化算法推理的批判】。埃迪图拉·罗马内学院（Editura Academiei Románe，Bucurešti）（2009年）
[3] Andrei，N.，无约束优化共轭梯度算法的加速，应用。数学。计算。，213, 2, 361-369 (2009) ·Zbl 1172.65027号
[4] Andrei，N.，无约束优化的一种新的三项共轭梯度算法，Numer。算法，68305-321（2015）·兹比尔1321.65092
[5] Andrei，N.，用于大规模无约束优化的自适应共轭梯度算法，J.Compute。申请。数学。，292, 83-91 (2016) ·Zbl 1321.90124号
[6] Andrei，N.，大型无约束优化共轭梯度算法中特征值与奇异值的研究，Optim。方法软。，32, 3, 534-551 (2017) ·Zbl 1368.49057号
[7] Andrei，N.：UOP——80个无约束优化测试问题的集合。第7/2018号技术报告，11月17日，罗马尼亚布加勒斯特信息研究所。(2018)
[8] O.阿克塞尔森。；Lindskog，G.，关于预处理共轭梯度法的收敛速度，Numer。数学。，48, 499-523 (1986) ·Zbl 0564.65017号
[9] Babaie-Kafaki，S.，关于自缩放无记忆准牛顿更新公式参数的优化，J.Optim。理论应用。，167, 1, 91-101 (2015) ·Zbl 1327.90394号
[10] Babaie-Kafaki，S.，无记忆BFGS更新公式的修正缩放参数，数值算法，72，2，425-433（2016）·Zbl 1342.90227号
[11] 伯金，E。；Martínez，JM，无约束优化的谱共轭梯度法，应用。数学。最佳。，43, 2, 117-128 (2001) ·Zbl 0990.90134号
[12] 邦加兹，I。；连接器，AR；古尔德，NIM；Toint，PL，CUTE：约束和非约束测试环境，ACM TOMS，21223-160（1995）·Zbl 0886.65058号
[13] Broyden，CG，一类双秩最小化算法的收敛性。I.一般考虑，J.Inst.Math。申请。，6, 76-90 (1970) ·Zbl 0223.65023号
[14] 伯德·R。；Nocedal，J.，《应用于无约束最小化的拟Newton方法分析工具》，SIAM J.Numer。分析。，26, 727-739 (1989) ·Zbl 0676.65061号
[15] 戴，YH；Wang，Y。；亚戈拉股份公司；Yang，C.，第8章：非线性共轭梯度法的收敛性分析，计算逆问题的优化和正则化及其应用，157-181（2010），柏林：高等教育出版社，北京，Springer，柏林·Zbl 1218.65054号
[16] 戴，YH；Kou，CX，具有最优性质的非线性共轭梯度算法和改进的Wolfe线搜索，SIAM J.Optim。，23, 1, 296-320 (2013) ·兹比尔1266.49065
[17] 戴，YH；Lia，LZ，新共轭条件及相关非线性共轭梯度法，应用。数学。最佳。，43, 87-101 (2001) ·Zbl 0973.65050号
[18] JE丹尼斯；Wolkowicz，H.，《尺寸和最小变化割线法》，SIAM J.Numer。分析。，30, 5, 1291-1314 (1993) ·Zbl 0802.65081号
[19] Dolan，ED；Moré，JJ，带性能配置文件的基准优化软件，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004
[20] Fletcher，R.，可变度量算法的新方法，计算。J.，13，317-322（1970）·Zbl 0207.17402号
[21] Fletcher，R.，拟Newton公式的一个新变分结果，SIAM J.Optim。，1, 18-21 (1991) ·Zbl 0752.90064号
[22] Gilbert，JC；Nocedal，J.，共轭梯度优化方法的全局收敛性，SIAM J.Optim。，2, 21-42 (1992) ·Zbl 0767.90082号
[23] Goldfarb，D.，由变异平均值导出的一系列可变度量方法，数学。计算。，23, 23-26 (1970) ·Zbl 0196.18002号
[24] 哈格，WW；Zhang，H.，一种新的保下降共轭梯度法和有效的线性搜索，SIAM J.Optim。，16, 170-192 (2005) ·邮编1093.90085
[25] 哈格，WW；Zhang，H.，算法851:CG_DESCENT，一种具有保证下降的共轭梯度方法，ACM Trans。数学。软质。，32, 1, 113-137 (2006) ·Zbl 1346.90816号
[26] 哈格，WW；张浩，有限记忆共轭梯度法，SIAM J.Optim。，23, 4, 2150-2168 (2013) ·Zbl 1298.90129号
[27] 赫斯特内斯，MR；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 409-436 (1952) ·Zbl 0048.09901号
[28] Kaporin，IE，共轭梯度法的新收敛结果和预处理策略，Numer。线性代数。，1, 179-210 (1994) ·Zbl 0837.65027号
[29] Kratzer，D。；合作伙伴，SV；Steuerwalt，M.，共轭梯度法的块分裂，计算。流体。，11, 255-279 (1983) ·Zbl 0526.76003号
[30] 刘，DC；Nocedal，J.，关于大型优化的有限内存BFGS方法，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号
[31] Luenberger，DG，《线性和非线性规划导论》（1984），阅读：Addison-Wesley出版社，阅读·Zbl 0571.90051号
[32] Nocedal，J.，用有限存储更新拟牛顿矩阵，数学。计算。，35, 773-782 (1980) ·Zbl 0464.65037号
[33] Nocedal，J。；袁，YX，自标度拟牛顿法分析，数学。程序。，61, 19-37 (1993) ·Zbl 0794.90067号
[34] 奥伦，SS；Spedicato，E.，自缩放可变度量算法的优化条件，数学。程序。，10, 70-90 (1976) ·Zbl 0342.90045号
[35] Oren，SS，自缩放可变度量（SSVM）算法。第二部分：实施与实验，管理。科学。，20, 5, 863-874 (1974) ·兹伯利0316.90065
[36] 奥伦，SS；Luenberger，DG，自缩放变量度量（SSVM）算法，第一部分：缩放一类算法的标准和充分条件，Manag。科学。，20, 845-862 (1974) ·Zbl 0316.90064号
[37] Perry，A.：一类具有两步可变度量存储器的共轭梯度算法。讨论论文269，经济与管理科学数学研究中心。美国伊利诺伊州西北大学（1977年）
[38] 鲍威尔，MJD；Griffiths，DF，非凸极小化计算和共轭梯度法，数值分析（Dundee，1983），数学课堂讲稿，122-141（1984）·Zbl 0531.65035号
[39] Shanno，DF，函数最小化的拟Newton方法条件，数学。计算。，24, 647-656 (1970) ·Zbl 0225.65073号
[40] Shanno，DF，带不精确搜索的共轭梯度法，数学。操作。第3244-256号决议（1978年）·Zbl 0399.90077号
[41] Winther，R.，共轭梯度法的一些超线性收敛结果，SIAM J.Numer。分析。，17, 14-17 (1980) ·Zbl 0447.65021号
[42] Wolfe，P.，上升法的收敛条件，SIAM Rev.，11226-235（1969）·Zbl 0177.20603号
[43] Wolfe，P.，上升法的收敛条件。二： 一些更正，SIAM Rev.，13，185-188（1971）·Zbl 0216.26901号
[44] Zoutendijk，G。；Abadie，J.，《非线性规划、计算方法、整数和非线性规划》，38-86（1970年），阿姆斯特丹：北荷兰·Zbl 0321.00011号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。