×

针对无约束优化问题,提出了一种新的带前向有限差分方向导数的对角线加速拟Newton更新方法。 (英语) Zbl 1460.90204号

摘要:提出了一种用于无约束优化的加速对角拟牛顿更新算法。近似于Hessian的对角矩阵元素被确定为梯度分量的前向有限差分方向导数的缩放。在温和的经典假设下,证明了算法的收敛性是线性的。通过75个不同结构和复杂度的无约束优化测试问题的数值实验,证明了该算法比Perry-Shanno的具有Oren-Spediato或Oren-Luenberger尺度参数的自缩放无记忆BFGS方法更有效、更鲁棒。同时,我们的加速算法比基于有限差分的Hessian对角加速近似算法更有效、更鲁棒。MINPACK-2集合的五个应用的数值实验表明,通过最小变化割线更新策略和最小化矩阵的轨迹,所提出的算法比Hessian的对角近似更有效。

MSC公司:

90元53 拟Newton型方法
65千5 数值数学规划方法
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] JE丹尼斯;JJ莫雷。,超线性收敛的特征及其在拟Newton方法中的应用,数学计算,28126549-560(1974)·Zbl 0282.65042号 ·doi:10.1090/S0025-5718-1974-0343581-1
[2] JE丹尼斯;莫雷,JJ。,准纽顿方法、动机和理论,SIAM Rev,19,1,46-89(1977)·兹比尔0356.65041 ·doi:10.1137/1019005
[3] Kelley,CT,线性和非线性方程的迭代方法(1995),费城(PA):费城SIAM·Zbl 0832.65046号
[4] Nocedal,J。;SJ Wright,《数值优化》(2006),纽约(NY:Springer Science+Business Media,纽约(纽约)·Zbl 1104.65059号
[5] Sun,W。;元,YX。,优化理论和方法。非线性编程(2006),纽约:Springer Science+Business Media,纽约·邮编1129.90002
[6] Andrei,N.,《GAMS技术工程应用的连续非线性优化》,121(2017),纽约(NY:Springer Science+Business Media,纽约(纽约)·Zbl 1395.90001号
[7] Bertsekas博士。,非线性规划(1995),贝尔蒙特·Zbl 0935.90037号
[8] Wolfe,P.,上升法的收敛条件,SIAM Rev.,11226-235(1969)·Zbl 0177.20603号 ·doi:10.1137/1011036
[9] Wolfe,P.,上升法的收敛条件。二: 一些更正,SIAM Rev,13,185-188(1971)·Zbl 0216.26901号 ·数字对象标识代码:10.1137/1013035
[10] Gill,PE,Murray,W.大规模非线性优化的共轭梯度法。(技术报告SOL 79-15,斯坦福大学运筹学系,斯坦福,加利福尼亚州,美国,1979年)。
[11] Gilbert,JC;Lemaréchal,C.,可变存储准Newton算法的一些数值实验,数学规划,B辑,45407-435(1989)·Zbl 0694.90086号 ·doi:10.1007/BF01589113
[12] 日本拿撒勒。,如果是拟牛顿,那么为什么不是拟柯西?,SIAG/Opt Views and News,6,11-14(1995)
[13] JE丹尼斯;Wolkowicz,H.,尺寸和最小变化正割方法,SIAM J.数值分析,30,5,1291-1314(1993)·Zbl 0802.65081号 ·数字对象标识代码:10.1137/0730067
[14] 朱,M。;拿撒勒,JL;Wolkowicz,H.,拟柯西关系与对角线更新,SIAM J Optim,9,4,1192-1204(1999)·Zbl 1013.90137号 ·doi:10.1137/S1052623498331793
[15] WJ Leong;法里德,M。;马萨诸塞州哈桑,大规模无约束优化对角线拟牛顿更新的缩放,布尔。马来人。数学。科学。Soc,35,2,247-256(2012)·兹比尔1246.65092
[16] 法里德,M。;WJ Leong;Zheng,L.,一种新的用于大规模无约束优化的对角梯度型方法。U.P.B.科学。公牛,A系列,75,1,57-64(2013)·Zbl 1299.65118号
[17] Andrei,N.,无约束优化的对角线拟Newton更新方法,数值算法,81,2,575-590(2019)·Zbl 1416.49025号 ·doi:10.1007/s11075-018-0562-7
[18] Andrei,N.,基于最小化Byrd和Nocedal测度函数的无约束优化对角线拟Newton更新方法,optimization,67,9,1553-1568(2018)·Zbl 1402.65049号 ·doi:10.1080/02331934.2018.1482298
[19] 伯德,RH;Nocedal,J.,用于分析拟牛顿方法并应用于无约束最小化的工具,SIAM J Numer Anal,26727-739(1989)·Zbl 0676.65061号 ·doi:10.1137/0726042
[20] Perry,A.(1977年)。一类具有两步可变度量记忆的共轭梯度算法。讨论论文269,经济与管理科学数学研究中心。西北大学,伊利诺伊州(美国);1977
[21] 谢诺,DF。,带不精确搜索的共轭梯度法,《数学运算研究》,3244-256(1978)·Zbl 0399.90077号 ·doi:10.1287/门3.3.244
[22] 奥伦,SS;Spedicado,E.,自缩放可变度量算法的最优条件,数学程序,10,70-90(1976)·Zbl 0342.90045号 ·doi:10.1007/BF01580654
[23] 奥伦,SS;Luenberger局长。,自缩放可变度量(SSVM)算法,第一部分:缩放一类算法的标准和充分条件,Manage Sci,20845-862(1974)·Zbl 0316.90064号 ·doi:10.1287/mnsc.20.5.845
[24] Andrei,N.,《无约束优化测试函数集》,Adv Model Opt-Electron Int J,10,147-161(2008)·Zbl 1161.90486号
[25] Andrei,N.,无约束优化的带回溯的梯度下降加速算法,数值算法,42,1,63-73(2006)·Zbl 1101.65058号 ·doi:10.1007/s11075-006-9023-9
[26] 邦加兹,I。;连接,AR;古尔德,NIM,CUTE:约束和非约束测试环境,ACM Trans Math Softw,21123-160(1995)·兹伯利0886.65058 ·doi:10.1145/200979.201043
[27] Andrei,N.,一种新的对角拟Newton更新方法,用于无约束优化,带前向有限差分方向导数,数值函数分析Optim,40,13,1467-1488(2019)·Zbl 1417.49037号 ·doi:10.1080/01630563.2018.1552293
[28] Luenberger局长。,线性和非线性规划导论(1984),阅读:Addison-Wesley出版社,阅读·Zbl 0571.90051号
[29] Dolan,ED;JJ莫雷。,用性能曲线对标优化软件,数学程序,91,201-213(2002)·邮编:1049.90004 ·doi:10.1007/s101070100263
[30] Al-Baali,M.,一类自缩放准牛顿算法的数值经验,《最优化理论应用杂志》,96,533-553(1998)·Zbl 0907.90240号 ·doi:10.1023/A:1022608410710
[31] Babaie Kafaki,S.,关于自标度无记忆拟牛顿更新公式参数的最优性,J.Optim。理论应用,167,1,91-101(2015)·Zbl 1327.90394号 ·doi:10.1007/s10957-015-0724-x
[32] JE丹尼斯;苏格兰皇家银行施纳贝尔。,无约束优化和非线性方程的数值方法(1983)·Zbl 0579.65058号
[33] 吉尔,体育;默里,W。;Wright,MH.,《实用优化》(1981),伦敦:学术出版社,伦敦·Zbl 0503.90062号
[34] Averick,BM;RG卡特;Moré,JJ,MINPACK-2测试问题收集(1992年),阿贡(伊利诺伊州:阿贡国家实验室,阿贡(伊利诺伊州)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。