×

兹马思-数学第一资源

无约束优化的有限差分Hessian对角逼近。(英语) 兹布1441.49029
摘要:本文提出了一种新的对角更新矩阵拟牛顿法,其中对角元素由正向或中心差分确定。搜索方向是一个充分下降的方向。该算法配有加速方案。算法的收敛性是线性的。初步的计算实验使用了一组75个无约束优化测试问题,根据它们的Hessian结构分为五组:对角、块对角、带(三对角或五对角)、稀疏和稠密。基于CPU时间度量,密集的数值实验表明,对于对角、块对角或带状结构的Hessian问题,有限差分对角逼近Hessian算法与成熟的算法:最速下降法和Broyden-Fletcher-Goldfarb-Shanno算法相比,表现最好。另一方面,作为这一数值研究的副产品,我们表明Broyden-Fletcher-Goldfarb-Shanno算法对于稀疏Hessian问题更快,其次是稠密Hessian问题。
理学硕士:
49米15 牛顿型方法
6505公里 数值数学规划方法
90立方厘米 非线性规划
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 张国荣,张国强,张国强,超线性收敛的特征及其在拟牛顿方法中的应用,计算数学,28549-560(1974)·Zbl 0282.65042
[2] Dennis,JE Jr;Moré,JJ,拟牛顿方法,动机和理论,暹罗评论,19,46-89(1977)·Zbl 0356.65041
[3] Nocedal,J.,无约束优化算法理论,数学学报,1199-242(1992)·Zbl 0766.65051
[4] Dennis,JE Jr;Schnabel,RB,《无约束优化和非线性方程组的数值方法》(1983年),新泽西州恩格尔伍德克利夫斯:普伦蒂斯霍尔公司,恩格尔伍德悬崖,新泽西州
[5] Gill,PE;Murray,W.;Wright,MH,《实用优化》(1981),伦敦:学术出版社,伦敦
[6] Nocedal,J.;Wright,SJ,《数值优化》(2006),柏林:斯普林格,柏林
[7] Bartholomew Biggs,M.,非线性优化与工程应用。斯普林格优化及其应用(2008),柏林:斯普林格,柏林·Zbl 1167.90001号
[8] Andrei,N.,GAMS技术中工程应用的连续非线性优化。斯普林格优化及其应用(2017),柏林:斯普林格,柏林·Zbl 1395.90001号
[9] 如果是准牛顿,那么为什么不是准柯西呢?,SIAG/Opt观点和新闻,6,11-14(1995)
[10] Dennis,JE;Wolkowicz,H.,尺寸和最小变化割线法,暹罗J.数值分析,301291-1314(1993)·Zbl 0802.65081
[11] Zhu,M.;Nazareth,JL;Wolkowicz,H.,《拟柯西关系和对角更新》,暹罗J.Optim.,9,4,1192-1204(1999)·Zbl 1013.90137
[12] Leong,WJ;Farid,M.;Hassan,MA,带修正拟Cauchy关系的梯度型方法的改进Hessian近似,Adv。模型。优化,12,1,37-44(2010)·Zbl 1332.90346
[13] Farid,M.;Leong,WJ;Zheng,L.,大规模无约束优化的一种新的对角梯度型方法,U.P.B.Sci。牛。爵士。A、 第75、1、57-64页(2013年)·Zbl 1299.65118号
[14] Andrei,N.,无约束优化的对角拟牛顿更新方法,数值算法,81575-590(2019)·Zbl 1416.49025
[15] Wolfe,P.,上升方法的收敛条件,暹罗评论,11226-235(1969)·Zbl 0177.20603
[16] Wolfe,P.,上升法的收敛条件。二: 一些更正,暹罗修订版,13185-188(1971)·Zbl 0216.26901
[17] Andrei,N.,无约束优化的带回溯的梯度下降加速算法,数值算法,42,63-73(2006)·Zbl 1101.65058
[18] Andrei,N.,无约束优化共轭梯度算法的加速,应用。数学。计算机,213361-369(2009)·Zbl 1172.65027
[19] 凯利,康涅狄格州,线性和非线性方程的迭代方法(1995),费城:暹罗,费城
[20] Zoutendijk,G.;Abadie,J.,《非线性规划,计算方法,整数和非线性规划》,37-86(1970),阿姆斯特丹:北荷兰,阿姆斯特丹
[21] 李洪波,王国平,等.多变量非线性方程组的迭代解法(1970),伦敦:学术出版社,伦敦
[22] Luenberger,DG;Ye,Y.,线性和非线性规划(2016),纽约:Springer,纽约
[23] Nash,SG;Nocedal,J.,有限内存BFGS方法和截断牛顿法在大规模优化中的数值研究,SIAM J.优化,1,3,358-372(1991)·Zbl 0756.65091
[24] Liu,DC;Nocedal,J.,关于大规模优化的有限内存BFGS方法,数学。编程,45503-528(1989)·零担0696.90048
[25] Nash,S.G.:TN/TNBC用户指南:非线性优化的Fortran例程。报告397,巴尔的摩约翰霍普金斯大学数学科学系(1984)
[26] Nash,SG,截断牛顿法的预处理,暹罗J.Sci。统计学家。Comput.,6599-616(1985年)·零担0592.65038
[27] Bongartz,I.;Conn,AR;Gould,NIM;Toint,PL,CUTE:约束和非约束测试环境,ACM TOMS,21123-160(1995)·邮政编码:0886.65058
[28] Andrei,N:75个无约束优化测试问题的集合。第6/2018号技术报告,2018年5月10日,第1-9页。布加勒斯特信息学研究所(2018)
[29] Dolan,ED;Moré,JJ,带性能配置文件的基准优化软件,数学。计划,91201-213(2002)·Zbl 1049.90004号
[30] Gill,P.E.,Murray,W.:大规模非线性优化的共轭梯度法。技术报告SOL 79-15,斯坦福大学运筹学系(1979)
[31] Gilbert,JC;Lemaréchal,C.,变量存储拟牛顿算法的一些数值实验,数学。编程Ser。B、 45407-435(1989年)·Zbl 0694.90086
[32] Nazareth,J.L.:牛顿-柯西框架:无约束非线性极小化的统一方法。计算机科学课堂讲稿769。斯普林格,纽约(1994)·Zbl 0891.65067
[33] Dennis,J.E.,Walker,H.F.:拟牛顿方法的不精确性:局部改进定理。在:数学规划研究,第22卷:数学规划在Oberwolfach II,第70-85页。北荷兰,阿姆斯特丹(1984)·零担0566.65038
[34] 李国平,周永平,等圆误差对牛顿法的影响,张国荣,张国荣。《分析》,3109-118(1983年)·Zbl 0519.65026
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。