×

无约束优化问题的改进双参数尺度BFGS方法的全局收敛性。 (英语) Zbl 1459.90167号

小结:BFGS方法是求解中小型无约束优化问题的最有效的拟Newton方法之一。为了探索其更有趣的性质,本文提出了一种改进的双参数尺度BFGS方法。改进的尺度BFGS方法的目的是改进BFGS更新的特征值结构。在该方法中,标准BFGS更新公式的前两项和最后一项用两个不同的正参数进行缩放,并给出新的值“y_k”。同时,还提出了元威鲁线搜索。在上述线性搜索下,改进的双参数尺度BFGS方法对非凸函数具有全局收敛性。大量的数值实验表明,这种形式的尺度BFGS方法优于标准BFGS或一些类似的尺度方法。

MSC公司:

90C26型 非凸规划,全局优化
90C53型 拟Newton型方法
90立方 非线性规划
65千5 数值数学规划方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 伯德·R·H。;Hansen,S.L。;Nocedal,J。;Singer,Y.,用于大规模优化的随机拟Newton方法,SIAM优化杂志,26,21008-1031(2016)·Zbl 1382.65166号 ·数字对象标识代码:10.1137/140954362
[2] 刘易斯,A.S。;Overton,M.L.,通过拟Newton方法进行非光滑优化,数学规划,141,1-2,135-163(2013)·Zbl 1280.90118号 ·doi:10.1007/s10107-012-0514-2
[3] 萨利姆,M.S。;Ahmed,A.I.,无约束优化问题的拟牛顿方法家族,最优化,67,10,1717-1727(2018)·Zbl 1416.90047号 ·doi:10.1080/02331934.2018.1487423
[4] 魏,Z。;李·G。;Qi,L.,无约束优化问题的新拟Newton方法,应用数学与计算,175,2,1156-1188(2006)·Zbl 1100.65054号 ·doi:10.1016/j.amc.2005.08.027
[5] 魏,Z。;Yu,G。;袁,G。;Lian,Z.,无约束优化的修正BFGS型方法的超线性收敛性,计算优化与应用,29,3,315-332(2004)·Zbl 1070.90089 ·doi:10.1023/b:coap.000044184.25410.39
[6] 袁,G。;盛,Z。;王,B。;胡,W。;Li,C.,非凸函数的修正BFGS方法的全局收敛性,计算与应用数学杂志,327274-294(2018)·Zbl 1370.90203号 ·doi:10.1016/j.cam.2017.05.030
[7] 周,W。;Zhang,L.,非凸无约束极小化非单调MBFGS方法的全局收敛性,计算与应用数学杂志,223,1,40-47(2009)·Zbl 1191.90076号 ·doi:10.1016/j.cam.2007.12.011
[8] 周,W。;Chen,X.,非线性最小二乘问题新的混合Gauss-Newton结构BFGS方法的全局收敛性,SIAM优化杂志,20,5,2422-2441(2010)·Zbl 1211.90131号 ·doi:10.1137/090748470
[9] 李,D.-H。;Fukushima,M.,修正的BFGS方法及其在非凸最小化中的全局收敛性,计算与应用数学杂志,129,1-2,15-35(2001)·Zbl 0984.65055号 ·doi:10.1016/s0377-0427(00)00540-9
[10] 李,D.-H。;Fukushima,M.,关于非凸无约束优化问题的BFGS方法的全局收敛性,SIAM优化杂志,11,4,1054-1064(2001)·Zbl 1010.90079号 ·doi:10.1137/s1052623499354242
[11] 刘,L。;魏,Z。;Wu,X.,无约束优化或复杂系统无线搜索的新修正BFGS方法的收敛性,系统科学与复杂性杂志,23,4,861-872(2010)·Zbl 1209.90321号 ·doi:10.1007/s11424-010-7180-3
[12] Xiao,Y。;魏,Z。;Wang,Z.,用于大规模无约束优化的有限内存BFGS型方法,计算机与数学应用,56,4,1001-1009(2008)·Zbl 1155.90441号 ·doi:10.1016/j.camwa.2008.01.028
[13] 朱,C。;伯德·R·H。;Lu,P。;Nocedal,J.,算法778:l-BFGS-B:大规模有界约束优化的fortran子程序,ACM数学软件汇刊,23,4,550-560(1997)·Zbl 0912.65057号 ·doi:10.1145/279232.279236
[14] Zhou,W.,对称非线性方程组问题的带线搜索的修正BFGS型拟Newton方法,计算与应用数学杂志,367(2020)·Zbl 1423.90250号 ·doi:10.1016/j.cam.2019.112454
[15] 张,L。;Tang,H.,用于全局复杂度界非凸最小化的MBFGS和CBFGS混合方法,《太平洋优化杂志》,14,4,693-702(2018)·Zbl 1461.65191号
[16] 周,W。;Zhang,L.,非线性方程的修正Broyden-like拟Newton方法,计算与应用数学杂志,372(2020)·Zbl 1439.90076号 ·doi:10.1016/j.cam.2020.112744
[17] Powell,M.J.D.,无需精确线搜索的最小化变尺度算法的一些全局收敛性,SIAM-AMS Proceedings,9,53-72(1976)·Zbl 0338.65038号
[18] 伯德·R·H。;Nocedal,J。;Yuan,Y.-X.,凸问题上一类拟牛顿方法的全局收敛性,SIAM数值分析杂志,24,511711-190(1987)·Zbl 0657.65083号 ·数字对象标识代码:10.1137/0724077
[19] Dixon,L.C.W.,可变度量算法:非二次函数相同行为的充分必要条件,优化理论与应用杂志,10,1,34-40(1972)·Zbl 0226.49014号 ·doi:10.1007/bf00934961
[20] Griewank,A.,关于凸分解和Lipschitzian梯度问题的分区BFGS的全局收敛性,数学规划,50,1-3,141-175(1991)·Zbl 0736.90068号 ·doi:10.1007/bf01594933
[21] Powell,M.J.D.,《关于变尺度算法的收敛性》,IMA应用数学杂志,7,1,21-36(1971)·兹伯利0217.52804 ·doi:10.1093/imamat/7.1.21
[22] Mascarenhas,W.F.,《具有精确行搜索的BFGS方法无法实现非凸目标函数》,《数学规划》,99,1,49-61(2004)·兹比尔1082.90108 ·doi:10.1007/s10107-003-0421-7
[23] Dai,Y.-H.,BFGS算法的收敛性,SIAM优化杂志,13,3,693-701(2006)·Zbl 1036.65052号 ·doi:10.1137/s1052623401383455
[24] 袁,G。;Wei,Z.,关于凸极小化的修正BFGS方法的收敛性分析,计算优化与应用,47,2,237-255(2010)·Zbl 1228.90077号 ·doi:10.1007/s10589-008-9219-0
[25] Nocedal,J.,无约束优化算法理论,《数值学报》,1199-242(1992)·Zbl 0766.65051号 ·doi:10.1017/s0962492900002270
[26] Oren,S.S。;Luenberger,D.G.,自缩放变量度量(SSVM)算法,第一部分:缩放一类算法的标准和充分条件,管理科学,20,5,845-862(1974)·Zbl 0316.90064号 ·doi:10.1287/mnsc.20.5.845
[27] Nocedal,J。;袁永新,自标度拟牛顿法分析,数学规划,61,1-3,19-37(1993)·Zbl 0794.90067号 ·doi:10.1007/bf01582136
[28] Al-Baali,M.,《自缩放准Newton方法家族的分析》(1993),阿联酋Al-Ain:阿拉伯联合酋长国大学数学与计算机科学系,阿联社Al-Ain,技术报告·Zbl 0797.90086号
[29] 袁永新,无约束优化的一种改进的BFGS算法,IMA数值分析杂志,11,3,325-332(1991)·Zbl 0733.65039号 ·doi:10.1093/imanum/11.3325
[30] Powell,M.J.D.,当目标函数为二次函数时,BFGS和DFP方法有多差?,数学规划,34,1,34-47(1986)·Zbl 0581.90068号 ·doi:10.1007/bf01582161
[31] Barzilai,J。;Borwein,J.M.,两点步长梯度法,IMA数值分析杂志,8,1,141-148(1988)·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[32] Cheng,W.Y。;Li,D.H.,谱标度BFGS方法,优化理论与应用杂志,146,2,305-319(2010)·Zbl 1198.90355号 ·doi:10.1007/s10957-010-9652-y
[33] Andrei,N.,无约束优化的自适应缩放BFGS方法,数值算法,77,24113-432(2017)·兹比尔1383.65059 ·doi:10.1007/s11075-017-0321-1
[34] Andrei,N.,无约束优化的双参数标度BFGS方法,计算与应用数学杂志,332,26-44(2018)·Zbl 1422.65084号 ·doi:10.1016/j.cam.2017.10.009
[35] Dai,Y.-H。;Kou,C.-X.,一种具有最优性质和改进的wolfe线搜索的非线性共轭梯度算法,SIAM优化杂志,23,1,296-320(2013)·Zbl 1266.49065号 ·数字对象标识代码:10.1137/100813026
[36] 戴,Z。;Dong,X。;Kang,J。;Hong,L.,《预测股市收益:新技术指标和两步经济约束法》,《北美经济与金融杂志》,53(2020)·doi:10.1016/j.najef.2020.1016
[37] 戴,Z。;Zhu,H.,大型非线性单调方程的修正Hestenes-Stiefel型无导数方法,数学,8,2,168(2020)·doi:10.3390/路径8020168
[38] 袁,G。;王,X。;Sheng,Z.,非凸函数族弱共轭梯度算法及其收敛性分析,数值算法,84,3,935-956(2020)·Zbl 1461.65190号 ·doi:10.1007/s11075-019-00787-7
[39] 袁,G。;卢,J。;Wang,Z.,带修正WWP线搜索的PRP共轭梯度算法及其在图像恢复问题中的应用,应用数值数学,152,1-11(2020)·Zbl 07173158号 ·doi:10.1016/j.apnum.2020.01.019
[40] 袁,G。;李·T。;Hu,W.,大型非线性方程组和图像恢复问题的共轭梯度算法,应用数值数学,147129-141(2020)·Zbl 1433.90165号 ·doi:10.1016/j.apnum.2019.08.022
[41] 袁,G。;魏,Z。;Yang,Y.,非凸函数不精确线搜索下Polak-Ribière-Polyak共轭梯度算法的全局收敛性,计算与应用数学杂志,362,262-275(2019)·Zbl 1418.90205号 ·doi:10.1016/j.cam.2018.10.057
[42] Zhang,L.,使用割线条件求解一般大型非线性方程的无导数共轭残差法,数值算法,83,4,1277-1293(2020)·Zbl 1441.90160号 ·doi:10.1007/s11075-019-00725-7
[43] Zhou,W.,关于未修改PRP方法全局收敛性的简短说明,Optimization Letters,7,6,1367-1372(2013)·Zbl 1276.90072号 ·doi:10.1007/s11590-012-0511-7
[44] Sun,W。;Yuan,Y.,优化理论与方法(2006),美国纽约州纽约市:Springer US,纽约州纽约州美国·邮编1129.90002
[45] 伯德·R·H。;刘博士。;Nocedal,J.,关于broyden类拟Newton方法的行为,SIAM优化杂志,2,4,533-557(1992)·Zbl 0770.90063号 ·doi:10.1137/0802026
[46] Powell,M.J.D.,用BFGS公式更新共轭方向,数学规划,38,1,29-46(1987)·Zbl 0642.90086号 ·doi:10.1007/bf02591850
[47] 邦加兹,I。;A.R.康涅狄格州。;古尔德,N。;Toint,P.L.,CUTE:约束和非约束测试环境,ACM数学软件汇刊,21,1,123-160(1995)·Zbl 0886.65058号 ·doi:10.1145/200979.201043
[48] 莫雷,J.J。;加博,B.S。;Hillstrom,K.E.,测试无约束优化软件,ACM数学软件交易(TOMS),7,1,17-41(1981)·Zbl 0454.65049号 ·数字对象标识代码:10.1145/355934.355936
[49] 袁,Y。;孙伟,《最优化理论与方法》(1999),北京:中国科学出版社,北京
[50] A.欧阳。;刘,L.-B。;盛,Z。;Wu,F.,使用混合入侵杂草优化算法的非线性马斯京根模型的一类参数估计方法,工程数学问题,2015(2015)·Zbl 1394.90575号 ·doi:10.115/2015/573894
[51] A.欧阳。;唐,Z。;李凯。;Sallam,A。;Sha,E.,使用自适应混合PSO算法估计马斯京根模型参数,国际模式识别与人工智能杂志,28,1-29(2014)·doi:10.1142/s0218001414590034
[52] Geem,Z.W.,使用BFGS技术对非线性马斯京根模型进行参数估计,灌溉与排水工程杂志,132,5,474-478(2006)·doi:10.1061/(asce)0733-9437(2006)132:5(474)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。