×

函数空间中拟Newton优化公式的推导。 (英语) Zbl 1441.90181号

小结:牛顿法与基于梯度或无导数的优化算法相比,具有优越的收敛性能,因此在求解优化问题时通常首选牛顿法。然而,牛顿方法所需的二阶导数的推导和计算往往不是小事一桩,在某些情况下是不可能的。在这种情况下,准纽顿算法是一种很好的替代方法。本文在无穷维希尔伯特空间中给出了著名的拟纽顿公式的一个新的推导。众所周知,拟纽顿更新公式是对称矩阵空间上某些变分问题的解。本文给出了Hilbert空间中有界对称算子空间上的类似变分问题。通过改变变分问题的约束条件,我们不仅得到了Broyden-Fletcher-Goldfarb-Shanno(BFGS)拟Newton方法的更新(对于Hessian和Hessian逆),而且还得到了Davidon-Fletcher-Powell(DFP)、对称秩一(SR1)和Powell-Symmetric-Broyden(PSB)的更新。此外,对于由偏微分方程(PDE)控制的反问题,我们导出了DFP和BFGS“结构化”正割公式,它们显式地使用正则化的导数,并且仅近似于不匹配项的二阶导数。我们的数值结果表明,所得到的拟牛顿方法具有理想的网格无关性和优越的性能。

MSC公司:

90元53 拟牛顿型方法
90立方 非线性规划
65K10码 数值优化和变分技术
46N10号 函数分析在优化、凸分析、数学规划、经济学中的应用
35兰特 PDE的反问题
93年第35季度 与控制和优化相关的PDE

软件:

hIPPY库
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Nocedal,J。;Wright,S.J.,《数值优化》(2006),纽约:Springer,纽约·Zbl 1104.65059号
[2] 小丹尼斯。;Moré,J.J.,《准纽顿方法、动机和理论》,SIAM Rev,19,1,46-89(1977)·Zbl 0356.65041号 ·doi:10.1137/1019005
[3] Güler,O。;Gürtuna,F。;Shevchenko,O.,拟Newton方法中的对偶性以及DFP和BFGS更新的新变分特征,优化方法与软件,24,1,45-62(2009)·Zbl 1154.90624号 ·doi:10.1080/10556780802367205
[4] 马约尔加,R。;Quintana,V.,函数空间中的一系列可变度量方法,无需精确的行搜索,J.Optim。理论应用。,31, 3, 303-329 (1980) ·Zbl 0442.49021号 ·doi:10.1007/BF01262975
[5] Sachs,E.W.,Broyden在Hilbert空间中的方法,数学。程序。,35, 1, 71-82 (1986) ·兹比尔0598.90080 ·doi:10.1007/BF01589442
[6] 格鲁弗,W.A。;Sachs,E.,最优控制中的算法方法,47(1981),马萨诸塞州波士顿。-伦敦:皮特曼出版社,马萨诸塞诸塞州波斯顿。-伦敦·Zbl 0456.49001号
[7] Benahmed,B。;Mokhtar-Kharroubi,H。;德马拉佛斯,B。;Yassine,A.,无限维空间中的拟Newton方法及其在矩阵方程中的应用,J.Glob。最佳。,49, 3, 365-379 (2011) ·Zbl 1213.90262号 ·doi:10.1007/s10898-010-9564-2
[8] Schwedes,T。;Funke,S.W。;Ham,D.A.,基于有限元和Riesz内积表示的网格相关最速下降法的迭代次数估计,arXiv预印本arXiv:1606.08069(2016)
[9] Schwedes,T。;Ham,D.A。;Funke,S.W。;Piggott,M.D.,PDE-Constrained优化中的网格依赖性。潮汐涡轮机阵列布局中的应用(2017),SpringerBriefs in Mathematics of Planet Earth。宾夕法尼亚州费城:斯普林格·Zbl 1384.65039号
[10] Kirby,R.C.,《从功能分析到迭代方法》,SIAM Rev,52,2,269-293(2010)·Zbl 1193.65201号 ·doi:10.1137/070706914
[11] 伯德·R·H。;Nocedal,J。;Schnabel,R.B.,拟Newton矩阵的表示及其在有限记忆方法中的应用,数学。程序。,63, 1-3, 129-156 (1994) ·Zbl 0809.90116号 ·doi:10.1007/BF01582063
[12] Conway,J.B.,《算子理论课程》(2000),普罗维登斯,RI:美国数学学会,普罗维登斯,RI·Zbl 0936.47001号
[13] 亨特,J.K。;Nachtergaele,B.,《应用分析》(2001),世界科学出版公司·Zbl 0981.46002号
[14] Murphy,G.J.,C*-代数与算子理论(2014),学术出版社
[15] Rudin,W.,功能分析。(1991) ·Zbl 0867.46001号
[16] Riesz,F。;Nagy,S.,B.《功能分析》,3,35(1955),纽约:多佛出版公司,纽约·Zbl 0732.47001号
[17] 霍维茨,L.B。;Sarachik,P.E.,Davidon在Hilbert空间中的方法,SIAM J.Appl。数学,16,4,676-695(1968)·Zbl 0159.43803号 ·doi:10.1137/0116055
[18] Conway,J.B.,函数分析课程,96(2013)
[19] Luenberger,D.G.,向量空间方法优化(1997)
[20] Deng,C.Y.,Sherman-Morrison-Woodbury公式的推广,应用。数学。莱特。,24, 9, 1561-1564 (2011) ·Zbl 1241.47003号 ·doi:10.1016/j.aml.2011.03.046
[21] Rudin,W.,Real and Complex Analysis(2006),塔塔·麦格劳-希尔教育
[22] Diestel,J.,《巴拿赫空间中的序列和级数》,92(2012)
[23] Reddy,J.N.,《有限元方法简介》(1994年),麦格劳-希尔高等教育出版社
[24] 英国,H.W。;Groetsch,C.W.,《逆问题和不适定问题》(1987),美国波士顿:学术出版社,美国波士顿·Zbl 0623.00010号
[25] Vogel,C.R.,《反问题的计算方法》(2002),宾夕法尼亚州费城:应用数学前沿,工业和应用数学学会(SIAM),宾夕法尼亚·兹比尔1008.65103
[26] Gockenbach,M.S.,《理解和实施有限元方法》(2006),美国宾夕法尼亚州费城:工业和应用数学学会·Zbl 1105.65112号
[27] 佩特拉,N。;Stadler,G.,偏微分方程控制的模型变分反问题(2011),德克萨斯大学奥斯汀分校
[28] Petra,C.G.、Troya,M.S.D.、Petra,N.、Choi,Y.、Oxberry,G.M.、Tortoreli,D.(2019)。hilbert空间中优化问题的拟Newton内点法。提交。
[29] 瓦希特,A。;Biegler,L.T.,《非线性规划的线搜索滤波方法:局部收敛》,SIAM J.Optim,16,1,32-48(2005)·Zbl 1115.90056号 ·doi:10.1137/S1052623403426544
[30] 瓦希特,A。;Biegler,L.T.,《非线性规划的线搜索滤波方法:动机和全局收敛》,SIAM J.Optim。,16, 1-31 (2005) ·Zbl 1114.90128号 ·doi:10.1137/S1052623403426556
[31] 瓦希特,A。;Biegler,L.T.,《关于非线性规划中点内滤波器线性搜索算法的实现》,数学。项目,106,1,25-57(2006)·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[32] 波茨?,A。;Schulz,V.,偏微分方程控制系统的计算优化(2012),SIAM·Zbl 1240.90001号
[33] 美国维拉。;佩特拉,N。;Ghattas,O.,hIPPYlib:PDE控制的大规模反问题的可扩展软件框架;第一部分:确定性反演和线性贝叶斯推断(2019)
[34] Barzilai,J。;Borwein,J.M.,两点步长梯度法,IMA J.Numer。分析。,8, 1, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[35] Bui-Thanh,T。;Ghattas,O.,逆散射问题的Hessian分析:Ii。声波的逆介质散射。,2005年5月28日(2012年)·Zbl 1239.78007号 ·doi:10.1088/0266-5611/28/5/055002
[36] 弗拉茨,H.P。;Wilcox,L.C.公司。;阿克塞利克,V。;希尔,J。;van Bloemen Waanders,B。;Ghattas,O.,基于低秩部分Hessian近似的大规模线性逆问题中贝叶斯不确定性量化的快速算法,SIAM J.Sci。计算,33,1407-432(2011)·Zbl 1229.65174号 ·数字对象标识代码:10.1137/090780717
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。