×
安德烈·内库莱

无约束优化的有限差分Hessian/向量积近似加速共轭梯度算法。 （英语） Zbl 1170.65046号

J.计算。申请。数学。 230，第2期，570-582（2009年）.
通过使用Hessian/矢量积的有限差分近似计算参数（beta_k），开发了一种新的共轭梯度法加速算法。搜索方向也使用Hessian/矢量积的前向差分近似计算。与牛顿法和准牛顿法相比，共轭梯度法的步长可能不同于1，这取决于问题的缩放方式。作者建议修改步长，与现有的共轭梯度算法相比，减少了函数求值次数。
证明了该方法对于一致凸函数是全局收敛的，且其收敛速度是线性的；但是函数值的减少得到了显著改善。通过与CONMIN、SCALCG和截断牛顿法等共轭算法的比较，证明了该方法对750个无约束大规模测试问题的性能。
审核人：Bülent Karasözen（安卡拉）

引用于7文件

MSC公司：

65千5 数值数学规划方法
90C06型 数学规划中的大尺度问题
90立方 非线性规划

关键词：

无约束优化;共轭梯度法;牛顿方向;大规模测试示例;数值比较;收敛加速度;算法;Hessian/向量积的前向差分逼近

软件：

SCALCG公司;算法500;万亿;切割机;L-BFGS公司;可爱的;CONMIN公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Andrei}，J.计算。申请。数学。230，第2号，570--582（2009；Zbl 1170.65046）
全文： 内政部

参考文献：

[1] Shanno，D.F。；Phua，K.H.，算法500，无约束多元函数最小化，ACM Trans。数学。软质。，2, 87-94 (1976) ·Zbl 0319.65042号
[2] Andrei，N.，无约束优化的缩放共轭梯度算法，计算。最佳方案。申请。，38, 401-416 (2007) ·Zbl 1168.90608号
[3] Andrei，N.，无约束优化的尺度无记忆BFGS预条件共轭梯度算法，Optim。方法软件。，22661-571（2007年）·Zbl 1270.90068号
[4] Andrei，N.，用于无约束优化的缩放BFGS预处理共轭梯度算法，应用。数学。莱特。，20, 645-650 (2007) ·Zbl 1116.90114号
[5] 李·G。；唐，C。；Wei，Z.，无约束优化的新共轭条件和相关的新共轭梯度法，J.Compute。申请。数学。，202, 523-539 (2007) ·Zbl 1116.65069号
[6] Nash，S.G.，截断Newton方法的预处理，SIAM J.on Scientific and Statistical Computing，6599-616（1985）·兹比尔0592.65038
[7] Wolfe，P.，上升法的收敛条件，SIAM Rev.，11226-235（1969）·Zbl 0177.20603号
[8] Wolfe，P.，《上升法的收敛条件II：一些修正》，SIAM Rev.，13，185-188（1971）·Zbl 0216.26901号
[9] 海格，W.W。；张浩，非线性共轭梯度法综述，太平洋光学杂志。，2, 35-58 (2006) ·兹比尔1117.90048
[10] Dolan，E.D。；Moré，J.J.，《性能曲线基准优化软件》，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004
[11] Andrei，N.，无约束优化中共轭梯度算法的数值比较，Stud.Inf.Control，16，333-352（2007）
[12] Nocedal，J.，共轭梯度法和非线性优化，（Adams，L.；Nazareth，J.L.，线性和非线性共轭梯度相关方法（1996），SIAM），9-23·Zbl 0866.65037号
[13] Andrei，N.，《无约束优化测试函数集》，《高级建模与优化》。高级建模与优化，电子。国际。J.，10，147-161（2008）·Zbl 1161.90486号
[14] Daniel，J.W.，线性和非线性算子方程的共轭梯度法，SIAM J.Numer。分析。，4, 10-26 (1967) ·Zbl 0154.40302号
[15] Dai，Y.H。；Han，J.Y。；刘国华。；Sun，D.F。；尹，X。；Yuan，Y.，非线性共轭梯度法的收敛性，SIAM J.Optim。，10, 348-358 (1999) ·Zbl 0957.65062号
[16] Andrei，N.，无约束优化的带回溯的梯度下降加速算法，Numer。算法，42，63-73（2006）·Zbl 1101.65058号
[17] 刘博士。；Nocedal，J.，关于大规模优化方法的有限内存BFGS方法，数学。程序。，45503-528（1989年）·Zbl 0696.90048号
[18] Goldstein，A.A.，《关于最陡下降》，SIAM J.Control，3147-151（1965）·Zbl 0221.65094号
[19] 邦加兹，I。；A.R.康涅狄格州。；新墨西哥州古尔德。；Toint，Ph.L.，CUTE：约束和非约束测试环境，ACM Trans。数学。软件，21123-160（1995）·Zbl 0886.65058号
[20] Hestenes，M.R。；Stiefel，E.L.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 409-436 (1952) ·Zbl 0048.09901号
[21] Polak，E。；Ribière，G.，Concugue e方向收敛注释，Rev.Francaise Informat Recherche Operationelle，3e Anne，16，35-43（1969）·Zbl 0174.48001号
[22] Polyak，B.T.，极端问题中的共轭梯度法，苏联计算机。数学。数学。物理。，9, 94-112 (1969) ·Zbl 0229.49023号
[23] Dai，Y.H。；Yuan，Y.，无约束优化的一种有效的混合共轭梯度法，Ann.Oper。决议，103，33-47（2001）·Zbl 1007.90065号
[24] Dai，Y.H。；廖立中，新共轭条件及相关非线性共轭梯度法，应用。数学。最佳。，43, 87-101 (2001) ·Zbl 0973.65050号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。