×
约翰·布鲁斯特。;狄子超（温迪）;斯文·莱弗尔;科斯敏·佩特拉（Cosmin G.Petra）。

结构化BFGS矩阵的紧凑表示。 （英语） Zbl 1473.90086号

计算。优化。申请。 80，编号1，55-88（2021）.
摘要：对于一般的大规模优化问题，存在紧致表示，其中递归拟Newton更新公式表示为紧致矩阵分解。对于目标函数包含附加结构的问题，最近的结构化拟Newton方法利用了可用的二阶导数信息和近似的不可用二阶导数。本文发展了两个结构化Broyden-Fletcher-Goldfarb-Shanno更新公式的紧凑表示。紧凑的表示支持有效的有限内存和初始化策略。描述了两种有限存储线搜索算法，其大量数值结果证明了算法的有效性，包括在大型机器学习问题上与IPOPT的比较，以及在实际大规模心电成像应用中与L-BFGS的比较。

MSC公司：

90C06型 数学规划中的大尺度问题
90元53 拟Newton型方法

关键词：

准牛顿法;有限内存方法;大规模优化;紧凑表示;BFGS方法

软件：

bmrm公司;伦敦银行支持向量机;复杂优化工具箱;L-BFGS公司;12月6日;L-BFGS-B型;伊波特;LBFGS-B型;切割机
PDF格式BibTeX公司 XML格式引用
\textit{J.J.Brust}等人，计算。优化。申请。80，编号1，55--88（2021；Zbl 1473.90086）
全文： 内政部 arXiv公司

参考文献：

[1] Barzilai，J。；Borwein，J.，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141
[2] 博格斯，P。；Byrd，R.，无约束优化的自适应有限内存bfgs算法，SIAM J.Optim。，29, 2, 1282-1299 (2019) ·Zbl 1431.65082号 ·doi:10.1137/16M1065100
[3] Brandwood，DH，复梯度算子及其在自适应阵列理论中的应用，IEEE Proc。F公共。雷达信号处理。，130, 1, 11-16 (1983) ·doi:10.1049/ip-f-1.1983.0003
[4] Broyden，CG，一类双秩最小化算法的收敛性1。一般考虑，IMA J.Appl。数学。，6, 1, 76-90 (1970) ·Zbl 0223.65023号 ·doi:10.1093/imamat/6.1.76
[5] 布鲁斯特，JJ；O.布尔达科夫。；埃韦，JB；Marcia，RF，有限记忆拟牛顿方法的稠密初始化，计算。优化。申请。，74, 1, 121-142 (2019) ·Zbl 1427.90292号 ·文件编号：10.1007/s10589-019-00112-x
[6] 伯德，RH；总经理Chin；奈维特，W。；Nocedal，J.，《随机海森信息在机器学习优化方法中的应用》，SIAM J.Optim。，21, 977-995 (2011) ·Zbl 1245.65062号 ·数字对象标识码：10.1137/10079923X
[7] 伯德，右侧；Nocedal，J。；Schnabel，RB，拟Newton矩阵的表示及其在有限记忆方法中的应用，数学。程序。，63, 129-156 (1994) ·Zbl 0809.90116号 ·doi:10.1007/BF01582063
[8] Chang，CC；Lin，CJ，Libsvm：支持向量机库，ACM Trans。智力。系统。技术。，2, 3, 27:1-27:27 (2011) ·数字对象标识代码：10.1145/1961189.1961199
[9] 丹尼斯·J。；Moré，J.，《准牛顿方法、动机和理论》，SIAM Rev.，19，46-89（1977）·Zbl 0356.65041号 ·doi:10.1137/1019005
[10] 小JE丹尼斯；男同性恋，DM；Walsh，RE，自适应非线性最小二乘算法，ACM Trans。数学。软质。，7, 3, 348-368 (1981) ·Zbl 0464.65040号 ·数字对象标识代码：10.1145/355958.355965
[11] 小JE丹尼斯；马丁内斯，HJ；Tapia，RA，结构化bfgs割线方法的收敛理论及其在非线性最小二乘中的应用，J.Optim。理论应用。，61, 2, 161-178 (1989) ·Zbl 0645.65026号 ·doi:10.1007/BF00962795
[12] Dolan，E。；Moré，J.，《性能曲线基准优化软件》，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[13] Fletcher，R.，可变度量算法的新方法，计算。J.，13，3，317-322（1970）·Zbl 0207.17402号 ·doi:10.1093/comjnl/13.3317
[14] Fung，西南；Di Wendy，Z.，《大规模心电相位恢复的多重网格优化》，SIAM J.成像科学。，13, 1, 214-233 (2020) ·Zbl 07196102号 ·doi:10.1137/18M1223915
[15] 吉尔，体育；Murray，W.，解决非线性最小二乘问题的算法，SIAM J.Numer。分析。，11, 311-365 (2010)
[16] Goldfarb，D.，由变分平均值导出的一系列变分度量方法，数学。公司。，24, 23-26 (1970) ·Zbl 0196.18002号 ·doi:10.1090/S0025-5718-1970-0258249-6
[17] 古尔德，NIM；Orban，D。；Toint、PL、CUTEr和SifDec：约束和非约束测试环境，重访ACM Trans。数学。软质。，29, 4, 373-394 (2003) ·Zbl 1068.90526号 ·数字对象标识代码：10.1145/962437.96243439
[18] Mahajan，A.，Leyffer，S.，Kirches，C.：通过qp跳转求解混合整数非线性程序。技术报告ANL/MCS-P2071-0312，伊利诺伊州莱蒙特市阿贡国家实验室数学和计算机科学部（2012）
[19] 莫雷，JJ；Thuente，DJ，保证充分减少的行搜索算法，ACM Trans。数学。软质。，20, 3, 286-307 (1994) ·兹伯利0888.65072 ·数字对象标识代码：10.1145/192115.192132
[20] Nocedal，J.，用有限存储更新拟Newton矩阵，数学。计算。，35773-782（1980年）·Zbl 0464.65037号 ·doi:10.1090/S0025-5718-1980-0572855-7
[21] Nocedal，J。；Wright，SJ，数值优化（1999），纽约：Springer-Verlag，纽约·Zbl 0930.65067号 ·数字对象标识代码：10.1007/b98874
[22] 佩特拉，C。；蒋，N。；Anitescu，M.，用不完全hessian信息进行优化的结构化拟牛顿算法，SIAM J.Optim。，29, 2, 1048-1075 (2019) ·Zbl 1411.90358号 ·doi:10.1137/18M1167942
[23] Remmert，R.，《复函数理论》（1991），纽约：Springer-Verlag出版社，纽约·Zbl 0732.32002号 ·doi:10.1007/978-1-4612-0939-3
[24] Shanno，DF，函数最小化的拟Newton方法条件，数学。计算。，24, 647-656 (1970) ·Zbl 0225.65073号 ·doi:10.1090/S0025-5718-1970-0274029-X
[25] Sorber，L。；巴雷尔，MV；Lathauwer，LD，复变量实函数的无约束优化，SIAM J.Optim。，22, 3, 879-898 (2012) ·Zbl 1260.90150号 ·doi:10.1137/110832124
[26] Sra，S。；Nowozin，S。；SJ Wright，《机器学习优化》（2011），纽约：麻省理工学院出版社，纽约·doi:10.7551/mitpress/8996.001.0001
[27] Teo，中国；Vishwanthan，S。；斯莫拉，AJ；Le，QV，正则化风险最小化的束方法，J.Mach。学习。第11号决议，311-365（2010年）·Zbl 1242.68253号
[28] 瓦希特，A。；Biegler，LT，《关于大规模非线性规划中点内滤波器线性搜索算法的实现》，数学。程序。，106，25-57（2006年）·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[29] Yabe，H。；Takahashi，T.，非线性最小二乘问题的分解拟牛顿方法，数学。程序。(1991) ·Zbl 0737.90064号 ·doi:10.1007/BF01586927
[30] 朱，C。；伯德·R。；Nocedal，J.，算法778:L-BFGS-B:大规模有界约束优化的fortran子程序，ACM Trans。数学。软质。，23, 550-560 (1997) ·Zbl 0912.65057号 ·doi:10.145/279232.279236
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。