×
W·周。;I.G.Akrotirianakis公司。;耶克塔马拉姆，S。;J.D.格里芬。

非凸优化的无矩阵线搜索算法。 （英文） Zbl 1416.90023号

最佳方案。方法软件。 34，第1号，1-24（2019）.
摘要：在本文中，我们开发了一种求解非凸大规模问题的新算法。新算法自适应地执行显式矩阵修改，模拟信任区域方法使用的隐式修改。因此，它与信任区域方法具有同等的理论强度，而无需考虑明确的步长限制。我们表明，只要有Hessian向量积，该算法就非常适合求解大规模非凸问题。CUTEr问题的数值结果证明了该方法在求解大规模无约束非凸优化问题的线搜索方法中的有效性。此外，在深度学习问题中的应用进一步证明了该算法的有效性。由于深度学习问题的复杂性，它没有共享流行的无矩阵算法（如截断共轭梯度（CG））的任何禁止性特征。因此，所提出的算法有助于缩小数据挖掘社区的需求与优化社区最主要采用的现有最先进方法之间的差距。此外，所提出的方法可以在对CG算法本身进行最小修改的情况下实现，而存储和计算开销可以忽略不计。

引用于2文件

MSC公司：

90C06型 数学规划中的大规模问题
90立方厘米26 非凸规划，全局优化
90立方 非线性规划
65千5 数值数学规划方法
68时01分 人工智能的一般主题

关键词：

非线性规划;非凸大规模问题;信任区域方法;共轭梯度法;无黑森方法;机器学习

软件：

HSL-VF05型;加拉哈德;切割机;万亿
PDF格式BibTeX公司 XML格式引用
\textit{W.Zhou}等人，Optim。方法软件。34，第1号，1-24（2019；Zbl 1416.90023）
全文： 内政部

参考文献：

[1] Arioli，M.、Chan，T.F.、Duff，I.、Gould，N.和Reid，J。，计算大规模线性约束非线性优化计算的搜索方向卢瑟福阿普尔顿实验室，1993年。
[2] Baker，C.、Absil，P.和Gallivan，K.A。，黎曼流形上的一种隐式turst区域方法佛罗里达州立大学技术代表FSU-SCS-2007-449，2007年。可在上获取。
[3] Bongartz，I.，Conn，A.R.，Gould，N.I.M.和Toint，Ph.L。，CUTE：约束和非约束测试环境《第93/10号报告，纳穆尔大学数学系，1993年》·Zbl 0886.65058号
[4] 分支，文学硕士。；科尔曼，T.F。；Li，Y.，大型有界约束极小化问题的子空间、内点和共轭梯度法，SIAM J.Sci。计算。，21, 1-23 (1999) ·Zbl 0940.65065号 ·doi:10.1137/S1064827595289108
[5] A.R.康涅狄格州。；新墨西哥州古尔德。；Toint，Ph.L.，《信任区域方法》（2000），工业与应用数学学会（SIAM）：工业和应用数学学会，宾夕法尼亚州费城·Zbl 0958.65071号
[6] Dolan，E.D。；Moré，J.J.，《性能曲线基准优化软件》，数学。程序。，91, 201-213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[7] Erway，J.B.和Gill，P.E。，一种计算信任区域步长的内部方法《数值分析报告08-1》，加州大学圣地亚哥分校数学系，加利福尼亚州拉霍亚，2008年。
[8] 埃韦，J.B。；Gill，P.E.，信任区域步骤的子空间最小化方法，SIAM J.Optim。，20, 1439-1461 (2009) ·Zbl 1195.49042号 ·doi:10.1137/08072440X
[9] J.B.Erway、P.E.Gill和J.D.Griffin。，查找信任区域步骤的迭代方法《数值分析报告07-2》，加州大学圣地亚哥分校数学系，拉荷亚，加利福尼亚州，2007年·Zbl 1189.49049号
[10] 埃韦，J.B。；吉尔，体育。；Griffin，J.D.，寻找信任区域步骤的迭代方法，SIAM J.Optim。，20, 1110-1131 (2009) ·Zbl 1189.49049号 ·数字对象标识代码：10.1137/070708494
[11] Fletcher，R.，《实用优化方法》（1987），John Wiley and Sons：John Willey and Sons，Chichester·Zbl 0905.65002号
[12] Fletcher，R.，《实用优化方法》（2001），Wiley-Interscience出版社[John Wiley&Sons]：Wiley-Interscience，纽约·Zbl 0988.65043号
[13] E.M.Gertz。，无约束优化的组合信赖域线搜索方法，博士学位。，加州大学圣地亚哥分校数学系，圣地亚哥，1999年。
[14] Gertz，E.M。；Gill，P.E.，《非线性规划的原对偶信赖域算法》，数学。程序。序列号。B、 10049-94（2004）·Zbl 1146.90514号
[15] Gill，P.E.和Kroyan，J。，无约束优化的信任搜索算法，数值分析报告NA 04-1，加州大学圣地亚哥分校，圣地亚哥，2004年。
[16] 吉尔，体育。；默里，W。；Wright，M.H.，《实用优化》（1981），学术出版社：伦敦学术出版社·Zbl 0503.90062号
[17] 新墨西哥州古尔德。；Lucidi，S。；罗姆，M。；Toint，Ph.L.，使用Lanczos方法解决信任区域子问题，SIAM J.Optim。，9, 504-525 (1999) ·Zbl 1047.90510号 ·doi:10.1137/S1052623497322735
[18] 新墨西哥州古尔德。；Orban，D。；Toint，Ph.L.，GALAHAD，用于大规模非线性优化的线程安全Fortran 90包库，ACM Trans。数学。软质。，29, 353-372 (2003) ·Zbl 1068.90525号 ·数字对象标识代码：10.1145/962437.96243438
[19] J.D.格里芬。，大规模非凸优化的内点方法，博士学位。，加州大学圣地亚哥分校数学系，圣地亚哥，2005年。
[20] Hager，W.W.，最小化球面上的二次型，SIAM J.Optim。，12, 188-208 (2001) ·Zbl 1058.90045号 ·doi:10.1137/S1052623499356071
[21] J.Kroyan。，无约束优化的信任搜索算法，博士学位。，加州大学圣地亚哥分校数学系，圣地亚哥，2004年。
[22] Luksan，L.、Matonoha，C.和Vlcek，J。，计算信任域步长的移位Steihaug-Toint方法捷克共和国科学院计算机科学研究所技术代表V914-04，2004年。
[23] 马滕斯，J。，通过无Hessian优化进行深度学习《第27届国际机器学习会议论文集》（ICML-10），2010年，第735-742页。
[24] Martens，J.和Sutskever，I。，无Hessian优化学习递归神经网络《第28届机器学习国际会议论文集》（ICML-11），2011年，第1033-1040页。
[25] Martens，J.和Sutskever，I。，用无hessian优化训练深度和递归网络，英寸神经网络：交易技巧柏林施普林格出版社，2012年，第479-535页。
[26] 水谷，E。；Dreyfus，S.E.，Hessian矩阵分析和负曲率研究的二阶分段反向传播，神经网络。，21, 193-203 (2008) ·兹比尔1254.68214 ·doi:10.1016/j.neunet.2007.12.038
[27] Nash，S.G.，通过Lanczos方法实现牛顿型最小化，SIAM J.Numer。分析。，21, 770-788 (1984) ·Zbl 0558.65041号 ·doi:10.1137/0721052
[28] Nocedal，J。；Wright，S.J.，数值优化（1999），Springer-Verlag:Springer-Verlag，纽约·Zbl 0930.65067号
[29] Nocedal，J.和Y.X.Yuan。，结合信赖域和线搜索技术，英寸非线性规划研究进展《96年非线性规划国际会议论文集》，美国施普林格出版社，1998年，第153-175页·Zbl 0909.90243号
[30] O'Leary，D.P.，一种离散牛顿算法，用于最小化多变量函数，数学。程序。，23, 20-33 (1982) ·Zbl 0477.90055号 ·doi:10.1007/BF01583777
[31] Pearlmutter，B.A.，麻布的快速精确乘法，神经计算。，6, 147-160 (1994) ·doi:10.1162/neco.1996.1.147
[32] 罗哈斯，M。；桑托斯，S.A。；Sorensen，D.C.，大规模信任区域子问题的一种新的无矩阵算法，SIAM J.Optim。，11, 611-646 (2000) ·Zbl 0994.65067号 ·doi:10.1137/S105262349928887X
[33] Schraudolph，N.N.，二阶梯度下降的快速曲率矩阵向量积，神经计算。，14, 1723-1738 (2002) ·Zbl 1037.68119号 ·doi:10.1162/08997660260028683
[34] Steihaug，T.，共轭梯度法和大规模优化中的信赖域，SIAM J.Numer。分析。，20, 626-637 (1983) ·兹比尔0518.65042 ·doi:10.1137/0720042
[35] 厕所，哲学博士。，一种高效的稀疏性牛顿最小化方法，英寸稀疏矩阵及其应用I.S.Duff主编，学术出版社，伦敦，1981年，第57-88页·Zbl 0463.65045号
[36] Wiesler，S.、Li，J.和Xue，J。，深度神经网络交叉熵训练的无Hessian优化研究，程序。法国里昂Interspeech，2013年8月，第3317-3321页。
[37] 袁毅，关于截断共轭梯度法，数学。程序。，87, 561-573 (2000) ·兹比尔0955.65039 ·doi:10.1007/s101070050012
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。