杰里·埃里克森;马尔滕·古利克森;林德斯特伦，佩尔;佩奥克·韦丁 用于使用自动微分训练大型前馈神经网络的正则化工具。 （英语） Zbl 0913.68177号 最佳方案。方法软件。 10，第1号，49-69（1998）. 摘要：我们描述了用于训练大规模人工前馈神经网络的正则化工具。我们提出了显式使用Tikhonov正则化非线性最小二乘问题序列的算法。对于大规模问题，在共轭梯度法中使用了新的专用自动微分方法来计算截断高斯-奈顿搜索方向。所开发的算法以不同的方式利用了问题的结构，并且性能比基于Polak-Ribière的方法要好得多。所有算法都是使用Lutz Prechelt在Proben 1包中的基准问题和指南进行测试的。所有软件都是用Matlab编写的，并收集在工具箱中。 引用于4文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68瓦10 计算机科学中的并行算法 关键词：前馈神经网络 软件：规范化工具;埃尔森C_f90;神经网络工具箱;Matlab公司 PDF格式BibTeX公司 XML格式引用 \textit{J.Eriksson}等人，Optim。方法软件。10，编号1，49--69（1998；Zbl 0913.68177） 全文： 内政部 参考文献： [1] Beale E.M.，非线性优化的数值方法，第39页–（1972） [2] DOI:10.1007/BF01934265·Zbl 0821.65023号 ·doi:10.1007/BF01934265 [3] DOI:10.1137/0719025·Zbl 0478.65030号 ·doi:10.1137/0719025 [4] Demuth H.，Matlab神经网络工具箱，版本2.O.（1994） [5] Dennis，J.E.和Schnabel，R.B.1989。无约束优化观点，1-72。爱思唯尔科学出版社。 [6] Deufhard，P.和Apostolescu，V.等式约束非线性最小二乘的欠松弛Gauss-Newton方法。IFIP Conf.Opt.诉讼。技术部分2。1977年，第7卷，第22-32页。柏林，海德堡：Springer Verlag。Balakrishnan和Thoma，编辑，控制和信息科学讲稿·Zbl 0374.90066号 [7] 内政部：10.1080/10556789208805513·doi:10.1080/10556789208805513 [8] Eriksson J.，训练大规模神经网络的正则化工具（1996） [9] 内政部：10.1137/0802003·Zbl 0767.90082号 ·doi:10.1137/0802003年 [10] Griewank，A.直接计算牛顿步长而不累加雅可比矩阵。在《大尺度数值优化》中，SIAM程序系列列表。费城。第115-137页。T.Coleman和Y.Li，编辑 [11] Hansen P.C.，正规化博士论文。(1995) [12] Iri M.，《快速自动区分方法和应用》（1987年） [13] 内政部：10.1007/BF02591997·Zbl 0546.90076号 ·doi:10.1007/BF02591997 [14] Lindström P.，非线性最小二乘问题的方法和软件（1988） [15] Ljung，L.教程11：系统识别中的非线性黑盒建模。在第八届神经网络及其应用国际会议上提供的教程。法国巴黎。ICANN：神经细胞。 [16] Moré，J.J.《Levenberg-Marquardt算法：实现与理论》。在第八届神经网络及其应用国际会议上提供的教程。1995年，法国巴黎。第630卷，第105-116页。柏林、海德堡、纽约、东京：施普林格出版社。数学课堂讲稿，G.A.Watson，编辑 [17] 内政部：10.1145/355993.356000·doi:10.1145/355993.356000 [18] DOI:10.1007/BF01593790·Zbl 0396.90072号 ·doi:10.1007/BF01593790 [19] Prechelt L.，PROBEN 1–一组神经网络基准问题和基准规则（1994） [20] Rail L.，Springer计算机科学讲义120（1981）·doi:10.1007/3-540-10861-0 [21] Saarinen，S.、Bramley，R.和Cybenko，G.神经网络、反向传播和自动微分。《算法的自动微分：理论、实现和应用》，SIAM论文集系列列表。第31-42页。费城A.Griewank和G.F.Corliss，编辑·兹伯利0782.65034 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。