×
韦恩·乔丁;李莹

具有先验约束的前馈网络的全局估计。 （英语） 兹伯利0817.90018

计算。经济。 7，第2期，73-87（1994）.
摘要：本文提出了一种前馈网络估计算法，该算法解决了两个问题，（i）避免性能标准的局部次极小值，（ii）施加先验约束以改进泛化并测试经济假设。该算法结合了以前开发的方法或明显有益但尚未结合的方法。这些包括将线性最小二乘法与模拟退火相结合，以及减少权重空间的方法，以大大提高其相对于纯模拟退火的速度。我们证明了算法在寻找全局最小值时的可靠性。我们还演示了如何约束估计过程以找到满足给定先验条件的网络。我们提供了施加先验信息的示例，以（i）防止经过训练的网络产生基本错误，（ii）测试经济上有趣的假设。

MSC公司：

91B82号 统计方法；经济指标与措施
第62页第20页 统计学在经济学中的应用
90立方厘米27 组合优化
90 C90 数学规划的应用

关键词：

前馈网络估计;模拟退火
PDF格式BibTeX公司 XML格式引用
\textit{W.Joering}和\textit{Y.Li}，计算。经济。7，第2号，73--87（1994；Zbl 0817.90018）
全文： 内政部

参考文献：

[1] Baba，N.，1989，寻找神经网络误差函数全局最小值的新方法。神经网络，2367-373·doi:10.1016/0893-6080（89）90021-X
[2] Barron，A.R.，1991，人工神经网络的统计特性。北约ASI关于非参数函数估计的会议记录。Kluwer学术出版社。
[3] Barron，A.R.和Barron（R.），1988年，《统计学习网络：统一观点》。In Wegman，E.（编辑），《计算科学与统计：Proc。第20交响曲。接口。，第192-203页，华盛顿特区美国统计协会。
[4] Bishop，C.M.，1990年，反向传播神经网络中的曲率驱动平滑。《国际神经网络会议论文集》，第749-752页，纽约，IEEE出版社。
[5] Christensen，L.、Jorgensen，D.W.和Lau，L.，1975年，先验对数效用函数。《美国经济评论》，65，367-383。
[6] Corana，A.、Marchesi，M.、Martini，C.和Ridela，S.，1987年，用？模拟退火？算法。ACM数学软件汇刊，13（3），262-280·Zbl 0632.65075号 ·doi:10.1145/29380.29864
[7] Davidson，R.和MacKinnon，J.G.（编辑），1993年，《计量经济学中的估计和界面》。牛津大学出版社，纽约州纽约市·Zbl 1009.62596号
[8] Dorsey，R.、Johnson，J.和Mayer，W.，1992，前馈神经网络训练的遗传算法。Whinston，A.和Johnson，J.（编辑），《经济、金融和管理中人工智能的进展》。JAI出版社，中国格林威治（即将出版）。
[9] Gallant，A.，1981，《关于弹性函数形式和基本无偏形式中的偏倚》，计量经济学杂志，15212-245·Zbl 0454.62096号 ·doi:10.1016/0304-4076（81）90115-9
[10] Gallant，A.和Golub，G.，1984年，对柔性函数形式施加曲率限制。《计量经济学杂志》，26，295-321·Zbl 0573.62098号 ·doi:10.1016/0304-4076（84）90024-1
[11] Gallant，A.和White，H.（1988年）。非线性动力学模型估计和推断的统一理论。牛津大学巴兹尔·布莱克威尔。
[12] Geman，S.、Bienenstock，E.和Doursat，R.（1992年）。神经网络和偏差/方差困境。神经计算，4，1-58·doi:10.1162/neco.1992.4.1.1
[13] Geman，S.和Hwang，C.-R.（1986年）。用于全局优化的扩散。暹罗控制与优化杂志，241031-1043·Zbl 0602.60071号 ·doi:10.1137/0324060
[14] Gill，P.、Murray，W.和Wright，M.（1981）。实际优化。学术出版社，纽约州纽约市·Zbl 0503.90062号
[15] Goldberg，D.（1989）。搜索、优化和机器学习中的遗传算法。艾迪森·韦斯利·Zbl 0721.68056号
[16] Joering，W.、Li，Y.、Hu，S.和Meador，J.（1992年）。使用前馈神经网络逼近生产技术。在Whinston，A.和Johnson，J.（编辑），《经济、金融和管理中的人工智能进展》。JAI出版社，中国格林威治，即将出版。
[17] Joering，W.H.和Meador，J.L.（1991）。在前馈网络中对先验信息进行编码。神经网络，4（6），847-856·doi:10.1016/0893-6080（91）90063-B
[18] Joering，W.和Li，Y.（1993）。用前馈网络逼近生产函数。华盛顿州立大学经济系技术代表，华盛顿州普尔曼，邮编99164。
[19] Kirkpatrick，S.、Gelatt，C.和Vecchi，M.（1983年）。通过模拟退火进行优化。科学，2（220），671-780·Zbl 1225.90162号 ·doi:10.1126/science.220.4598.671
[20] Kruschke，J.（1989）。改进具有分布式瓶颈的反向传播网络的泛化。国际神经网络联合会议，第一卷，第443-447页，纽约，IEEE出版社。
[21] 李毅（1993）。消费者需求系统的半非参数估计和测试。华盛顿州立大学博士论文。
[22] McInerney，J.、Haines，K.、Biafore，S.和Hecht-Nielsen，R.（1989）。反向传播误差曲面可以具有局部极小值。在IEEE神经网络会议上。
[23] Morgan，N.和Bourard，H.（1990年）。前馈网络中的泛化和参数估计：一些实验。在Touretzky，D.S.（编辑），神经信息处理系统II Morgan Kaufmann，San Mateo，CA。
[24] Psaltis，D.和Neifeld，M.（1988年）。具有约束表示的网络中泛化的出现。纽约国际神经网络联合会议。IEEE出版社。
[25] Stinchcombe，M.和White，H.（1990年）。使用具有有界权重的多层前馈网络逼近和学习未知映射。《神经网络国际联合会议论文集》，第三卷，第7-16页，纽约，IEEE出版社。
[26] Styblinski，M.和Tang，T.-S.（1990年）。非凸优化实验：函数平滑随机逼近和模拟退火。神经网络，3467-483·doi:10.1016/0893-6080（90）90029-K
[27] Szu，H.（1986）。快速模拟退火。InAIP会议记录151：计算神经网络。
[28] Szu，H.和Hartley，R.（1987年）。快速模拟退火。《物理快报》A，122，157-162·doi:10.1016/0375-9601（87）90796-1
[29] van Laarhoven，P.（1988）。模拟退火的理论和计算方面。荷兰阿姆斯特丹Wiskunde en Informatica中心·Zbl 0659.90062号
[30] van Laarhoven，P.和Aarts，E.（1987年）。模拟退火：理论与应用。Kluwer学术出版社，马萨诸塞州辛厄姆·Zbl 0643.65028号
[31] Wasserman，P.D.（1988年）。组合反向传播/柯西机器。《神经网络：第一届INNS会议摘要》，纽约州埃尔姆斯福德556页。佩加蒙出版社。
[32] Webb，A.和Lowe，D.（1988年）。自适应前馈分层网络的混合优化策略。技术代表4193，英国马尔文国防部皇家信号和雷达建立备忘录。
[33] 怀特·H（1989）。人工神经网络学习：统计视角。神经计算，1425-464·doi:10.1162/neco.1989.1.4.425
[34] 怀特·H（1990）。连接非参数回归：多层前馈网络可以学习任意映射。神经网络，3（5），535-549·doi:10.1016/0893-6080（90）90004-5
[35] Young，D.（1982年）。肥料使用经济学。《肥料手册》，第209-221页。华盛顿化肥研究所。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。