×

使用准Newton方法训练随机神经网络。 (英语) Zbl 0960.90094号

总结:随机神经网络(RNN)中的训练通常被指定为相对于网络参数(正负连接对应的权重)的适当误差函数的最小化。在此,我们提出了一种基于准牛顿优化技术的误差最小化技术。与简单的梯度下降方法相比,此类技术提供了更复杂的梯度信息利用,但计算成本更高,且难以实现。在这项工作中,我们详细说明了将拟Newton方法应用于RNN训练的必要细节,并提供了将这些方法用于一些著名测试问题的对比实验结果,这证实了该方法的优越性。

MSC公司:

90C53型 拟Newton型方法
92B20型 生物研究、人工生命和相关主题中的神经网络
90B10型 运筹学中的确定性网络模型

软件:

梅林
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿塔莱,V。;Gelenbe,E。;Yalabik,N.,纹理生成的随机神经网络模型,国际模式识别和人工智能杂志,6131-141(1992)
[2] 阿塔莱,V。;Gelenbe,E.,使用随机神经网络模型生成彩色纹理的并行算法,国际模式识别和人工智能杂志,6437-446(1992)
[3] Barnard,E.,神经网络训练的优化,IEEE神经网络汇刊,3,2,232-240(1992)
[4] Bishop,C.(1995),《模式识别的神经网络:模式识别的神经元网络》,牛津大学出版社·Zbl 0868.68096号
[5] Fletcher,R.,《实用优化方法》(1987),威利出版社:威利纽约·Zbl 0905.65002号
[6] Gelenbe,E.,带正负信号的随机神经网络和乘积形式解,神经计算,1502-510(1989)
[7] Gelenbe,E.,随机神经网络模型的稳定性,神经计算,2239-247(1990)
[8] Gelenbe,E.,带负顾客和正顾客的乘积形式排队网络,应用概率杂志,28656-663(1991)·Zbl 0741.60091号
[9] E.Gelenbe,A.Stafylopatis,A.Likas,随机网络模型的联想记忆操作,收录于:T.Kohonen等人(编辑),《人工神经网络》,第1卷,北荷兰,阿姆斯特丹,1991年,第307-312页;E.Gelenbe,A.Stafylopatis,A.Likas,随机网络模型的联想记忆操作,收录于:T.Kohonen等人(编辑),《人工神经网络》,第1卷,北荷兰,阿姆斯特丹,1991年,第307-312页
[10] Gelenbe,E.,具有触发客户移动的G-Networks,《应用概率杂志》,30742-748(1993)·Zbl 0781.60088号
[11] Gelenbe,E.,递归随机神经网络中的学习,神经计算,5154-164(1993)
[12] E.Gelenbe,随机神经网络的Hopfield能量,载于:《IEEE国际神经网络会议论文集》,第七卷,佛罗里达州奥兰多,1994年6月,第4681-4686页;E.Gelenbe,随机神经网络的Hopfield能量,载于:IEEE国际神经网络会议记录,第七卷,佛罗里达州奥兰多,1994年6月,第4681-4686页
[13] Gelenbe,E。;Feng,Y。;Ranga,K。;Krishnan,R.,人脑体积磁共振成像的神经网络方法,IEEE会议录,841488-1496(1996)
[14] Gelenbe,E。;Sungur,M。;Cramer,C。;Gelenbe,P.,《自适应神经压缩的交通和视频质量》,多媒体系统,4357-369(1996)
[15] Gelenbe,E。;甘瓦尼,A。;Srinivasan,V.,《改进的多播路由神经启发法》,IEEE通讯选定领域杂志,第15期,第147-155页(1997年)
[16] 吉尔·P。;默里,W。;Wright,M.,《实用优化》(1997),学术出版社:纽约学术出版社
[17] Henderson,W.,具有负顾客和负队列长度的排队网络,应用概率杂志,30931-942(1993)·Zbl 0787.60115号
[18] A.Likas,A.Stafylopatis,《随机网络和Hopfield网络之间的类比研究》,载于:ISCIS VI论文集,北荷兰,1991年;A.Likas,A.Stafylopatis,《随机网络和Hopfield网络之间的类比研究》,载于:ISCIS VI论文集,北荷兰,1991年
[19] 利卡斯,A。;Stafylopatis,A.,基于随机神经网络模型的高容量联想记忆,国际模式识别与人工智能杂志,10919-937(1996)
[20] 利卡斯,A。;Karras,D.A。;Lagaris,I.E.,使用多维优化系统的神经网络训练和模拟,国际计算机数学杂志,67,33-46(1998)·Zbl 0892.68086号
[21] Papageorgiou,D.G。;Demetropoulos,脑脊髓炎。;Lagaris,I.E.,Merlin 3.0,多维优化环境,计算机物理通信,109,227-249(1998)·Zbl 0936.65072号
[22] Stafylopatis,A。;Likas,A.,使用随机神经网络进行图形信息检索,IEEE软件工程汇刊,18590-600(1992)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。