×

兹马思-数学第一资源

具有时间序列和分类问题的无导数搜索神经网络训练算法的性能。(英语) Zbl 1306.65018号
摘要:本文提出了一种最小化人工神经网络误差函数的曼哈顿搜索算法。从笛卡尔坐标系中的某个位置开始,搜索向量沿正交方向移动以确定函数的最小值。快速收敛的优化搜索算法。当连续搜索成功最小化函数值时,执行此步骤。优化后的步长确定了有利的下降方向,使函数值最小化。该方法适用于导数信息难以获得或误差面几乎平坦的复杂误差面。在平面附近,函数值的变化率几乎可以忽略不计。大多数基于导数的训练算法在这种情况下都面临困难。该算法避免了误差函数的导数信息。因此,当基于导数的算法由于复杂的脊线和平坦的山谷而面临困难时,它是一种很有吸引力的搜索方法。当算法陷入陷波极小值时,搜索向量通过搜索邻域下降搜索方向来跳出局部极小值。该算法不同于基于一阶导数和二阶导数的训练方法。为了衡量算法的性能,解决了斐济群岛发电模型的估计问题和“L-T”字母识别问题。Bootstrap分析表明,该算法具有较高的预测能力和分类能力。当问题的解未知时,该算法是可靠的。因此,该算法识别出基准解。
理学硕士:
65立方英尺 MSC2010年计算问题
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 艾哈迈德,S,多方向搜索优化神经网络误差函数,凯伯内特斯,391145-1166,(2010)·兹布1217.68175
[2] Alrefaei,MH;Andradóttir,S,一种用于离散随机优化的恒温模拟退火算法,Manag Sci,45748-764,(1999)·Zbl 1231.90315
[3] Audet,C;Orban,D,《使用无导数优化寻找最佳算法参数》,SIAM J Optim,17642-664,(2006)·Zbl 1128.90060
[4] Carcangiu,Sara;Carcangiu,Alessandra Fanni;Augusto,Montisci,优化问题的神经近似模型构造算法,国际计算数学电子工程,281276-1289,(2009)·Zbl 1177.78063
[5] Conn,AR;Scheinberg,K;Vicente,LN,《无导数优化中插值集的几何》,数学程序SERB,111141-172,(2008)·Zbl 1163.90022号
[6] Efron B,Tibshirani R(1993)引导程序简介。查普曼和霍尔,纽约·Zbl 0835.62038
[7] Erkmen,Burcu;Yıldırım,Tulay,应用带PCA的一般回归神经网络改善声纳目标的分类性能,专家系统应用,35472-475,(2008)
[8] Gerencsér L,Hill SD,VágóZ(1999)基于SPSA的离散集优化。第38届决策与控制会议记录,第1791-1795页·Zbl 1231.90315
[9] Ghosh R,Ghosh M,Yearwood J,Bagirov A(2005)确定无导数神经学习的正则化参数。在:MLDM’05第四届模式识别中的机器学习和数据挖掘国际会议论文集·Zbl 0308.62063
[10] 陶飞,H;Vijanth,S,用无导数递归算法预测V型定制罐的流量,应用科学杂志,11,1279-1284,(2011)
[11] Hecht Nielsen R(1990)神经计算。艾迪生·韦斯利出版公司,雷丁
[12] Hesterberg T,Monaghan S,Moore DS,Clipson A,Epstein R(2003)引导方法和置换测试。W、 H.弗里曼公司,纽约
[13] Hong,LJ;Nelson,BL,《通过使用指南针进行模拟的离散优化》,Oper Res,54115-129,(2006)·Zbl 1167.90630
[14] Nelson-IIJ,2007年,选择最佳系统时
[15] 胡克,R;Jeeves,TA,数值和统计问题的直接搜索解,J Assoc Comput Mach,8212-229,(1961)·Zbl 0111.12501号
[16] Hush,DR;Horne,B;Salas,JM,《多层膜的误差曲面》,IEEE Trans-Syst-Man Cybern,221152-1161,(1992)
[17] Moore,JJ;Wild,SM,《无导数优化算法基准测试》,SIAM J Optim,20172-191,(2009年)·Zbl 1187.90319号
[18] Jacobs,RA,通过学习速率适应提高收敛速度,神经网络,1295-307,(1988)
[19] Kamarthi,SV;Pittner,S.使用权值外推加速神经网络训练,神经网络,121285-1299,(1999)
[20] Price,RK;Spitznagel,EL;Downey,TJ;Meyer,DJ;Risk,NK;EL Ghazzawy,OG,《将人工神经网络模型应用于临床决策》,心理评估,12,40-51,(2000)
[21] Kleywegt A,Shapiro A,Homem de Mello T(2001)随机离散优化的样本平均逼近方法。暹罗杂志Optim 12:479-502·900ZB0991
[22] Knoke,JD;Anderson,CM;Koch,GG,用重抽样方法分析样本调查中的重复测量边际模型,J Stat Softw,15,1-13,(2006)
[23] Kordos M,Duch Kordos W(2008)前馈网络的变步长搜索算法,神经计算。更正的证据,2008年4月29日可在线查阅(正在出版)·Zbl 0884.65053
[24] 韩志泽,戴伟,孙永元(1990)用修正的反向传播模型对大型手写体字符进行分类。国际神经网络联席会议论文集III:225-232。IEEE出版社,新泽西州皮斯卡塔韦
[25] Takashi,Kuremoto;Obayashi,Kuremoto Masanao;Kobayashi,Kunikazu,通过神经模糊系统和强化学习算法获得自适应群体行为,Int J Intell Comput Cybern,2724-744,(2009)·Zbl 1190.68046
[26] 刘德荣;张华光,神经网络:算法与应用,神经计算,71471-473,(2008)
[27] Mirikitani,Derrick T;Nikolaev,Nikolay,高效在线递归连接学习与集成卡尔曼滤波器,神经计算,731024-1030,(2010)
[28] Mosteller,F;Tukey;Lindzey,G(编辑);Aronson,E(编辑),《数据分析包括统计》(1968年),《阅读质量》
[29] Polak,E;Ribiere,G,注:收敛方向的方法,法国参考文献,16,35-43,(1969)·Zbl 0174.48001
[30] Rumelhart DE,Hinton GE,Williams RJ(1986),通过错误传播学习内部表现。作者:Rumelhart DE,McClelland JL,PDP研究小组(eds)《并行分布式处理:认知微观结构的探索》,第1卷。基金会。麻省理工学院出版社,剑桥,马萨诸塞州,美国,第318-362页
[31] Saini,Lalit Mohan,基于贝叶斯正则化的峰值负荷预测,弹性和自适应反向传播学习人工神经网络,电力系统,781302-1310,(2008)
[32] Salmalian,K;Soleimani,M;Rouhi,S,采用多目标进化优化神经网络的玻璃钢复合材料疲劳寿命建模与预测,国际数学模型方法应用科学,1,1-10,(2012)
[33] 《通过动态自适应加速反向传播》,神经网络,9589-601,(1996)
[34] 施,L;Ólafsson,S.随机优化的嵌套分区法,计算应用概率法,27271-291,(2000)·Zbl 0968.90054
[35] Snee-RD(1977)非正交数据分析的某些方面,第一部分。发展预测方程。质量技术杂志5:67-79斯普林格,柏林,海德堡·Zbl 1177.78063
[36] 《统计预测的交叉验证选择与评估》(附讨论),J R Stat Soc Ser B,36111-147,(1974)·Zbl 0308.62063
[37] 《模式搜索算法的收敛性》,载《控制优化学报》,1997年第7期,第1-25页·Zbl 0884.65053
[38] 《改进反向传播算法的收敛性》,神经网络,5465-471,(1992)
[39] Vogl,TP;Mangis,JK;Rigler,AK;Zink,WT;Alkon,DL,《加速反向传播方法的收敛》,Biol Cybern,59257-263,(1988)
[40] 王太岳,王建宇,王建宇,利用正交阵列优化反向传播网络,专家系统应用,34,1630-1641,(2008)
[41] 严,D;穆凯,H,随机离散优化,暹罗控制优化杂志,30594-612,(1992)·Zbl 0764.90066
[42] Yang Xin She,Benjamin Bronner,Leo Trottier,Nick Orbeck,James Meiss,Eugene M Izhikevich(2011)元启发式优化。学术论文集6(8)11472·兹布1217.68175
[43] 张春春;吴伟;陈晓华;熊玉英,指数加权乘积单位神经网络的BP算法收敛性,神经计算,72513-520,(2008)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。