×

兹马思-数学第一资源

具有时间序列和分类问题的无导数搜索神经网络训练算法的性能。(英语) Zbl公司 1306.65018
摘要:本文提出了一种最小化人工神经网络误差函数的曼哈顿搜索算法。从笛卡尔坐标系中的某个位置开始,搜索向量沿正交方向移动以确定函数的最小值。搜索算法计算优化的步长以快速收敛。当连续搜索成功最小化函数值时,执行此步骤。优化后的步长确定了有利的下降方向,使函数值最小化。该方法适用于导数信息难以获得或误差面几乎平坦的复杂误差面。在平面附近,函数值的变化率几乎可以忽略不计。大多数基于导数的训练算法在这种情况下都面临困难。该算法避免了误差函数的导数信息。因此,当基于导数的算法由于复杂的脊线和平坦的山谷而面临困难时,它是一种很有吸引力的搜索方法。当算法陷入陷波极小值时,搜索向量通过搜索邻域下降搜索方向来跳出局部极小值。该算法不同于基于一阶导数和二阶导数的训练方法。为了衡量算法的性能,解决了斐济群岛发电模型的估计问题和“L-T”字母识别问题。Bootstrap分析表明,该算法具有较高的预测能力和分类能力。当问题的解未知时,该算法是可靠的。因此,该算法识别出基准解。
理学硕士:
65立方英尺 统计计算问题(MSC2010)
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 艾哈迈德,S,多方向搜索优化神经网络误差函数,凯伯内特斯,391145-1166,(2010)·Zbl公司 1217.68175
[2] 阿勒法伊,MH;安德拉德ó张国荣,等,离散随机优化的恒温模拟退火算法,中国科学出版社,45748-764,(1999)·Zbl公司 1231.90315
[3] 奥德特,C;Orban,D,使用无导数优化寻找最佳算法参数,SIAM J Optim,17642-664,(2006)·Zbl公司 1128.90060
[4] 卡坎吉,萨拉;卡坎吉,亚历山德拉·范尼;Augusto,Montisci,优化问题的神经近似模型构造算法,国际计算数学电子工程,281276-1289,(2009)·Zbl公司 1177.78063
[5] 康涅狄格州;谢因伯格,K;Vicente,LN,无导数优化中插值集的几何,数学程序SERB,111141-172,(2008)·Zbl公司 1163.90022
[6] Efron B,Tibshirani R(1993)引导程序简介。查普曼和霍尔,纽约·Zbl公司 835.62038
[7] 埃尔克曼,布尔库;是的ıld公司ırım、 杜雷,应用带主成分分析的广义回归神经网络改善声纳目标的分类性能,专家系统应用,35472-475,(2008)
[8] 格伦茨ér L,希尔SD,Vágó Z(1999)基于SPSA的离散集优化。第38届决策与控制会议记录,第1791-1795页·Zbl公司 1231.90315
[9] Ghosh R,Ghosh M,Yearwood J,Bagirov A(2005)确定无导数神经学习的正则化参数。在:MLDM’05第四届模式识别中的机器学习和数据挖掘国际会议论文集·Zbl公司 308.62063
[10] 陶菲格,H;魏建思,S,用无导数递推算法预测V型定制罐的流量,应用科学杂志,11,1279-1284,(2011)
[11] Hecht Nielsen R(1990)神经计算。艾迪生·韦斯利出版公司,雷丁
[12] Hesterberg T,Monaghan S,Moore DS,Clipson A,Epstein R(2003)引导方法和置换测试。W、 H.弗里曼公司,纽约
[13] 洪,LJ;Nelson,BL,《通过使用指南针进行模拟的离散优化》,Oper Res,54115-129,(2006)·Zbl公司 1167.90630
[14] 洪,LJ;Nelson,BL,当系统按顺序显示时选择最佳系统,IIE Trans,39723-734,(2007)
[15] 胡克,R;吉夫斯,TA,数值和统计问题的直接搜索解,J Assoc Comput Mach,8212-229,(1961)·Zbl公司 111.12501
[16] 安静,博士;霍恩,B;Salas,JM,《多层膜的误差曲面》,IEEE Trans-Syst-Man-Cybern,22,1152-1161,(1992)
[17] 摩尔,JJ;Wild,SM,《无导数优化算法基准测试》,SIAM J Optim,20172-191,(2009)·Zbl公司 1187.90319
[18] Jacobs,RA,通过学习速率适应提高收敛速度,神经网络,1295-307,(1988)
[19] 卡马锡,SV;Pittner,S.使用权值外推加速神经网络训练,神经网络,12,1285-1299,(1999)
[20] 价格,RK;斯皮茨纳格尔,EL;唐尼,TJ;梅耶,DJ;风险,NK;El Ghazzawy,OG,应用人工神经网络模型进行临床决策,心理评估,12,40-51,(2000)
[21] Kleywegt A,Shapiro A,Homem de Mello T(2001)随机离散优化的样本平均逼近方法。暹罗杂志Optim 12:479-502·Zbl公司 991.90090
[22] 诺克,法学博士;安德森,厘米;郭,郭,用重抽样方法分析样本调查中的重复测量边际模型,统计软件杂志,15,1-13,(2006)
[23] Kordos M,Duch Kordos W(2008)前馈网络的变步长搜索算法,神经计算。更正的证据,2008年4月29日可在线查阅(正在出版)·Zbl公司 884.65053
[24] 韩志泽,戴伟,孙永元(1990)用修正的反向传播模型对大型手写体字符进行分类。国际神经网络联席会议论文集III:225-232,IEEE出版社,皮斯卡塔韦,新泽西州
[25] 高石,黑道;小野寺五郎;Kobayashi,Kunikazu,神经模糊系统自适应群体行为获取与强化学习算法,国际计算机网络杂志,2724-744,(2009)·Zbl公司 1190.68046
[26] 刘德荣;神经网络应用,张华光,4771,2008
[27] Mirikitani,德里克·T;Nikolaev,Nikolay,高效在线递归连接学习与集成卡尔曼滤波器,神经计算,731024-1030,(2010)
[28] 莫斯特勒,F;图基;Lindzey,G(编辑);Aronson,E(编辑),《数据分析包括统计》(1968年),《阅读质量》
[29] 波兰克,E;Ribiere,G.,《方向共轭方法的收敛性注记》,法国《信息检索操作》,第16期,第35-43页,(1969年)·Zbl公司 174.48001
[30] Rumelhart DE,Hinton GE,Williams RJ(1986),通过错误传播学习内部表现。在:Rumelhart DE,McClelland JL,PDP研究小组(eds)并行分布式处理:认知微观结构的探索,第一卷。基础。麻省理工学院出版社,剑桥,马萨诸塞州,美国,第318-362页
[31] Saini,Lalit Mohan,基于贝叶斯正则化的峰值负荷预测,弹性和自适应反向传播学习人工神经网络,电力系统,781302-1310,(2008)
[32] 萨尔马利亚,K;索莱曼尼,M;鲁希,S,基于多目标进化优化神经网络的玻璃钢复合材料疲劳寿命建模与预测,国际数学模型方法应用科学,1,1-10,(2012)
[33] 所罗门,R;范海曼,L,通过动态自适应加速反向传播,神经网络,9589-601,(1996)
[34] 史,L;Ó李国荣,等,随机优化的嵌套分区法,应用概率计算方法,27271-291,(2000)·Zbl公司 968.90054
[35] Snee RD(1977)非正交数据分析的某些方面,第一部分。发展预测方程。质量技术杂志5:67-79斯普林格,柏林,海德堡·Zbl公司 1177.78063
[36] 《统计预测的交叉验证选择与评估》(附讨论),J R Stat Soc Ser B,36111-147,(1974)·Zbl公司 308.62063
[37] 《模式搜索算法的收敛性》,载《控制优化学报》,1997年第7期,第1-25页·Zbl公司 884.65053
[38] Van Ooyen,A;聂海斯,B,改进反向传播算法的收敛性,神经网络,5465-471,(1992)
[39] Vogl,TP;新泽西州曼吉斯;阿拉巴马州里格勒;锌,WT;Alkon,DL,加速反向传播方法的收敛,Biol Cybern,59257-263,(1988)
[40] 王太岳;于建宇,黄旺,用正交阵列优化反向传播网络,专家系统应用,341630-1641,(2008)
[41] 严,D;穆凯,H,随机离散优化,暹罗J控制优化,30594-612,(1992)·Zbl公司 764.90066
[42] Yang Xin She,Benjamin Bronner,Leo Trottier,Nick Orbeck,James Meiss,Eugene M Izhikevich(2011)元启发式优化。学术论文集6(8)11472·Zbl公司 1217.68175
[43] 张,C;吴,W;陈,XH;熊勇,指数权乘积单位神经网络的BP算法收敛性,神经计算,72513-520,(2008)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。