×
方乐恒;林伟（Lin，Wei）;罗强

具有进化可加非线性神经元的受大脑启发的构造性学习算法。 （英语） Zbl 1390.68525号

国际分叉混沌应用杂志。科学。工程师。 28，第5号，文章ID 1850068，22 p.（2018）.
摘要：在这篇文章中，部分受到大脑生长发育的生理证据的启发，我们开发了一种具有进化加性非线性神经元的新型构造性学习算法。新算法在有效回归和准确分类方面具有显著的能力。特别是，当训练网络的动力学陷入局部极小值附近时，这些算法能够维持损失函数的某种减少。该算法通过仅添加少量连接以及激活函数为非线性、非单调且自适应于损失函数动力学的神经元来增强神经网络。事实上，我们分析证明了该算法对不同问题的约简动力学，并进一步修改了算法，以获得增强神经网络的改进泛化能力。最后，通过与神经网络构建的经典算法和架构的比较，我们表明我们的构造性学习算法及其修改版本具有更好的性能，如更快的训练速度和更小的网络规模，包括手写数字的MNIST数据集在内的多个代表性基准数据集。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

非线性神经元;脑激励神经网络;构造性学习算法;非单调激活函数;训练动力学

软件：

ImageNet公司;伦敦银行支持向量机;ElemStatLearn（电子状态学习）;达奇;AlexNet公司;Matlab公司;DEX公司;MNIST公司
PDF格式BibTeX公司 XML格式引用
\textit{L.-H.Fang}等人，国际分叉混沌应用。科学。Eng.28，No.5，文章ID 1850068，22 p.（2018；Zbl 1390.68525）
全文： 内政部

参考文献：

[1] 阿达奇，M。；Aihara，K.，混沌神经网络中的关联动力学，Neur。净值。，10, 83-98, (1997) ·Zbl 1423.68396号
[2] Aha，D.&Kibler，D.[1988]“利用克利夫兰数据库进行基于实例的心脏病预测”，技术代表ICS-TR-88-07，部门。通知。公司。科学。，加州大学欧文分校。
[3] Ash，T.，《反向传播网络中的动态节点创建》，Proc。国际联合协调神经网络，365-375，（1989）
[4] Y.本吉奥。；Grandvalet，Y.，《（k）倍交叉验证方差的无偏估计》，J.Mach。学习。第5号决议，1089-1105，（2004年）·Zbl 1222.68145号
[5] 博哈内克，M。；Rajkovic，V.，《多属性决策的知识获取和解释》，Proc。第八届专家系统及其应用国际研讨会，59-78，（1988）
[6] 博哈内克，M。；Rajkovic，V.，Dex：决策支持的专家系统外壳，《科学技术》，1145-157，（1990）
[7] Bottou，L.，随机学习，3176，（2004），施普林格·Zbl 1120.68426号
[8] Chen，L。；Aihara，K.，混沌神经网络中的奇异吸引子，IEEE Trans。电路系统-一： 基金。Th.应用。，47, 1455-1468, (2000) ·Zbl 0994.37016号
[9] Crespi，B.，非单调神经元的存储容量，Neur。净值。，2, 1377-1389, (1999)
[10] Deng，L.[2012]“用于机器学习研究的手写数字图像MNIST数据库，”IEEE签署流程。美格。29, 141-142.
[11] Detrano，R。；Janosi，A。；Steinbrunn，W.，新概率算法在冠心病诊断中的国际应用，Amer。《心脏病学杂志》。，64, 304-310, (1989)
[12] 杜，K.-L。；Swamy，M.N.S.，《神经网络和统计学习》（2013），伦敦斯普林格出版社
[13] Duane，G.S.，作为数据同化的递归神经网络中的“力”学习，混沌，27，126804，（2017）·Zbl 1390.68524号
[14] 埃斯特瓦，A。；库普雷尔，B。；诺沃亚共和国。；Ko，J。；斯威特，S.M。；Blau，H.M.，利用深度神经网络对皮肤癌进行皮肤科级别分类，《自然》，542，115-118，（2017）
[15] Farlow，S.J.，《建模中的自组织方法：GMDH类型算法》（1984），马塞尔·德克尔公司，纽约·Zbl 0559.00029号
[16] Fisher，R.A.，《分类问题中多重测量的使用》，Ann.Eugen。，7, 179-188, (1936)
[17] 弗里德曼，J.H。；Stuetzle，W.，投影寻踪回归，J.Amer。统计师。协会，76，817-823，（1981）
[18] 加洛，V.，《大脑深处令人惊讶的突触》，《自然神经科学》。，10, 267-269, (2007)
[19] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），麻省理工学院出版社，剑桥·Zbl 1373.68009号
[20] 哈根，M.T。；Demuth，H.B。；Beale，M.H。；Jesús，O.D.，《神经网络设计》（2014），Hagan Martin，Stillwater
[21] Hassoun，M.H.，《人工神经网络基础》（1995），麻省理工学院出版社，剑桥·兹比尔0850.68271
[22] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.，《统计学习的要素：数据挖掘、推断和预测》（2009），纽约州斯普林格·Zbl 1273.62005年
[23] Haykin，S.，《神经网络和学习机器》（2009），新泽西州上鞍河Prentice Hall出版社
[24] Hegab，A.M。；新墨西哥州塞勒姆。；拉德万，A.G。；Chua，L.，具有简化记忆性离子通道的神经元模型，国际期刊《分叉与混沌》，25，1530017，（2015）·Zbl 1317.34104号
[25] 辛顿，G。；Osindero，S。；Teh，Y.W.，深度信念网的快速学习算法，Neur。计算。，18, 1527-1554, (2006) ·Zbl 1106.68094号
[26] Hinton，G.，Deng，L.，Yu，D.，Dahl，G.E.，Rahman Mohamed，A.，Jaitly，N.，Senior，A.，Vanhoucke，V.，Nguyen，P.，Sainath，T.N.&Kingsbury，B.[2012a]“语音识别中声学建模的深层神经网络”IEEE签署流程。美格。29.
[27] Hinton，G.、Srivastava，N.、Krizhevsky，A.、Sutskever，I.和Salakhutdinov，R.R.[2012b]“通过防止特征检测器的协同适应来改进神经网络”，arXiv:1207.0580·Zbl 1318.68153号
[28] Hirose，Y。；Yamashita，K。；Hijiya，S.，改变隐藏单元数量的反向传播算法，Neur。净值。，4, 61-66, (1991)
[29] 霍尼克，K。；Stinchcombe先生。；White，H，多层前馈网络是通用逼近器，Neur。净值。，2, 359-366, (1989) ·兹比尔1383.92015
[30] 赫拉莫夫，A.E。；新南威尔士州弗罗洛夫。；Maksimenko，V.A.，人工神经网络检测人类不确定性，混沌，28，033607，（2018）
[31] Hsu，C.-W.，Chang，C.-C.&Lin，C.-J.[2003]“支持向量分类实用指南”网址：http://www.csie.ntu.edu.tw/c̃jlin/papers/guide/guide.pdf。
[32] 洛夫，S。；Szegedy，C.，《批量规范化：通过减少内部协变量偏移加快深层网络训练》，Proc。第32届国际计算机学习大会，448-456，（2015）
[33] 伊斯兰，M.M。；Sattar，医学硕士。；阿明，M.F。；姚，X。；Murase，K.，设计人工神经网络的一种新的自适应合并和增长算法，IEEE Trans。系统。人类网络。B部分：网络。，39, 705-722, (2009)
[34] Kohavi，R.，《精度估计和模型选择的交叉验证和引导研究》，Proc。第14届国际人工智能联合会议，21137-1145，（1995）
[35] Krizhevsky，A.、Sutskever，I.和Hinton，G.[2012]“基于深度卷积神经网络的Imagenet分类”程序。高级神经信息。程序。系统。第1097-1105页。
[36] 库克利，M。；Capetillo-Zarate，E。；Dietrich，D.，白质中轴突释放的囊泡谷氨酸，《国家神经科学》。，10, 321-330, (2007)
[37] Kussul，大肠杆菌。；Baidyk，T.，在MNIST数据库上测试的手写数字识别改进方法，Imag。视觉。计算。，22, 971-981, (2004)
[38] 郭台铭。；Yeung，D.-Y.，回归问题前馈神经网络中结构学习的构造算法，IEEE Trans。诺尔。净值。，8，630-645，（1997）
[39] 劳伦斯，S。；Giles，G.L。；卓伊，A.C。；Back，A.D.，《人脸识别：卷积神经网络方法》，IEEE Trans。诺尔。净值。，8, 98-113, (1997)
[40] Lebiere，C。；Fahlman，S.E.，级联相关学习架构，Proc。高级神经信息。过程。系统。，524-532, (1990)
[41] LeCun，Y.，Cortes，C.&Burges，C.J.C.[1998]“手写数字的MNIST数据库”http://yann.lecun.com/exdb/mnist。
[42] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444，（2015）
[43] 李，X。；项，S。；朱，P。；Wu，M.，建立bp神经网络的动态自适应学习算法及其应用，国际分岔与混沌，25，1540030-1-10，（2015）·Zbl 1334.68189号
[44] Lin，W。；Chen，G.，混沌人工神经网络中的大存储容量：反可积极限的观点，IEEE Trans。诺尔。净值。，20, 1340-1412, (2009)
[45] 卢·W。；Rossoni，E。；Feng，J.，关于高斯神经元场模型，NeuroImage，52，913-933，（2010）
[46] 马，L。；Khorasani，K.，使用构造前馈神经网络的面部表情识别，IEEE Trans。系统。人类网络。B部分：网络。，34, 1588-1595, (2004)
[47] 马，L。；Khorasani，K.，使用Hermite多项式激活函数的构造前馈神经网络，IEEE Trans。诺尔。净值。，16, 821-833, (2005)
[48] 马，J.F。；Wu，J.，非线性反馈耦合网络中蝴蝶的多重稳定性和胶合分岔，非线性，221383-1412，（2009）·Zbl 1193.34151号
[49] 马古拉斯，G.D。；Vrahatis，M.N.，《神经网络监督学习的自适应算法：确定性优化方法》，《国际分岔与混沌》，1929-1950年，（2006）·Zbl 1156.92004号
[50] Morita，M.，联想记忆与非单调动力学，Neur。净值。，6, 115-126, (1993)
[51] Nara，S.，解决复杂问题的潜在有用动力学能从受限混沌和/或混沌流动中产生吗？，《混沌》，第13期，第1110-1121页，（2003年）
[52] Nara，S.，在递归神经网络模型中使用混沌动力学的新型运动目标跟踪功能，Cogn。神经动力学。，2008年2月39日至48日
[53] 帕雷克，R。；杨，J。；Honavar，V.，模式分类的构造神经网络学习算法，IEEE Trans。诺尔。净值。，11, 436-451, (2010)
[54] Platt，J.，《函数插值的资源分配网络》，Neur。计算。，3121-225，（1991年）
[55] Ren，G。；周，P。；马，J。；蔡，N。；Alsadei，A。；Ahmad，B.，《由自闭症驱动的数字神经元电路中电活动的动态响应》，国际期刊《分叉与混沌》，27，1750187-1-9，（2017）
[56] 对手，I。；Personnaz，L.，非线性建模中的神经网络构建和选择，IEEE Trans。诺尔。净值。，14, 804-819, (2003)
[57] 夏尔马，S.K。；Chandra，P.，《构造神经网络：综述》，国际工程杂志。科学。技术。，2, 7847-7855, (2010)
[58] 西尔弗·D。；黄，A。；Maddison，C.J。；A.盖兹。；Sifre，L。；van den Driessche，G.，《掌握深度神经网络和树搜索的游戏》，《自然》，529，484-489，（2016）
[59] Sutskever，I。；葡萄酒，O。；Le，Q.V.，神经网络的序列到序列学习，Adv.Neur。通知。程序。系统。，27, 3104-3112, (2014)
[60] Sutton，R.S。；Barto，A.G.，《强化学习：导论》（1998），麻省理工学院出版社，剑桥
[61] Trappenberg，T.，《计算神经科学基础》（2010），牛津大学出版社，牛津·Zbl 1179.92012年9月
[62] Vromen，T.G.M。；Steur，H.N.，《训练用于控制移动机器人的电子神经元网络》，《国际分叉与混沌》，26，1650196-1-16，（2016）·Zbl 1352.92011年
[63] 吴，X。；Rozycki，P。；Wilamowski，B.M.，单层前馈网络学习的混合构造算法，IEEE Trans。诺尔。Netw公司。学习。系统。，26, 1659-1668, (2015)
[64] Yanai，H.F。；Amari，S.I.，非单调神经元两阶段动力学的自联想记忆，IEEE Trans。诺尔。净值。，7, 803-815, (1996)
[65] Yang，S.-H。；Chen，Y.-P.，人工神经网络的进化构造和剪枝算法及其预测应用，神经计算，86，140-149，（2012）
[66] 吉泽，S。；森田，M。；Amari，S.，非单调神经元两阶段动力学的自联想记忆，IEEE Trans。诺尔。净值。，7，803-815，（1996）
[67] Ziskin，J.L。；西山，A。；鲁比奥，M。；Fukaya，M。；Bergles，D.E.，白质中无髓鞘轴突的谷氨酸水泡释放，《自然神经科学》。，10321-330，（2007年）
[68] 祖潘，B。；博哈内克，M。；Bratko，I.，《通过功能分解进行机器学习》，Proc。ICML 1997，421-429，（1997）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。