×

新型混合形态/线性感知器的极限学习机。 (英语) Zbl 1434.68456号

总结:形态神经网络(MNN)可以被描述为一类在每个节点执行数学形态学操作的人工神经网络,可能随后应用激活函数。形态感知器(MP)和(灰度)形态联想记忆是最广为人知的MNN模型之一。由于它们的神经元聚集函数是不可微的,因此原则上不能直接应用经典的非线性优化方法来训练这些网络。同样的观察结果也适用于混合形态/线性感知器和其他相关模型。为了避免这些不可微的问题,本文引入了一种极端学习机方法来训练混合形态/线性感知器,其形态成分是从先前的MP模型中提取的。我们将得到的模型应用于文献中的一些著名分类问题,并将我们的模型与几个相关模型的性能进行了比较,其中包括一些最新的MNN和混合形态/线性神经网络。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68单位05 计算机图形;计算几何(数字和算法方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Araújo,R.A.,《巴西股市预测中基于梯度学习的形态感知器》,神经网络,28,61-81(2012)
[2] Araújo,R.A。;Ferreira,T.A.E.,《股票市场预测的形态等级线性进化方法》,《信息科学》,237,3-17(2013)·Zbl 1321.91117号
[3] Araújo,R.A。;奥利维拉。;Meira,S.,《用于Bovespa指数预测的膨胀-侵蚀-线性感知器》,(Yin,H.;Costa,J.;Barreto,G.,《智能数据工程和自动学习》,智能数据工程与自动学习,计算机科学讲义,第7435卷(2012),斯普林格-柏林-海德堡),407-415
[4] Araújo,R.A。;Oliveira,A.L。;Meira,S.,用于二进制分类问题的形态神经网络,人工智能的工程应用,65,12-28(2017)
[5] Araújo,R.A.和Sussner,P.(2010年)。一种用于金融时间序列预测的基于伪粒度学习和相位调整的增强型混合形态线性感知器。2010年IEEE计算智能世界大会论文集,卷IJCNN(第807-814页)。西班牙巴塞罗那。
[6] 弧,F。;萨莫拉,E。;Sossa,H。;Barrón,R.,树枝状形态神经网络的差分进化训练算法,应用软计算,68,303-313(2018)
[7] 巴农,G.J.F。;Barrera,J.,数学形态学对平移不变集映射的最小表示,SIAM应用数学杂志,51,6,1782-1798(1991)·兹比尔0742.68085
[8] 巴农,G.J.F。;Barrera,J.,通过数学形态学分解完备格之间的映射,第1部分。一般格,信号处理,30,3,299-327(1993)·Zbl 0776.06003号
[9] Bartlett,P.L.,《神经网络模式分类的样本复杂性:权重的大小比网络的大小更重要》,IEEE信息理论汇刊,44,2,525-536(1998)·Zbl 0901.68177号
[10] Bergstra,J。;Bengio,Y.,《超参数优化的随机搜索》,《机器学习研究杂志》,第13期,第281-305页(2012年)·Zbl 1283.68282号
[11] Birkhoff,G.,《格理论》(1993),美国数学学会:美国数学学会普罗维登斯·Zbl 0126.03801号
[12] Bishop,C.M.,《模式识别的神经网络》(1995),牛津大学出版社:牛津大学出版社,英国牛津
[13] Bishop,C.M.,《模式识别和机器学习(信息科学和统计)》(2006年),纽约斯普林格-Verlag出版社·Zbl 1107.68072号
[14] 坎比奥蒂,I.,HMLP-EL(2019)
[15] 卡努,S。;Grandvalet,Y。;Guigue,V。;Rakotomonzy,A.,支持向量机和内核方法matlab工具箱,感知系统和信息(2005),法国鲁昂研究所:法国鲁昂研究所
[16] Chang,H。;Yeung,D.-Y.,稳健的基于路径的光谱聚类,模式识别,41,1,191-203(2008)·Zbl 1122.68525号
[17] 科尔特斯,C。;Vapnik,V.,支持向量网络,机器学习,20,3,273-297(1995)·Zbl 0831.68098号
[18] Cuninghame-Green,R.,《Minimax代数:经济学和数学系统讲义》166(1979),Springer-Verlag:Springer-Verlag New York·Zbl 0399.90052号
[19] Cybenko,G.,通过sigmoid函数的叠加进行逼近,控制、信号和系统数学(MCSS),2,4,303-314(1989)·Zbl 0679.94019号
[20] 杜瓦,D。;Graff,C.,UCI机器学习库(2017)
[21] Fránti,P。;Sieranoja,S.,K-表示六个聚类基准数据集上的属性,4743-4759(2018)
[22] Grätzer,G.A.,《格理论:第一概念和分配格》(1971),W.H.Freeman:W.H.Freeman San Francisco,CA·Zbl 0232.06001号
[23] Heijmans,H.J.A.M.,《形态学图像算子》(1994),学术出版社:纽约学术出版社·Zbl 0869.68119号
[24] Heijmans,H.J.A.M。;Ronse,C.,数学形态学的代数基础:I.膨胀和侵蚀,计算机视觉,图形和图像处理,50245-295(1990)·Zbl 0788.68158号
[25] Hernández,G.、Zamora,E.和Sossa,H.(2018年)。形态学-线性神经网络。2018年IEEE模糊系统国际会议(FUZZ-IEEE)(第1-6页)。
[26] 霍尔,A.E。;Kennard,R.W.,《岭回归:非正交问题的有偏估计》,技术计量学,12,1,55-67(1970)·Zbl 0202.17205号
[27] Hornik,K.,多层前馈网络的逼近能力,神经网络,4,2,251-257(1991)
[28] Huang,G.-B.,《对极端学习机器的洞察:随机神经元、随机特征和核》,认知计算,6376-390(2014)
[29] Huang,G.-B.,什么是极限学习机器?填补弗兰克·罗森布拉特(Frank Rosenblatt)的梦想与约翰·冯·诺依曼(John von Neumann)的谜题之间的差距,《认知计算》,第7、3、263-278页(2015年)
[30] 黄,G。;周,H。;丁,X。;Zhang,R.,回归和多类分类的极端学习机,IEEE系统汇刊,人与控制论,B部分(控制论),42,2,513-529(2012)
[31] 黄,G.-B。;朱庆云。;Siew,C.-K.,《极限学习机器:理论与应用》,神经计算,70,1-3,489-501(2006),神经网络选自第七届巴西神经网络研讨会(SBRN’04),第七届巴西人神经网络研讨会
[32] 卡伯拉索斯,V.G。;Athanasiadis,I.N。;Mitkas,P.A.,模糊格点推理(FLR)分类器及其在环境臭氧估算中的应用,国际近似推理杂志,45,1,152-188(2007)·Zbl 1123.68106号
[33] 卡伯拉索斯,V.G。;Kehagias,A.,基于格理论的模糊推理系统(FIS)扩展,IEEE模糊系统汇刊,22,3,531-546(2014)
[34] 卡伯拉索斯,V.G。;Petridis,V.,模糊格神经计算(FLN)模型,神经网络,13,1011145-1170(2000)
[35] 村上,K。;Aibara,T.,Moore-Penrose广义逆联想记忆的改进,IEEE系统、人与控制论汇刊,SMC-17,4,699-707(1987)
[36] 佩索阿,L.F.C。;Maragos,P.,《具有混合形态/秩/线性节点的神经网络:应用于手写字符识别的统一框架》,模式识别,33945-960(2000)
[37] 里普利,B.D.,模式识别和神经网络(1996),剑桥大学出版社:剑桥大学出版社·Zbl 0853.62046号
[38] Ritter,G.X。;de Leon,J.L.D。;Sussner,P.,形态学双向联想记忆,神经网络,6,12,851-867(1999)
[39] Ritter,G.X.和Sussner,P.(1996)。形态神经网络导论。《第13届模式识别国际会议论文集》(第709-717页)。奥地利维也纳。
[40] Ritter,G.X.和Sussner,P.(1997)。形态学感知器。在智能系统和符号学中。马里兰州盖瑟斯堡。
[41] Ritter,G.X。;苏斯纳,P。;de Leon,J.L.D.,形态联想记忆,IEEE神经网络汇刊,9,2,281-293(1998)
[42] Ritter,G.X。;Urcid,G.,单神经元计算的格代数方法,IEEE神经网络汇刊,14,2,282-295(2003)
[43] Ronse,C.,《为什么数学形态学需要完整格》,《信号处理》,21,2,129-154(1990)·Zbl 0734.94001号
[44] Schmidhuber,J.,神经网络中的深度学习,神经网络,61,C,85-117(2015)
[45] Serra,J.,《图像分析与数学形态学》,第2卷:理论进展(1988),学术出版社:纽约学术出版社
[46] Simon,D.,《进化优化算法》(2013),John Wiley&Sons:新泽西州John Willey&Sons Hoboken·Zbl 1280.68008号
[47] Sossa,H。;Guevara,E.,树突形态神经网络的高效训练,神经计算,131,132-142(2014)
[48] Sussner,P.(1998)。形态学感知器学习。IEEE智能控制国际研讨会论文集(第477-482页)。马里兰州盖瑟斯堡。
[49] Sussner,P.,Perceptrons,(Webster,J.G.,Wiley electrical and electronics engineering百科全书(1999),John Wiley and Sons,Inc.:纽约John Willey and Sons公司),44-59
[50] Sussner,P.,《从数学形态学角度看格模糊变换》,《模糊集与系统》,288115-128(2016)·Zbl 1374.06011号
[51] 苏斯纳,P。;Esmi,E.,《构造形态神经网络:分类的一些理论方面和实验结果》
[52] Sussner,P.和Esmi,E.(2009b)。竞争学习形态学感知器导论。在《国际神经网络联合会议论文集》(第3024-3031页)中。佐治亚州亚特兰大。
[53] 苏斯纳,P。;Esmi,E.,《竞争学习的形态学感知机:格理论框架和构造性学习算法》,《信息科学》,181,10,1929-1950(2011)·Zbl 1216.68223号
[54] 苏斯纳,P。;Valle,M.E.,灰度形态联想记忆,IEEE神经网络汇刊,17,3,559-570(2006)
[55] Tang,J。;邓,C。;Huang,G.,多层感知器的极端学习机器,IEEE神经网络和学习系统汇刊,27,4,809-821(2016)
[56] Tikhonov,A。;Goncharsky,A。;斯蒂芬诺夫(Stepanov,V.)。;Yagola,A.,《求解不适定问题的数值方法》,《数学及其应用》(2013),施普林格荷兰
[57] 萨莫拉,E。;Sossa,H.,通过随机梯度下降训练树状形态神经元,神经计算,260,420-431(2017)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。