×
陈泽佳;段法宾;弗朗索瓦·布隆多教堂;德里克·阿博特

利用极限学习机和自适应随机共振训练阈值神经网络。 （英语） Zbl 1524.68268号

物理学。莱特。，A类 432，文章ID 128008，7 p.（2022）.
概述：阈值神经网络由于其易于硬件实现和低计算复杂度，在工程应用中非常有用。然而，这种阈值网络具有不可微的激活函数，因此无法用标准的基于梯度的算法进行训练。为了克服这一局限性，本文提出了一种阈值神经网络的混合训练算法。该混合训练算法具有两个显著特点：隐层的结构变换使阈值网络能够通过自适应随机共振（ASR）和极端学习机（ELM）的快速学习算法从噪声增强的学习能力中获益阈值网络具有合适的泛化性能。回归和多类分类的实验结果证明了所提出的混合训练算法的可实现性和实际效率，从而证明了人工噪声注入在阈值神经网络中的有益作用。

MSC公司：

68T05型 人工智能中的学习和自适应系统
68T07型 人工神经网络与深度学习

关键词：

阈值网络;自适应随机共振;极限学习机;噪声注入;函数近似;分类

软件：

UCI-毫升;XNOR-网络
PDF格式BibTeX公司 XML格式引用
\textit{Z.Chen}等人，《物理学》。莱特。，A 432，文章ID 128008，7 p.（2022；Zbl 1524.68268）
全文： DOI程序

参考文献：

[1] Toms，D.，通过误差反向传播训练二进制节点前馈神经网络，Electron。莱特。，26, 21, 1745-1746 (1990)
[2] Bartlett，P。；Downs，T.，《使用随机权重训练硬隔离单元的多层网络》，IEEE Trans。神经网络。，3, 2, 202-210 (1992)
[3] 科尔文，E。；Logar，A。；Oldham，W.，用阈值函数训练多层网络的迭代方法，IEEE Trans。神经网络。，5, 3, 507-508 (1994)
[4] Wilson，E。；Rock，S.，含离散值函数系统的基于梯度的参数优化，国际鲁棒非线性控制，12，9，1009-1028（2002）·兹比尔1006.93518
[5] 黄，G。；朱，Q。；毛，K。；Siew，C。；萨拉昌德兰，P。；Sundararajan，N.，可以直接训练阈值网络吗？，IEEE传输。电路系统。二、 快讯，53，3，187-191（2006）
[6] 古尔塞，C。；Moczulski，M。；丹尼尔，M。；Bingio，Y.，Noisy激活函数（2016），arXiv，可用：
[7] 拉斯特加里，M。；Ordonez，V。；雷德蒙，J。；Farhadi，A.，XNOR-net：使用二进制卷积神经网络进行ImageNet分类，（欧洲计算机视觉会议（2016），Springer），525-542
[8] Ikemoto，S。；Dallalibera，F。；Hosoda，K.，噪声调制神经网络作为随机共振的应用，神经计算，277，29-37（2017）
[9] Ikemoto，S.，利用随机共振选择性功能化子网络的噪声调制神经网络，神经计算，448，1-9（2021）
[10] 刘，X。；段，L。；Duan，F。；Chapeau-Blondeau，F。；Abbott，D.，通过超阈值随机共振增强阈值神经网络用于模式分类，Phys。莱特。A、 403，第127387条，第（2021）页·Zbl 07409898号
[11] Uhlich，S.，《使用人工观测噪声的估计器贝叶斯风险降低》，IEEE Trans。信号处理。，63, 20, 5535-5545 (2015) ·Zbl 1394.94611号
[12] 西蒙，D。；Sulam，J。；罗曼诺，Y。；卢，Y。；Elad，M.，使用随机共振的稀疏编码算法的MMSE近似，IEEE Trans。信号处理。，67, 17, 4597-4610 (2019) ·Zbl 07123383号
[13] 陈，H。；Varshney，P.K.，用于分布式估计的非参数一位量化器，IEEE Trans。信号处理。，58, 7, 3777-3787 (2010) ·Zbl 1392.94138号
[14] 刘，J。；Duan，F。；Chapeau-Blondeau，F。；Abbott，D.，《使用噪声优化低分辨率传感器观测的分布式贝叶斯矢量估计》，Digit。信号处理。，118，第103224条pp.（2021）
[15] 段，L。；Duan，F。；Chapeau-Blondeau，F。；Abbott，D.，用于函数逼近的前馈阈值神经网络的噪声增强反向传播学习，IEEE Trans。仪器。测量。，70，第1010612条pp.（2021）
[16] 弗雷泽-洛格，N。；Hanson，S.J.，《随机增量规则：通过自适应权重噪声进行更快、更准确的深度学习》，神经计算。，32, 5, 1018-1032 (2020) ·Zbl 1468.68181号
[17] 秦，H。；龚，R。；刘，X。；Bai，X。；宋，J。；Sebe，N.，《二进制神经网络：一项调查》，《模式识别》。，105，第107281条，第（2020）页
[18] Stocks，N.G.，《多级阈值系统中的超阈值随机共振》，Phys。修订稿。，84, 11, 2310-2313 (2000)
[19] 医学博士麦克唐纳。；股票，N.G。；皮尔斯，C.E.M。；Abbott，D.，《随机共振：从超阈值随机共振到随机信号量化》（2008），剑桥大学出版社：剑桥大学出版社，纽约·Zbl 1157.94003号
[20] 卢梭，D。；Chapeau-Blondeau，F.，《比较器阵列中的超阈值随机共振和信噪比改进》，Phys。莱特。A、 321、5-6、280-290（2004）·Zbl 1118.81431号
[21] Fu，Y。；Kang，Y。；Chen，G.，使用尖峰神经网络的基于随机共振的视觉感知，Front。计算。神经科学。，14, 24 (2020)
[22] 黄，G。；周，H。；丁，X。；Zhang，R.，回归和多类分类极端学习机，IEEE Trans。系统。人类网络。，B部分，网络。，42, 2, 513-529 (2011)
[23] 黄，G。；王，D。；Lan，Y.，《极限学习机器：一项调查》，Int.J.Mach。学习。赛博。，2, 2, 107-122 (2011)
[24] Mitaim，S。；Kosko，B.，自适应随机共振，Proc。IEEE，86，11，2152-2183（1998）
[25] Kosko，B。；Audhkhasi，K。；Osoba，O.，Noise可以加快反向传播学习和深度双向预处理，神经网络。，129, 359-384 (2020)
[26] McCulloch，W。；Pitts，W.，《神经活动内在思想的逻辑演算》，布尔。数学。生物物理学。，5, 4, 115-133 (1943) ·Zbl 0063.03860号
[27] 郭，D。；Perc，M。；刘，T。；Yao，D.，噪声在神经元信息处理中的功能重要性，Europhys。莱特。，124，5，第50001条第（2018）页
[28] 杜瓦，D。；Graff，C.，UCI机器学习库（2017），[在线]，可用：
[29] 拉菲伊，M。；Adeli，H.，房地产单位销售价格估算的新型机器学习模型，J.Constr。工程管理。，142，2，第04015066条pp.（2016）
[30] 科尔特斯，P。；Cerdeira，A。；阿尔梅达，F。；马托斯，T。；Reis，J.，通过物理化学特性数据挖掘建模葡萄酒偏好，Decis。支持系统。，47, 4, 547-553 (2009)
[31] 卡索蒂，M。；巴拉比奥，D。；托德斯基尼，R。；Consonni，V.，一种基于相似性的QSAR模型，用于预测对肥头小须鲸（黑鲷）的急性毒性，SAR QSAR Environ。研究，26，3，217-243（2015）
[32] 于清。；Liu，X.，可激发势阱中的自诱导随机共振，Phys。莱特。A、 410，17，第127520条pp.（2021）·兹布尔07411294
[33] 高，F。；Kang，Y。；陈，X。；Chen，G.，分数高斯噪声增强了二进制输入非线性神经元模型的信息容量，Phys。E版，97，5，第052142条pp.（2018）
[34] Ghori，M.B。；Kang，Y。；Chen，Y.，二室海马锥体神经元模型中随机共振的出现，J.Compute。神经科学。（2022），[在线]·Zbl 1494.92011年
[35] 高，F。；Kang，Y.，分数高斯噪声在FitzHugh-Nagumo神经元模型中的积极作用，混沌孤子分形，146,5，文章110914 pp.（2021）
[36] 张伟。；Shi，P。；李，M。；Han，D.，基于双稳态随机池网络的新型随机共振模型及其应用，混沌孤子分形，145,4，文章110800 pp.（2021）·Zbl 1498.94031号
[37] Dong，H。；沈，X。；He，K。；Wang，H.，船辐射线特征提取中井内匹配随机共振与屏障约束Duffing系统的非线性滤波效应，混沌孤子分形，141，12，文章110428 pp.（2020）
[38] 廖，Z。；王，Z。；山原，H。；Tabata，H.，基于双稳态随机共振的回波状态网络激活函数，混沌孤子分形，153，12，第111503页，（2021）·Zbl 1498.62169号
[39] 郭，D。；Perc，M。；Zhang，Y。；Xu，P。；Yao，D.，《神经系统中频率差相关随机共振》，《物理学》。E版，96，2，第022415条pp.（2017）
[40] Yilmaz，E。；乌津塔拉，M。；Ozer，M。；Perc，M.，混合无标度神经网络中的随机共振，Physica A，392，22，5735-5741（2013）·Zbl 1395.34067号
[41] Perc，M.，弱节奏无标度网络上的随机共振，Phys。E版，78，3，第036105条，pp.（2008）
[42] Yu，H。；郭，X。；Wang，J。；刘，C。；邓，B。；Wei，X.，具有时滞的自组织小世界神经元网络中的自适应随机共振，Commun。非线性科学。数字。模拟。，29, 1, 1007-5704 (2015)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。