×

水库计算机的多功能性。 (英语) Zbl 1458.92006年

摘要:多功能性是生物神经网络的一个明显的现象学特征,被认为对某些物种的长期生存具有根本重要性。这些多功能神经网络能够在不改变任何网络连接的情况下执行多个任务。在这篇论文中,我们研究了如何利用被称为“储层计算”的现代机器学习范式在人工环境中实现这种神经特质。一种训练技术旨在使储层计算机能够执行多功能性质的任务。我们探讨了某些参数的变化对水库计算机表达多功能能力的关键影响。我们还揭示了几个“未经训练的吸引子”的存在性;位于水库计算机预测状态空间内的吸引子不是训练的一部分。我们对这些未经训练的吸引子进行了分歧分析,并讨论了我们的结果的含义。
©2021美国物理研究所

MSC公司:

92秒20 生物研究、人工生命和相关主题中的神经网络
92C20美元 神经生物学
92-08 生物学问题的计算方法
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Getting,P.A.,支配神经网络操作的新兴原理,Annu。神经科学评论。,185-204年12月(1989年)·doi:10.1146/annurev.ne.12.030189.001153
[2] Dickinson,P.S.,行为神经网络之间的相互作用,Curr。操作。神经生物学。,5, 792-798 (1995) ·doi:10.1016/0959-4388(95)80108-1
[3] E.马德尔。;Calabrese,R.L.,节奏运动模式生成原理,生理学。修订版,76687-717(1996)·doi:10.1152/physrev.1996.76.3.687
[4] Briggman,K.L。;Kristan,W.B.,《产生不同行为的成像专用和多功能神经回路》,J.Neurosci。,26, 10925-10933 (2006) ·doi:10.1523/JNEUROSCI.3265-06.2006
[5] Lieske,S。;托比·布里森,M。;Telgkamp,P。;Ramirez,J.,《控制多种呼吸模式的神经网络重构:呼吸困难、叹息和喘息》,《国家神经科学》。,3600(2000年)·数字对象标识代码:10.1038/75776
[6] Briggman,K.L。;Kristan,Jr.,W.,《多功能图形生成电路》,年。神经科学评论。,31, 271-294 (2008) ·doi:10.1146/annurev.neuro.31.060407.125552
[7] 皮萨奇克,A.N。;Feudel,U.,《多稳态控制》,《物理学》。代表,540,167-218(2014)·Zbl 1357.34105号 ·doi:10.1016/j.physrep.2014.02.007
[8] Jaeger,H.,“分析和训练递归神经网络的‘回声状态’方法——带勘误表”,德国国家信息技术研究中心,GMD技术报告,第148卷,2001年。
[9] Maass,W。;Natschläger,T。;Markram,H.,《无稳定状态的实时计算:基于扰动的神经计算的新框架》,《神经计算》。,14, 2531-2560 (2002) ·Zbl 1057.68618号 ·doi:10.1162/089976602760407955
[10] Verstraeten,D。;Schrauwen,B。;d'Haene,M。;Stroobandt,D.,储层计算方法的实验统一,神经网络。,20, 391-403 (2007) ·Zbl 1132.68605号 ·doi:10.1016/j.neunet.2007.04.003
[11] Jaeger,H。;Haas,H.,利用非线性:预测无线通信中的混沌系统和节能,科学,30478-80(2004)·doi:10.1126/science.1091277
[12] Jalalvand,A.、Van Wallendael,G.和Van de Walle,R.,“用于视觉内容检测任务的实时水库计算网络系统”,2015年第七届计算智能、通信系统和网络国际会议(IEEE,2015),第146-151页。
[13] Buteneers,P。;Verstraeten,D。;Van Nieuwenhuyse,B。;斯特罗班特,D。;Raedt,R。;冯克,K。;布恩,P。;Schrauwen,B.,使用水库计算在动物模型中实时检测癫痫发作,《癫痫研究》,103,124-134(2013)·doi:10.1016/j.eplepsyres.2012.07.013
[14] 卢,Z。;Pathak,J。;亨特,B。;Girvan,M。;布罗科特,R。;Ott,E.,《水库观测者:混沌系统中未测量变量的无模型推断》,《混沌》,27,041102(2017)·doi:10.1063/1.4979665
[15] Pathak,J。;卢,Z。;亨特,B.R。;Girvan,M。;Ott,E.,《使用机器学习复制混沌吸引子并根据数据计算Lyapunov指数》,《混沌》,27,121102(2017)·Zbl 1390.37138号 ·doi:10.1063/1.5010300
[16] Banerjee,A。;Pathak,J。;罗伊,R。;Restrepo,J.G。;Ott,E.,《使用机器学习评估短期因果依赖并推断网络链接》,Chaos,29121104(2019)·数字对象标识代码:10.1063/1.5134845
[17] 卢,Z。;亨特,B.R。;Ott,E.,通过机器学习重构吸引子,混沌,28,061104(2018)·数字对象标识代码:10.1063/1.5039508
[18] Lorenz,E.N.,《确定性非周期流》,J.Atmos。科学。,20, 130-141 (1963) ·Zbl 1417.37129号 ·doi:10.1175/1520-0469(1963)020<0130:DNF>2.0.CO;2
[19] 较大,L。;Soriano,M.C。;Brunner,D。;上诉人L。;古铁雷斯,J.M。;佩斯克拉,L。;米拉索,C.R。;Fischer,I.,《图灵以外的光子信息处理:油藏计算的光电实现》,Opt。《快报》,第20期,第3241-3249页(2012年)·doi:10.1364/OE.20.003241
[20] Nakajima,K。;豪泽,H。;李·T。;Pfeifer,R.,通过物理软体进行信息处理,科学。代表,510487(2015)·doi:10.1038/srep10487
[21] 田中,G。;Yamane,T。;Héroux,J.B。;Nakane,R。;北金泽。;武田,S。;Numata,H。;Nakano,D。;Hirose,A.,《物理油藏计算的最新进展:综述》,神经网络。,115, 100 (2019)
[22] 卢科舍维奇,M。;Jaeger,H.,递归神经网络训练的水库计算方法,计算。科学。修订版,3127-149(2009)·Zbl 1302.68235号 ·doi:10.1016/j.cosrev.2009.03.005
[23] 洛杉矶蒂德。;Parlitz,U.,回声状态网络中基于梯度的超参数优化,神经网络。,115, 23-29 (2019) ·doi:10.1016/j.neunet.2019.02.001
[24] Yperman,J。;T·贝克尔。
[25] 克里希纳戈帕尔,S。;Girvan,M。;Ott,E。;Hunt,B.R.,《通过水库计算分离混沌信号》,《混沌》,3023123(2020)·数字对象标识代码:10.1063/1.5132766
[26] Wolpert,D.M。;Kawato,M.,电机控制的多对正反向模型,神经网络。,11, 1317-1329 (1998) ·doi:10.1016/S0893-6080(98)00066-5
[27] Tani,J。;伊藤,M。;Sugita,Y.,《镜子系统中分布式表示的多行为图式的自组织:使用RNNPB的机器人实验综述》,神经网络。,1273-1289年(2004年)·doi:10.1016/j.neunet.2004.05.007
[28] 拉比诺维奇,M.I。;瓦罗纳,P。;塞尔弗斯顿,A.I。;Abarbanel,H.D.,《神经科学中的动力学原理》,修订版。物理。,781213(2006年)·doi:10.1103/RevModPhys.78.1213
[29] Mpitsos,G.J。;Cohan,C.S.,《分布式神经系统中的收敛:并行处理和自组织》,J.Neurobiol。,17, 517-545 (1986) ·doi:10.1002/neu.480170512
[30] 波佩斯库,I.R。;Frost,W.N.,海洋软体动物中多功能网络介导的高度不相似行为,神经科学杂志。,22, 1985-1993 (2002) ·doi:10.1523/JNEUROSCI.22-05-01985.2002
[31] Lu,H.,延迟神经网络中的混沌吸引子,物理学。莱特。A、 298109-116(2002)·Zbl 0995.92004号 ·doi:10.1016/S0375-9601(02)00538-8
[32] Bao,B。;钱,H。;Wang,J。;徐,Q。;陈,M。;Wu,H。;Yu,Y.,Hopfield神经网络中共存多吸引子的数值分析和实验验证,非线性动力学。,90, 2359-2369 (2017) ·doi:10.1007/s11071-017-3808-3
[33] 关,Z.-H。;赖,Q。;Chi,M。;程晓明。;刘凤,一个新的具有多个混沌吸引子的三维系统的分析,非线性动力学。,75, 331-343 (2014) ·Zbl 1281.34065号 ·doi:10.1007/s11071-013-1069-3
[34] Richter,H.,用多个奇怪吸引子控制混沌系统,物理学。莱特。A、 300182-188(2002年)·Zbl 0997.37012号 ·doi:10.1016/S0375-9601(02)00183-4
[35] 库兹涅佐夫,Y.A.,《应用分叉理论的要素》(2013),斯普林格科学与商业媒体
[36] 古根海默,J。;Holmes,P.,《非线性振荡、动力系统和向量场分岔》(2013),施普林格科学与商业媒体
[37] Doedel,E.J.、Fairgrave,T.F.、Sandstede,B.、Champneys,A.R.、Kuznetsov,Y.A.和Wang,X.,“Auto-07p:常微分方程的连续和分岔软件”,技术报告,2007年。
[38] 塔斯,P。;Rosenblum,M。;Weule,J。;Kurths,J。;Pikovsky,A。;沃克曼,J。;Schnitzler,A。;Freund,H.-J.,从噪声数据中检测n:M锁相:在脑磁图中的应用,物理学。修订稿。,81, 3291 (1998) ·doi:10.1003/物理版通讯.81.3291
[39] Rosenblum,M。;Pikovsky,A.,《集体同步的延迟反馈控制:抑制病理性脑节律的方法》,Phys。版本E,70,041904(2004)·doi:10.1103/PhysRevE.70.041904
[40] 塔斯,P.A。;Hauptmann,C。;Popovych,O.V.,《利用非线性动力学和统计物理方法开发治疗性脑刺激技术》,国际期刊《分叉树》。《混沌》,第16期,1889-1911(2006)·兹比尔1154.92317 ·doi:10.1142/S0218127406015787
[41] 哈里斯·沃里克,R.M。;Marder,E.,《神经网络对行为的调制》,年。神经科学评论。,第14页,第39-57页(1991年)·doi:10.1146/annurev.ne.14.030191.000351
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。