陆志新；丹妮尔·巴塞特。 可逆广义同步：神经系统内隐学习的假定机制。 （英语） Zbl 1440.92006年 混乱 30，第6期，063133，19页（2020年）. 摘要：尽管生物和人工神经系统之间存在显著差异，但一个基本的相似之处是，它们本质上是动力系统，可以学习模仿控制方程未知的其他动力系统。大脑能够通过经验学习物理世界的动态本质；类似地，水库计算网络（RCN）等人工神经系统可以从数据中学习复杂动力系统的长期行为。最近的研究表明，RCN中这种学习的机制是可逆广义同步（IGS）。然而，IGS是否也是生物系统中的学习机制尚不清楚。为了阐明这个问题，我们从人脑的特点中得到启发，提出了一个利用IGS的通用的、生物学上可行的学习框架。为了评估该框架的相关性，我们构建了几个不同的神经网络模型作为该框架的实例化。无论这些神经网络模型有何特殊性，它们都可以通过调节突触强度的生物学上可行的适应规则，始终如一地学习模拟其他动力学过程。此外，我们观察并从理论上解释了四种让人联想到认知功能的不同现象的自发出现：（i）学习多重动力学；（ii）在多个动力系统的模拟之间进行切换，无论是自发的还是由外部线索驱动的；（iii）从不完整的观察结果中填写缺失的变量；以及（iv）破译来自不同动力系统的叠加输入。总的来说，我们的发现支持这样的观点，即生物神经网络可以通过IGS机制学习其环境的动态性质。©2020美国物理研究所 引用于4文件 MSC公司： 92秒20 生物研究、人工生命和相关主题中的神经网络 37N20号 物理学其他分支的动力系统（量子力学、广义相对论、激光物理） 92C20美元 神经生物学 软件：Omniglot公司 PDF格式BibTeX公司 XML格式引用 \textit{Z.Lu}和\textit{D.S.Bassett}，混沌30，第6期，063133，19页（2020；Zbl 1440.92006） 全文： 内政部 参考文献： [1] 卡鲁扎，E.A。；汤普森-席尔，S.L。；Bassett，D.S.，《局部模式对全球架构的影响：网络拓扑对人类学习的影响》，Trends Cogn。科学。，20, 629-640 (2016) ·doi:10.1016/j.tics.2016.06.003 [2] Reber，A.S.，《内隐学习与隐性知识：关于认知无意识的论文》（1993），牛津大学出版社 [3] 克莱尔曼斯，A。；Destrebecqz，A。；Boyer，M.，《内隐学习：前沿新闻》，《趋势认知》。科学。，2, 406-416 (1998) ·doi:10.1016/S1364-6613（98）01232-7 [4] 马库斯，G.F。；维贾扬，S。；Bandi Rao，S。；Vishton，P.M.，《七个月大婴儿的规则学习》，《科学》，283，77-80（1999）·doi:10.1126/science.283.5398.77 [5] 墨菲，R.A。；蒙德拉贡，E。；Murphy，V.A.，《老鼠的规则学习》，《科学》，3191849-1851（2008）·doi:10.1126/科学.1151564 [6] Seger，C.A.，内隐学习，心理学。公牛。，115, 163-196 (1994) ·doi:10.1037/0033-2909.115.2163 [7] 内曼，I。 [8] Tu，J.H。；罗利，C.W。；Luchtenburg，D.M。；Brunton，S.L。；库茨，J.N。 [9] 安德森，J。；凯夫雷基迪斯，I。；Rico-Martinez，R.，《用于时间序列分析和系统识别的递归训练算法的比较》，计算。化学。工程师，20，S751-S756（1996）·doi:10.1016/0098-1354（96）00133-0 [10] Ly，D.L。；Lipson，H.，学习混合动力系统的符号表示，J.Mach。学习。研究，13，3585-3618（2012）·Zbl 1433.68363号 [11] Hefny，A.、Downey，C.和Gordon，G.J.，“动态系统学习的监督学习”，摘自《神经信息处理系统进展》（Curran Associates，Inc.，2015），第1963-1971页。 [12] 莱斯，M。；佩迪卡里斯，P。；卡尼亚达基斯，G.E。 [13] Raissi，M.，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。决议，19932-955（2018）·Zbl 1439.68021号 [14] Altmann，G.T.M。；迪恩斯，Z。；Marcus，G.F.，《七个月大婴儿的规则学习与神经网络》，《科学》，284875（1999）·doi:10.122/科学284.5416.875a [15] 夏皮罗，A.C。；Turk-Browne，N.B。；Botvinick，M.M。；Norman，K.A.，《海马体内的互补学习系统：一种协调情景记忆与统计学习的神经网络建模方法》，Philos。事务处理。R.Soc.伦敦。B.生物。科学。，372, 20160049 (2017) ·doi:10.1098/rstb.2016.049 [16] Rajan，K。；C.D.哈维。；Tank，D.W.，序列生成和记忆的递归网络模型，神经元，90128-142（2016）·doi:10.1016/j.neuron.2016.02.009 [17] Alemi，A。；Machens，C。；丹耶夫，S。；J.-J.斯隆廷。 [18] Gilra，A。；W.郭士纳。 [19] 丹耶夫，S。；Alemi，A。；Bourdoukan，R.，《大脑是一个高效且强大的适应性学习者》，《神经元》，94969-977（2017）·doi:10.1016/j.neuron.2017.05.016 [20] 雅培，L。；DePasquale，B。；Memmesheimer，R.-M.，《建立放电模型神经元的功能网络》，《自然神经科学》。，19, 350 (2016) ·doi:10.1038/nn.4241 [21] Maass，W。；Natschläger，T。；Markram，H.，《无稳定状态的实时计算：基于扰动的神经计算的新框架》，《神经计算》。，14, 2531-2560 (2002) ·Zbl 1057.68618号 ·doi:10.1162/089976602760407955 [22] Jaeger，H。；Haas，H.，利用非线性：预测无线通信中的混沌系统和节能，科学，30478-80（2004）·doi:10.1126/science.1091277 [23] Sussillo，D。；Abbott，L.F.，《从混沌神经网络生成连贯的活动模式》，《神经元》，63，544-557（2009）·doi:10.1016/j.neuron.2009.07.018 [24] Pathak，J。；卢，Z。；亨特，B.R。；Girvan，M。；Ott，E.，《使用机器学习复制混沌吸引子并根据数据计算Lyapunov指数》，《混沌》，27，121102（2017）·Zbl 1390.37138号 ·doi:10.1063/1.5010300 [25] Pathak，J。；亨特，B。；Girvan，M。；卢，Z。；Ott，E.，《从数据对大型时空混沌系统进行无模型预测：水库计算方法》，Phys。修订稿。，120, 024102 (2018) ·doi:10.1103/PhysRevLett.120.024102 [26] 卢，Z。；亨特，B.R。；Ott，E.，通过机器学习重构吸引子，混沌，28，061104（2018）·数字对象标识代码：10.1063/1.5039508 [27] 梅耶尔·克雷斯，G。；巴尔加，R。；Choi，I.，《混沌吸引子数据中的音乐结构》（1992），伊利诺伊大学香槟分校 [28] Elman，J.L.，《思维作为运动：认知动力学的探索》，195-225（1995），麻省理工学院出版社 [29] Winters，R.M.，“混沌吸引子的音乐映射”，俄亥俄州伍斯特伍斯特学院物理系，2009年，见http://physics.wooster.edu/JrIS/Files/Winters_Web_article.pdf。 [30] Bidlack，R.，混沌系统作为简单（但复杂）的合成算法，计算。《音乐杂志》，第16卷，第33-47页（1992年）·doi:10.2307/3680849 [31] Castilho，P.L.，“混沌系统作为合成算法mus-15”（2015）。 [32] Mackenzie，J.P.，“声音的混沌预测模型”，载于ICMC 1995（1995），见doi:10.1.50.1967&rep=rep1&type=pdf。 [33] 凯斯勒，Y。；Shencar，Y。；Meiran，N.，《选择转换：不顾相关行为成本的自发任务转换》，《心理学报》。，131, 120-128 (2009) ·doi:10.1016/j.actpsy.2009.03.005 [34] 科赫，I。；Allport，A.，任务切换中基于线索的准备和基于刺激的任务启动，Mem。干邑。，34, 433-444 (2006) ·doi:10.3758/BF03193420 [35] 康斯坦蒂诺，F.C。；Simon，J.Z.，缺失声节律知觉填充的动态皮层表征，科学。代表，717536（2017）·doi:10.1038/s41598-017-17063-0 [36] 小松，H.，《知觉填充的神经机制》，《神经科学自然评论》。，7, 220 (2006) ·doi:10.1038/nrn1869 [37] 丁，N。；Simon，J.Z.，《听竞争对手讲话时听觉对象神经编码的出现》，Proc。国家。阿卡德。科学。美国，10911854-11859（2012）·doi:10.1073/pnas.1205381109 [38] Xiang，J。；西蒙，J。；Elhilali，M.，《鸡尾酒会上的竞争流：探索注意力和时间整合的机制》，《神经科学杂志》。，3012084-12093（2010年）·doi:10.1523/JNEUROSCI.0827-10.2010 [39] 罗，H。；Poeppel，D.，神经元反应的相位模式可靠地区分人类听觉皮层中的言语，《神经元》，541001-1010（2007）·doi:10.1016/j.neuron.2007.06.004 [40] 北梅斯加拉尼。；Chang，E.F.，《多人言语感知中有话者的选择性皮层表征》，《自然》，485233（2012）·doi:10.1038/nature11020 [41] James，W.，《心理学原理》（Henry Holt and Company，纽约，1890年）。 [42] Tuving，E。；汤姆森，D.M.，《情节记忆中的编码特异性和提取过程》，《心理学》。修订版，80352（1973）·doi:10.1037/h0020071 [43] 惠勒，M.E。；彼得森，S.E。；巴克纳，R.L.，《记忆的回声：生动的记忆会激活感觉特异性皮层》，Proc。国家。阿卡德。科学。美国，97，11125-11129（2000）·doi:10.1073/美国国家统计局.97.20.11125 [44] Kragel，J.E。；Y.Ezzyat。；斯珀林，M.R。；Gorniak，R。；沃雷尔，G.A。；贝里，B.M。；Inman，C。；Lin，J.-J。；Davis，K.A。；Das，S.R.，《神经活动的相似模式预测编码和检索期间的记忆功能》，《神经影像》，155，60-71（2017）·doi:10.1016/j.neuroimage.2017.03.042 [45] Nyberg，L。；哈比卜，R。；McIntosh，A.R。；Tuving，E.，记忆提取期间编码相关脑活动的再激活，Proc。国家。阿卡德。科学。美国，97，11120-11124（2000）·doi:10.1073/pnas.97.20.11120 [46] 杜泽尔，E。；哈比卜，R。；Rotte，M。；Guderian，S。；Tuving，E。；Heinze，H.-J.，空间和非空间刺激配置的视觉联想识别记忆过程中的人海马和海马旁活动，神经科学杂志。，23, 9439-9444 (2003) ·doi:10.1523/JNEUROSCI.23-28-09439.2003 [47] 卡德尔，P。；M.伯克。；Bien，S。；兰加纳思，C。；Rösler，F.，联想长期记忆提取过程中的内容特异性激活，神经影像，27805-816（2005）·doi:10.1016/j.neuroimage.2005.05.006 [48] 兰加纳思，C。；海勒，A。；科恩，M.X。；布罗津斯基，C.J。；Rissman，J.，《成功记忆形成过程中与海马体的功能联系》，《海马》，1997-1005年，第15期（2005年）·doi:10.1002/hipo.20141 [49] 伍德拉夫，C.C。；约翰逊，J.D。；Uncapher，M.R.（未切换器，M.R.）。；Rugg，M.D.，回忆的神经相关性的内容特异性，《神经心理学》，431022-1032（2005）·doi:10.1016/j.neurophychologia.2004.10.013 [50] Slotnick，S.D。；Schacter，D.L.，《早期视觉区域记忆相关活动的性质》，《神经心理学》，442874-2886（2006）·doi:10.1016/j.neurophychologia.2006.06.021 [51] 约翰逊，J.D。；Rugg，M.D.，《编码相关皮层活动的回忆和恢复》，Cereb。皮质，172507-2515（2007）·doi:10.1093/cercor/bhl156 [52] 戴安娜·R·A。；Yonelinas，A.P。；Ranganath，C.，上下文恢复期间海马旁皮层的激活预测项目回忆，《实验心理学杂志》。Gen.，1421287（2013）·doi:10.1037/a0034029 [53] 医学博士Rugg。；Vilberg，K.L.，《情景记忆提取背后的大脑网络》，Curr。操作。神经生物学。，23, 255-260 (2013) ·doi:10.1016/j.conb.2012.11.005 [54] 博世，S.E。；杰希，J.F。；费尔南德斯，G。；Doeller，C.F.，《海马体是早期视觉皮层联想记忆恢复的信号》，《神经科学杂志》。，3477493-7500（2014）·doi:10.1523/JNEUROSCI.0805-14.2014 [55] 阿弗雷莫维奇，V。；韦里切夫，N。；Rabinovich，M.I.，耗散系统振荡的随机同步，放射物理学。Q.电子。，29, 795-803 (1986) ·doi:10.1007/BF01034476 [56] 佩科拉，L.M。；卡罗尔，T.L.，《混沌系统中的同步》，《物理学》。修订稿。，64, 821-824 (1990) ·Zbl 0938.37019号 ·doi:10.1103/PhysRevLett.64.821 [57] Rulkov，N.F。；Sushchik，M.M。；尖岭，L.S。；Abarbanel，H.D.，定向耦合混沌系统中混沌的广义同步，物理学。E版，51980（1995）·doi:10.1103/PhysRevE.51.980 [58] Whitney，H.，可微流形，《数学年鉴》。，37, 645-680 (1936) ·JFM 62.1454.01标准 ·doi:10.2307/1968482 [59] Marvel，C.L。；Desmond，J.E.，《从存储到操作：言语工作记忆的神经关联如何反映对内部言语的不同需求》，《大脑语言》，第120期，第42-51页（2012年）·doi:10.1016/j.band.2011.08.005 [60] 佩罗内·贝托洛蒂，M。；拉宾，L。；Lachaux，J.-P。；巴基乌，M。；Loevenbruck，H.，我脑子里的小声音是什么？内在言语现象学，它在认知表现中的作用，以及它与自我监控、行为的关系。《大脑研究》，261220-239（2014）·doi:10.1016/j.bbr.2013.12.034 [61] 巴德利，A.D。；希奇，G.J。；鲍尔，G.A.，《学习和动机的最新进展》，《工作记忆》，8647-667（1974） [62] Morin，A。；Uttl，B。；汉珀，B.，《自我报告的频率、内容和内部言语的功能》，Proc。社会行为。科学。，1714-1718年（2011年）·doi:10.1016/j.sbspro.2011.10.331 [63] 威廉姆斯，D.M。；Bowler，D.M。；贾罗德，C.，在患有自闭症谱系障碍的智力高功能成年人中，内心语言用于调节短期记忆，但不用于计划，Dev.Psychopathl。，24, 225-239 (2012) ·网址：10.1017/S0954579411000794 [64] 奥尔德森日，B。；Fernyhough，C.，《内心言语：发展、认知功能、现象学和神经生物学》，《心理学》。公牛。，141, 931 (2015) ·doi:10.1037/bul0000021 [65] Scott，M.，推论放电提供了内心言语的感官内容，心理。科学。，24, 1824-1830 (2013) ·doi:10.1177/0956797613478614 [66] 亚的斯亚贝巴，D.R。；Wong，A.T。；沙克特，D.L.，《回忆过去和想象未来：事件构建和细化过程中常见和不同的神经基质》，《神经心理学》，451363-1377（2007）·doi:10.1016/j.neurophychologia.2006.10.016 [67] 科斯林，S.M。；Ganis，G。；汤普森，W.L.，《意象的神经基础》，《神经科学自然评论》。，2, 635 (2001) ·doi:10.1038/35090055 [68] 哈尔彭，A.R。；《当那首曲子在你脑海中回荡时：对熟悉旋律的听觉意象的宠物调查》，塞雷布。Cortex，9，697-704（1999）·doi:10.1093/cercor/9.7.697 [69] 巴克纳，R.L。；卡罗尔，D.C.，《自我投射与大脑》，《趋势认知》。科学。，11, 49-57 (2007) ·doi:10.1016/j.tics.2006.11.004 [70] 卢，Z。；Pathak，J。；亨特，B。；Girvan，M。；布罗科特，R。；Ott，E.，《水库观测者：混沌系统中未测量变量的无模型推断》，《混沌》，27，041102（2017）·doi:10.1063/1.4979665 [71] Pathak，J。；亨特，B。；Girvan，M。；卢，Z。；Ott，E.，《从数据对大型时空混沌系统进行无模型预测：水库计算方法》，Phys。修订稿。，120, 024102 (2018) ·doi:10.1103/PhysRevLett.120.024102 [72] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统。，2, 183-192 (1989) ·Zbl 0679.94019号 ·doi:10.1007/BF02551274文件 [73] Y.本吉奥。；李·D·H。；Bornschein，J。；梅斯纳德，T。；林，Z。 [74] 波特，医学硕士。；Onnela，J.-P。；Mucha，P.J.，《网络中的社区》，非。美国数学。Soc.，56，1082-1097（2009）·Zbl 1188.05142号 [75] Newman，M.E.J.，《网络中的模块化和社区结构》，Proc。国家。阿卡德。科学。美国，103，8577-8582（2006）·doi:10.1073/pnas.0601602103 [76] 布隆德尔，V.D。；纪尧姆，J.-L。；兰比奥特，R。；Lefebvre，E.，《大型网络中社区的快速发展》，J.Stat.Mech。，2008年，P10008（2008）·Zbl 1459.91130号 ·doi:10.1088/1742-5468/2008/10/P10008 [77] 克里希纳戈帕尔，S。；Girvan，M。；Ott，E。；Hunt，B.R.，《通过水库计算分离混沌信号》，《混沌》，3023123（2020）·数字对象标识代码：10.1063/1.5132766 [78] 卢，Z。；Kim，J.Z。；Bassett，D.S.，通过水箱监督混沌源分离，混沌，30，021101（2020）·Zbl 1432.94031号 ·doi:10.1063/1.5142462 [79] 莱克，B.M。；Salakhutdinov，R。；Tenenbaum，J.B.，通过概率程序归纳进行人类层面的概念学习，科学，3501332-1338（2015）·Zbl 1355.68230号 ·doi:10.1212/science.aab3050 [80] 巴塔利亚，P.W。；哈姆里克·J·B。；Tenenbaum，J.B.，《模拟作为物理场景理解引擎》，Proc。国家。阿卡德。科学。美国，11018327-18332（2013）·doi:10.1073/pnas.1306572110 [81] Tenenbaum，J.B。；坎普，C。；Griffiths，T.L。；N.D.古德曼，《如何培养思维：统计、结构和抽象》，《科学》，第331129-1285页（2011年）·Zbl 1226.68087号 ·doi:10.1126/science.1192788 [82] 查特，N。；M.奥克斯福德。；哈恩，美国。；海特，E.，贝叶斯认知模型，威利跨学科。科尼特反面。科学。，1811-823（2010年）·doi:10.1002/wcs.79 [83] Griffiths，T.L.、Kemp，C.和Tenenbaum，J.B.，“认知的贝叶斯模型”，《剑桥计算心理学手册》（2008）。 [84] 坎普，C。；Tenenbaum，J.B.，《结构形式的发现》，Proc。国家。阿卡德。科学。美国，105，10687-10692（2008）·doi:10.1073/pnas.0802631105 [85] Chater，N.、Tenenbaum，J.B.和Yuille，A.，“认知的概率模型：概念基础”，《趋势认知》。科学。10, 287-291 (2006). [86] Tenenbaum，J.B。；Griffiths，T.L。；Kemp，C.，归纳学习和推理的基于理论的贝叶斯模型，趋势认知。科学。，10, 309-318 (2006) ·doi:10.1016/j.tics.2006.05.009 [87] 南卡罗来纳州文卡塔拉马尼。；亨特，B.R。；Ott，E。；Gauthier，D.J。；Bienfang，J.C.，混沌系统向冒泡的过渡，物理学。修订稿。，77, 5361 (1996) ·doi:10.1103/PhysRevLett.77.5361 [88] 库兹涅佐夫，A。；库兹涅佐夫，S。；Stankevich，N.，一个简单的自治准周期自振子，Commun。非线性科学。数字。模拟。，15, 1676-1681 (2010) ·doi:10.1016/j.cnsns.2009.06.027 [89] Watts，D.J。；Strogatz，S.H.，“小世界”网络的集体动力学，《自然》，393440（1998）·Zbl 1368.05139号 ·doi:10.1038/30918 [90] S.F.Muldoon。；布里奇福德，E.W。；Bassett，D.S.，《小世界倾向和加权脑网络》，科学。代表，622057（2016）·doi:10.1038/srep22057 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。