×

用分布式类新皮质神经元网络解决约束满足问题。 (英语) Zbl 1472.68056号

总结:找到满足外部输入和内部表示施加的约束的操作是决策的核心。我们证明了一些重要的约束满足问题(CSP)可以通过由同质合作竞争模块组成的网络来解决,这些模块的连通性类似于在大脑皮层表层观察到的基序。winner-take-all模块通过编程神经元稀疏耦合,这些神经元将约束嵌入到其他同质模块计算基底上。我们展示了将CSP的平面四色图着色、最大独立集和数独的任何实例嵌入到该基底上的规则,并提供了数学证明,以确保这些图着色问题收敛到一个解。该网络由非饱和线性阈值神经元组成。它们缺乏正确的饱和度,使得整个网络能够探索由反复激励产生的不稳定动力学驱动的问题空间。探索的方向由约束神经元控制。虽然许多问题只能使用线性抑制约束来解决,但当这些负约束通过非线性乘法抑制来实现时,网络在硬问题上的性能将大大提高。总的来说,我们的结果证明了不稳定性而非稳定性在网络计算中的重要性,并提供了对神经电路中双重抑制机制的计算作用的见解。

MSC公司:

2006年第68季度 作为计算模型的网络和电路;电路复杂性
68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abbott,L.(1994)。解码神经元放电并建模神经网络。Q.生物物理学评论。,27, 291-331. ,
[2] Afek,Y.、Alon,N.、Barad,O.、Hornstein,E.、Barkai,N.和Bar-Joseph,Z.(2011年)。一个基本分布式计算问题的生物解决方案。科学,331(6014),183-185·Zbl 1226.92001号
[3] 阿弗雷莫维奇,V.S.、拉比诺维奇,M.I.和瓦罗纳,P.(2004)。神经系统集成中的异宿轮廓和无赢家竞争原理。国际分叉与混沌杂志,14(4),1195-1208·1099.37518兹比尔
[4] Appel,K.、Haken,W.和Koch,J.(1977年)。每个平面图都是四色的。伊利诺伊州数学杂志,21429-567·兹伯利0387.05010
[5] Bar-Ilan,L.、Gidon,A.和Segev,I.(2013年)。树突状抑制在形成兴奋性突触可塑性中的作用。前面。神经电路,6,
[6] Ben-Yishai,R.、Bar-Or,R.L.和Sompolinsky,H.(1995)。视觉皮层方向调节理论。美国国家科学院院刊,92(9),3844-3848,
[7] Binzegger,T.、Douglas,R.J.和Martin,K.(2004)。猫初级视觉皮层回路的定量图。《神经科学杂志》,24(39),8441-8453,
[8] Blomfield,S.(1974)。神经细胞进行的算术运算。大脑研究,69(1),115-124,
[9] Borg-Graham,L.J.、Monier,C.和Fregnac,Y.(1998年)。视觉输入在视觉皮层神经元中引起短暂和强烈的分流抑制。《自然》,393(6683),369,
[10] Brunel,N.、Hakim,V.和Richardson,M.J.(2014)。单神经元动力学和计算。神经生物学最新观点,25149-155,
[11] Carandini,M.和Heeger,D.J.(2012年)。规范化作为标准神经计算。神经科学自然评论。,13(1), 51-62. ,
[12] 大研,P.(2008)。复杂认知的简单基础。神经科学前沿,2(2),255,
[13] Dayan,P.,&Abbott,L.(2001)。理论神经科学。马萨诸塞州剑桥:麻省理工学院出版社·Zbl 1051.92010年
[14] Douglas,R.J.、Koch,C.、Mahowald,M.和Martin,K.(1999)。新皮质回路中反复兴奋的作用。P.Ulinski(编辑),皮层电路模型(第251-282页)。纽约:斯普林格,
[15] Douglas,R.J.和Martin,K.(1991年)。一种用于猫视觉皮层的功能性微电路。生理学杂志,440(1),735-769,
[16] Douglas,R.J.和Martin,K.(2004)。新皮质的神经回路。每年。神经科学评论。,第2449-451页,
[17] Douglas,R.J.和Martin,K.(2007年)。新皮质中的复发神经回路。货币。生物,17(13),R496-R500,
[18] Douglas,R.J.、Martin,K.和Whitteridge,D.(1989)。新皮质的典型微电路。神经计算,1(4),480-488,
[19] Douglas,R.J.、Martin,K.和Whitteridge,D.(1991)。猫视觉皮层神经元视觉反应的细胞内分析。《生理学杂志》。,440(1), 659-696. ,
[20] El-Boustani,S.和Sur,M.(2014年)。体内皮层网络中细胞特异性抑制的反应依赖性动力学。国家公社。,5. ,
[21] Ercsey-Ravasz,M.和Toroczkai,Z.(2012年)。数独游戏中的混乱。科学报告,2,
[22] Ermentrout,B.(1992年)。赢家通吃神经网络中具有缓慢抑制的复杂动力学。神经网络,5(3),415-431,
[23] Feldman,R.和Taqqu,M.(1998年)。重尾实用指南:统计技术与应用。纽约:Springer Science&Business Media·Zbl 0901.00010号
[24] Ferster,D.、Chung,S.和Wheat,H.S.(1996年)。猫视觉皮层丘脑输入的方向选择性。自然,380,249-252,
[25] Gidon,A.和Segev,I.(2012年)。支配树突中突触抑制操作的原理。神经元,75(2),330-341,
[26] Gleich,D.F.(2009)。pagerank敏感性的模型和算法。博士学位。,斯坦福大学。
[27] Gomes,C.P.、Selman,B.、Crato,N.和Kautz,H.(2000)。可满足性和约束满足问题中的重尾现象。自动推理杂志,24(1-2),67-100·Zbl 0967.68145号
[28] Habenschuss,S.、Jonke,Z.和Maas,W.(2013)。皮层微电路模型中的随机计算。公共科学图书馆计算。生物,9,e1003311,
[29] Hahnlosser,R.、Douglas,R.J.、Mahowald,M.和Hepp,K.(1999)。神经元指针和注意力处理图之间的反馈相互作用。自然神经科学。,2(8), 746-752. ,
[30] Hahnlose,R.、Sarpeshkar,R.,Mahowald,M.、Douglas,R.J.和Seung,H.S.(2000年)。数字选择和模拟放大共存于皮质酮激励的硅电路中。《自然》,405(6789),947-951,
[31] Heeger,D.J.(2017)。皮层功能理论。国家科学院院刊,1141773-1782·Zbl 1404.92014年
[32] 霍普菲尔德,J.(1982)。具有涌现集体计算能力的神经网络和物理系统。美国国家科学院院刊,79,2554-2558·Zbl 1369.92007号
[33] Hopfield,J.和Tank,D.W.(1985)。优化问题中决策的神经计算。生物控制论,52(3),141-152·Zbl 0572.68041号
[34] Horn,R.(1985年)。矩阵分析。剑桥:剑桥大学出版社·Zbl 0576.15001号
[35] Indiveri,G.、Chicca,E.和Douglas,R.J.(2009年)。人工认知系统:从尖峰神经元的VLSI网络到神经形态认知。认知计算,1(2),119-127,
[36] Isaacson,J.和Scanziani,M.(2011年)。抑制如何形成皮层活动。神经元,72(2),231-243,
[37] Jiang,X.、Wang,G.、Lee,A.J.、Stornetta,R.L.和Zhu,J.J.(2013)。两个新的皮层神经元间回路的组织。《自然神经科学》,16(2),210-218,
[38] Jonke,Z.、Habenschuss,S.和Maass,W.(2016)。用尖峰神经元网络解决约束满足问题。前面。神经科学。,30
[39] Kamiñski,J.、Sullivan,S.、Chung,J.M.、Ross,I.B.、Mamelak,A.N.和Rutishauser,U.(2017年)。人类内侧额叶和内侧颞叶持续活跃的神经元支持工作记忆。《自然神经科学》,201189,
[40] Karp,R.M.(1972)。组合问题之间的约简性。R.E.Miller和J.W.Thatcher(编辑),《计算机计算的复杂性》(第85-103页)。纽约:Plenum出版社·Zbl 1467.68065号
[41] Koch,C.(1998年)。计算生物物理学:单个神经元的信息处理。纽约:牛津大学出版社。
[42] Koch,C.、Poggio,T.和Torre,V.(1983年)。树状树中的非线性相互作用:定位、时间和信息处理中的作用。美国国家科学院院刊,80(9),2799-2802,
[43] Koechlin,E.和Summerfield,C.(2007年)。前额叶执行功能的信息理论方法。认知科学趋势,11(6),229-235,
[44] Kumar,V.(1992年)。约束满足问题的算法:综述。AI杂志,13(1),32。
[45] LeCun,Y.、Bengio,Y.和Hinton,G.(2015)。深度学习。《自然》,521(7553),436-444,
[46] Lee,W.C.A.、Bonin,V.、Reed,M.、Graham,B.J.、Hood,G.、Glattfelder,K.和Reid,R.C.(2016)。视觉皮层中兴奋网络的解剖和功能。《自然》,532(7599),370-374,
[47] Li,Y.-T.,Ibrahim,L.A.,Liu,B.h.,Zhang,L.I.,&Tao,h.W.(2013)。丘脑皮层输入的皮层内兴奋线性转换。自然神经科学。,16(9), 1324-1330. ,
[48] Lien,A.D.和Scanziani,M.(2013)。丘脑调谐兴奋被视觉皮层电路放大。自然神经科学。,16(9), 1315-1323. ,
[49] Liu,S.-C.、Delbruck,T.、Indiveri,G.、Whatley,A.和Douglas,R.J.(2015)。基于事件的神经形态系统。新泽西州霍博肯:威利,
[50] Lohmiller,W.和Slotine,J.(2000)。使用收缩理论的非线性过程控制。AIChE杂志,46(3),588-596·Zbl 0973.93020号
[51] Lynch,N.A.(1996年)。分布式算法。加利福尼亚州圣马特奥:Morgan Kaufmann·Zbl 0877.68061号
[52] Maas,A.L.、Hannun,A.Y.和Ng,A.Y.(2013)。整流器非线性改善了神经网络声学模型。第30届机器学习国际会议论文集。
[53] Maass,W.(2000年)。关于赢者通吃的计算能力。神经计算,122519-2536,
[54] McClelland,J.L.、Mirman,D.、Bolger,D.J.和Khaitan,P.(2014)。感知和认知中的互动激活和相互约束满足。认知科学,38(6),1139-1189,
[55] 梅罗拉,P.A.、亚瑟,J.V.、阿尔瓦雷兹·伊卡扎,R.、卡西迪,A.S.、萨瓦达,J.、阿科皮扬,F.……等人,莫德,D.S.(2014)。具有可扩展通信网络和接口的一百万个脉冲神经元集成电路。科学,345(6197),668-673,
[56] Mezard,M.和Mora,T.(2009年)。约束满足问题和神经网络:统计物理的观点。巴黎生理学杂志,103(1),107-113,
[57] Miller,D.A.和Zucker,S.W.(1992年)。非对称模拟网络平衡的高效单纯形方法。神经计算,4(2),167-190,
[58] Miller,D.A.和Zucker,S.W.(1999)。自激团计算:一种模型及其在视觉皮层超精细计算中的应用。神经计算,11(1),21-66,
[59] Mostafa,H.、Müller,L.K.和Indiveri,G.(2013)。求解约束满足问题的耦合winner-take-all振荡器的递归网络。C.J.C.Burgess、L.Bottou、M.Welling、Z.Ghahramani和K.Q.Weinberger(编辑),《神经信息处理系统的进展》,26(第719-727页)。纽约州红钩市:Curran。
[60] Nair,V.和Hinton,G.E.(2010年)。校正的线性单元改进了受限的Boltzmann机器。在第27届国际机器学习会议论文集(第807-814页)。威斯康星州麦迪逊:无所不在。
[61] Neftci,E.、Binas,J.、Rutishauser,U.、Chicca,E.、Indiveri,G.和Douglas,R.J.(2013)。神经形态电子系统中的综合认知。《美国国家科学院院刊》,110(37),E3468-E3476,
[62] Neftci,E.、Chicca,E.、Indiveri,G.和Douglas,R.J.(2011年)。一种配置脉冲神经元VLSI网络的系统方法。神经计算,23(10),2457-2497·Zbl 1231.92009年
[63] Niemeyer,G.和Slotine,J.(1997)。打开未知门的简单策略。1997年IEEE机器人与自动化国际会议论文集(第2卷,第1448-1453页)。新泽西州皮斯卡塔韦:IEEE,
[64] Pi,H.J.、Hangya,B.、Kvitsiani,D.、Sanders,J.I.、Huang,Z.J.和Kepecs,A.(2013)。专门进行去抑制控制的皮层中间神经元。《自然》,503(7477),521-524,
[65] Euler项目。(2015). https://projecteuler.net/problem=96。
[66] Qiao,N.、Mostafa,H.、Corradi,F.、Osswald,M.、Stefanini,F.、Sumislawska,D.和Indiveri,G.(2015)。一种可重构的在线学习尖峰神经形态处理器,由256个神经元和128k个突触组成。神经科学前沿,
[67] Robertson,N.、Sanders,D.P.、Seymour,P.和Thomas,R.(1996年)。高效的四着色平面图。第二十八届美国计算机学会计算理论研讨会论文集(第571-575页)。纽约:ACM·Zbl 0917.05030号
[68] Rodger,S.和Finley,T.(2006年)。Jflap—一种交互式形式语言和自动机包。马萨诸塞州萨德伯里:琼斯和巴特利特·Zbl 1230.68010号
[69] Rosenfeld,A.、Hummel,R.A.和Zucker,S.W.(1976年)。通过放松操作标记场景。IEEE系统、人与控制论汇刊,6(6),420-433·Zbl 0335.68070号
[70] Rosenhouse,J.和Taalman,L.(2011年)。认真对待数独:世界上最流行的铅笔谜背后的数学。纽约:牛津大学出版社·Zbl 1239.00014号
[71] Rudy,B.、Fishell,G.、Lee,S.和Hjerling-Leffler,J.(2011年)。三组中间神经元占近100个
[72] Russell,S.J.和Norvig,P.(2010年)。《人工智能:现代方法》(国际版),(第三版)。新泽西州上马鞍河:普伦蒂斯·霍尔·Zbl 0835.68093号
[73] Rutishauser,U.和Douglas,R.J.(2009)。使用耦合递归网络进行状态相关计算。神经计算,21(2),478-509·Zbl 1178.68460号
[74] Rutishauser,U.、Douglas,R.J.和Slotine,J.(2011年)。winner-take-all电路网络的集体稳定性。神经计算,23(3),735-773·Zbl 1208.92015年9月
[75] Rutishauser,U.、Slotine,J.和Douglas,R.J.(2012)。通过选择性抑制同步进行竞争。神经计算,24(8),2033-2052,
[76] Rutishauser,U.、Slotine,J.和Douglas,R.J.(2015)。动态有界非对称系统中的计算。公共科学图书馆计算。生物学,11(1),
[77] Siek,J.G.、Lee,L.Q.和Lumsdaine,A.(2002年)。Boost图形库:用户指南和参考手册。马萨诸塞州波士顿:Addison-Wesley Longman。
[78] Slotine,J.(2003年)。用于分布式计算和控制的模块化稳定性工具。国际自适应控制和信号处理杂志,17,397-416·Zbl 1044.93004号
[79] Stuart,G.J.和Spruston,N.(2015年)。树突状融合:60年的进步。《自然神经科学》,18(12),1713-1721,
[80] Tran-Van-Minh,A.、Cazé,R.D.、Abrahamsson,T.、Cathala,L.、Gutkin,B.S.和DiGregorio,D.A.(2015)。次线性和超线性树突积分对神经元计算的贡献。前面。单元格。神经科学。,9. ,
[81] Wang,C.J.和Tsang,E.P.(1991年)。使用神经网络解决约束满足问题。《第二届人工神经网络国际会议论文集》(第295-299页)。伦敦:工程技术学院。
[82] Wang,W.和Slotine,J.(2006)。使用神经振荡器进行快速计算。神经计算,69(16),2320-2326,
[83] Wersing,H.、Steil,J.J.和Ritter,H.(2001年)。用于特征绑定和感官分割的竞争层模型。神经计算,13(2),357-387·Zbl 0973.68203号
[84] Wu,Q.,&Hao,J.-K.(2015)。最大团问题算法综述。欧洲运筹学杂志,242(3),693-709·兹比尔1341.05241
[85] Yuille,A.和Geiger,D.(2003年)。赢家通吃网络。M.Arbib(编辑),《大脑理论和神经网络手册》(第1228-1231页)。马萨诸塞州剑桥:麻省理工学院出版社。
[86] Zhang,D.,Li,Y.,Rasch,M.J.,&Wu,S.(2013)。神经元和网络模型中的非线性乘法树突集成。前面。计算。神经科学。,7. ,
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。