罗伯特·J·科尔文。 使用混合过程代数对神经网络进行建模和分析。 （英语） Zbl 1336.92005号 西奥。计算。科学。 623, 15-64 (2016). 摘要：涉及人工神经网络的研究趋向于高效计算，特别是在模式识别领域，或者倾向于阐明大脑中的生物过程。随着我们对大脑生物学的理解不断加深，模型变得更加详细，其中包括了单个神经元在复杂系统结构和动力学中相互作用的实时行为。生物似然神经网络的抽象和完全形式化模型的例子很少：在神经网络中，文献模型通常是数学方程和自然语言的混合物，由模拟代码和相关实验结果支持。非正式性往往隐藏或模糊了特定模型的重要方面，并在模型描述和用于模拟它们的通常低级编程代码之间留下了很大的概念差距。本文的主要贡献是从展示复杂神经级行为和网络级结构的文献中，对一个生物学上合理的神经网络模型进行了形式化建模和分析。为了实现这一点，基于过程代数CSP和（mathrm）开发了一种建模语言“Pann”{混合}_{\chi}\）。它的设计便于将离散事件（如神经元尖峰）的行为与可变的连续和离散变量（例如，代表神经元的化学性质）混合。它的行为是使用操作语义定义的，从中可以证明语言的一组通用属性。生物模型的基础是通过首先形式化人工神经网络领域的一些著名概念，如前馈行为、反向传播和递归神经网络。由代表单个神经元的一组通信过程组成的前馈网络的Pann模型被证明等效于前馈行为的标准单线计算。 MSC公司： 92B20型 生物研究、人工生命和相关主题中的神经网络 68问题85 并发和分布式计算的模型和方法（进程代数、互模拟、转换网等） 关键词：神经网络;进程代数;混合系统 软件：生物-PEPA;政治公众人物协议;莫德;PHAVer公司;高超声速;Z轴 PDF格式BibTeX公司 XML格式引用 \文本｛R.J.Colvin｝，Theor。计算。科学。623、15--64（2016年；Zbl 1336.92005） 全文： 内政部 参考文献： [1] McCulloch，W。；Pitts，W.，《神经活动内在思想的逻辑演算》，布尔。数学。生物物理学。，5, 115-133 (1943) ·Zbl 0063.03860号 [2] Rosenblatt，F.，《感知器：大脑中信息存储和组织的概率模型》，《心理学》。修订版，65386-408（1958） [3] 伊日凯维奇，E。；加利，J。；Edelman，G.，神经元群的尖峰时间动力学，Cereb。Cortex，14933-944（2004） [4] 蒙吉洛，G。；O.巴拉克。；Tsodyks，M.，工作记忆的突触理论，《科学》，3191543-1546（2008） [5] Natschläger，T。；Maass，W.，《尖峰神经元和有限状态机的诱导》，Theoret。计算。科学。，287, 251-265 (2002) ·Zbl 1061.92023号 [6] Maass，W。；Markram，H.，《关于尖峰神经元回路的计算能力》，J.Compute。系统科学。，69, 593-616 (2004) ·Zbl 1076.68062号 [7] Ionescu，M。；普昂，G。；Yokomori，T.，Spiking neural P systems，基金。通知。，71, 279-308 (2006) ·Zbl 1110.68043号 [8] Izhikevich，E.M.，《多时化：尖峰计算》，神经计算。，18, 245-282 (2006) ·Zbl 1090.92006年 [9] Hoare，C.A.R.，《通信顺序过程》（1985），Prentice-Hall公司：Prentice-Hall公司，美国新泽西州上鞍河·Zbl 0637.68007号 [10] Milner，R.，《通信系统微积分》（1982），Springer-Verlag公司：纽约Springer-Verlag公司 [11] Bergstra，J.A。；Klop，J.W.，同步通信的进程代数，Inf.Control，60，109-137（1984）·Zbl 0597.68027号 [12] van Beek，D.A。；曼，K.L。；Reniers，医学硕士。；Rooda，J.E。；Schiffellers，R.R.H.，《Hybrid（χ）的语法和一致方程语义》，J.Log。阿尔盖布。程序。，68, 129-210 (2006) ·Zbl 1088.68111号 [13] Plotkin，G.D.，《操作语义的结构方法》（1981），奥胡斯大学计算机科学系，技术报告DAIMI FN-19 [14] 丙酮，L。；福克金，W。；Verhoef，C.，《结构操作语义学》（Bergstra，J.；Ponse，A.；Smolka，S.，《过程代数手册》（2001），Elsevier Science:Elsevior Science Amsterdam），197-292·Zbl 1062.68074号 [15] Jones，C.B.，通过操作语义理解编程语言概念，（George，C.；Liu，Z。；Woodcock，J.，领域建模和持续时间微积分，国际培训学校，高级讲座。领域建模和持续时间微积分，国际培训学校，高级讲座，计算机科学讲稿，第4710卷（2007），Springer），177-235·Zbl 1145.68374号 [16] 科尔文，R。；Hayes，I.J.，《具有层次状态的CSP》，（Leuschel，M.；Wehrheim，H.，《综合形式方法》，综合形式方法，IFM 2009。综合形式方法。综合形式方法，IFM 2009，计算机科学讲义，第5423卷（2009），Springer），118-135·Zbl 1211.68266号 [17] 科尔文·R·J。；Hayes，I.J.，《通过上下文相关行为实现结构操作语义》，J.Log。阿尔盖布。程序。，80, 392-426 (2011) ·Zbl 1223.68026号 [18] 费希尔，J。；Henzinger，T.A.，《可执行细胞生物学》，《国家生物技术》。，1239-1249年12月25日（2007年） [19] 霍奇金。；Huxley，A.，《膜电流的定量描述及其在神经传导和兴奋中的应用》，《生理学杂志》。，117, 500-544 (1952) [20] Bishop，C.，《模式识别的神经网络》（1995），牛津大学出版社 [21] Fiesler，E。；Beale，R.，《神经计算手册》（1996），牛津大学出版社·Zbl 0888.68099号 [22] 斯皮维，J.M.，《Z符号：参考手册》（1992），普伦蒂斯·霍尔·Zbl 0777.68003号 [23] Rumelhart，D。；辛顿，G。；Williams，R.，《通过反向传播错误学习表征》，《自然》，323533-536（1986）·Zbl 1369.68284号 [24] 科尔文，R.J。；Hayes，I.J.，《使用CSP和规范命令的行为树语义》，科学。计算。程序。，76, 891-914 (2011) ·Zbl 1220.68050号 [25] Elman，J.L.，《发现时间中的结构》，Cogn。科学。，14, 179-211 (1990) [26] Bodén，M.，《递归神经网络和反向传播指南》（2002），达拉斯项目，SICS技术报告 [27] 阿鲁尔（Alur，R.）。；Dill，D.L.，《时间自动机理论》，Theoret。计算。科学。，126, 183-235 (1994) ·Zbl 0803.68071号 [28] Bengtsson，J。；Yi，W.，《时间自动机：语义、算法和工具》，（Desel，J.；Reisig，W.；Rozenberg，G.，《并发与Petri网讲座》，《并发和Petri网演讲》，《计算机科学讲稿》，第3098卷（2004），Springer），第87-124页·Zbl 1088.68119号 [29] Izhikevich，E.，尖峰神经元的简单模型，IEEE Trans。神经网络。，1569-1572年（2003年） [30] Izhikevich，E.，皮层尖峰神经元使用哪种模型？，IEEE传输。神经网络。，15, 1063-1070 (2004) [31] 宋，S。；Miller，K。；Abbott，L.，《通过尖峰时间依赖性突触可塑性进行竞争性希伯来学习》，《国家神经科学》。，3, 919-926 (2000) [32] Markram，H。；Wang，Y。；Tsodyks，M.，通过新皮质锥体神经元的同一轴突的差异信号，Proc。美国国家科学院。科学。，95, 5323-5328 (1998) [33] Izhikevich，E.M.，通过STDP和多巴胺信号的链接解决远端奖赏问题，Cereb。Cortex，17，2443-2452（2007） [34] Roscoe，A.，《并行理论与实践》（1998），普伦蒂斯·霍尔 [35] Schneider，S.，定时CSP的操作语义，Inform。和计算。，116, 193-213 (1995) ·兹伯利0827.68069 [36] 米尔纳，R。；帕罗，J。；Walker，D.，移动过程的模态逻辑，Theoret。计算。科学。，114, 149-171 (1993) ·Zbl 0778.68033号 [37] Plotkin，G.，Call-by-name，Call-by-value和\（λ\）-演算，理论。计算。科学。，1, 125-159 (1975) ·Zbl 0325.68006号 [38] Plotkin，G.D.，《操作语义的结构方法》，J.Log。阿尔盖布。程序。，60-61, 17-139 (2004) ·Zbl 1082.68062号 [39] 布鲁克斯，S。；Roscoe，A.，通信过程的改进故障模型，（Brookes，S.；Roscoe，A.；Winskel，G.，并发研讨会。并发研讨会，计算机科学讲义，第197卷（1985），施普林格：施普林格-柏林/海德堡），281-305·Zbl 0565.68023号 [40] 轩尼诗，M。；Milner，R.，《关于观察不确定性和并发性》，（de Bakker，J.；van Leeuwen，J.，《自动机，语言和编程》，《自动化，语言和程序设计，计算机科学讲义》，第85卷（1980年），Springer:Springer Berlin/Heidelberg），299-309·Zbl 0441.68018号 [41] Milner，R.，《沟通与并发》（1989），普伦蒂斯·霍尔·Zbl 0683.68008号 [42] van Glabbeek，R.，《线性时间分支时间谱I》，（Bergstra，J.；Ponse，A.；Smolka，S.，《过程代数手册》（2001），北荷兰），3-99·Zbl 1035.68073号 [43] Engelfriet，J.，《确定性》→ （观测等效=迹等效），定理。计算。科学。，36, 21-25 (1985) ·Zbl 0571.68018号 [44] 科尔蒂尔，V。；Delaune，S.，《证明观测等效性的方法》，（计算机安全基础研讨会（CSF 2009）（2009），IEEE），266-276 [45] Morgan，C.，《规范编程》（1994），普伦蒂斯·霍尔·Zbl 0829.68083号 [46] Back，R.J。；冯·赖特，J.，《精化微积分：系统介绍》（1998），施普林格-弗拉格出版社·Zbl 0949.68094号 [47] Simone，R.D.，Meije-SCCS中的高级同步装置，Theoret。计算。科学。，37, 245-267 (1985) ·Zbl 0598.68027号 [48] 穆萨维，M.R。；Reniers，医学硕士。；Groote，J.F.，SOS格式和元理论：20年后，Theoret。计算。科学。，373, 238-272 (2007) ·Zbl 1111.68069号 [49] Bloom，B.，《弱互模拟的结构操作语义》，Theoret。计算。科学。，146, 25-68 (1995) ·Zbl 0873.68130号 [50] 乌利多夫斯基，I。；Phillips，I.，有序SOS规则与沉默行为的格式，（Bidoit，M.；Dauchet，M.，TAPSOFT’97：软件开发的理论与实践。TAPSOFT'97：软件发展的理论与实务，计算机科学讲义，第1214卷（1997），Springer:Springer Berlin/Heidelberg），297-308 [51] van Glabbeek，R.，《关于弱互模拟的冷同余格式》，（van Hung，D.；Wirsing，M.，《计算的理论方面》，计算理论方面，ICTAC 2005年。计算的理论方面。计算的理论方面，ICTAC 2005，计算机科学讲义，第3722卷（2005），施普林格：施普林格柏林/海德堡），318-333·Zbl 1169.68557号 [52] 布鲁姆，B。；Istrail，S。；Meyer，A.R.，《无法追踪双刺激》，美国医学会杂志，42232-268（1995）·Zbl 0886.68027号 [53] Groote，J.F。；Vaandrager，F.，结构化操作语义和互模拟作为同余，Inform。和计算。，100, 202-260 (1992) ·Zbl 0752.68053号 [54] 尼克林，X。；Sifakis，J.，《时间过程代数的概述与综合》，（Larsen，K.G.；Skou，A.，《计算机辅助验证》，计算机辅助验证，CAV.《计算机辅助检验》，CAV，《计算机科学讲义》，第575卷（1992），Springer），376-398 [55] Mosses，P.D.，《模块化结构操作语义》，J.Log。阿尔盖布。程序。，60-61, 195-228 (2004) ·兹比尔1072.68061 [56] Höfner，P。；Möller，B.，《混合系统代数》，J.Log。阿尔盖布。程序。，78, 74-97 (2009) ·Zbl 1161.68032号 [57] Jones，C.B.，《使用VDM的系统软件开发》（1990），普伦蒂斯·霍尔出版社·Zbl 0743.68048号 [58] Borst，J.G.G。；Soria van Hoeve，J.，《保持突触的花萼：从模型突触到听觉接力》，《年度》。生理学评论。，74、199-224（2012），PMID:22035348 [59] Braciali，A。；布鲁内利，M。；Cataldo，E。；Degano，P.，《突触作为随机并发系统》，理论。计算。科学。，408，66-82（2008年）·Zbl 1155.92007年 [60] Klimesch，W.，《脑电图α和θ振荡反映认知和记忆性能：回顾和分析》，《大脑研究评论》，29，169-195（1999） [61] Bernot，G。；彗星，J.-P。；A.理查德。；Guespin，J.，《形式化方法在生物调控网络中的应用：用时序逻辑扩展托马斯的异步逻辑方法》，J.Theoret。《生物学》，229339-347（2004）·Zbl 1440.92036号 [62] Cardelli，L.，《系统生物学的抽象机器》，（Priami，C.；Merelli，E.；Gonzalez，P.；Omicini，A.，《计算系统生物学学报》，第三期《计算系统生物学报》，计算机科学讲义，第3737卷（2005），Springer:Springer Berlin/Heidelberg），145-168·Zbl 1151.92307号 [63] Calzone，L。；北卡罗来纳州查布里埃尔·里维尔。；Fages，F。；Soliman，S.，从时间逻辑属性的机器学习生物化学网络，（Priami，C.；Plotkin，G.，计算系统生物学汇刊VI。计算系统生物学汇刊VI，计算机科学讲义，第4220卷（2006），施普林格：施普林格-柏林/海德堡），68-94·Zbl 1136.92301号 [64] 西奥切塔，F。；Hillston，J.，《生物-PEPA：生物系统建模和分析框架》，理论。计算。科学。，410, 3065-3084 (2009) ·Zbl 1173.68041号 [65] Barbuti，R。；Maggiolo-Schettini，A。；Milazzo，P。；Tini，S.，《膜计算中的操作语义概述》，国际。J.发现。计算。科学。，22, 119-131 (2011) ·Zbl 1213.68357号 [66] 库格勒，H。；Larjo，A。；Harel，D.，《生物图表：复杂生物系统的视觉形式主义》，J.R.Soc.Interface，71015-1024（2010） [67] Degano，P。；Braccali，A.，《过程计算、系统生物学和人工化学》（《自然计算手册》（2012）），1863-1896年 [68] 唐纳森，R。；Calder，M.，《信号通路及其串扰的模块化建模》，Theoret。计算。科学。，456, 30-50 (2012) ·Zbl 1250.92014年 [69] 卢克瑟纳斯，R。；Back，J。；Curzon，P。；布兰德福德，A.，《显著性和认知负荷的验证引导模型》，《美国心理学杂志》。计算。，21, 541-569 (2009) ·Zbl 1186.68300号 [70] 苏·L。；鲍曼，H。；巴纳德，P。；Wyble，B.，交互系统中注意力捕获和人类电生理的过程代数建模，Form.Asp。计算。，21, 513-539 (2009) ·Zbl 1186.68323号 [71] Smith，L.，《神经网络规范框架》，IEEE Trans。柔和。工程师，18，601-612（1992） [72] 扎哈拉基斯，I.D。；Kameas，A.D.，建模尖峰神经网络，理论。计算。科学。，395, 57-76 (2008) ·Zbl 1145.68044号 [73] Senyard，A。；Kazmierczak，E。；Sterling，L.，《神经网络的软件工程方法》，（第十届亚太软件工程会议，2003（2003），IEEE），468-477 [74] 马查多，P.D.D.L。；Meira，S.L.，《关于在人工神经网络的设计和模拟中使用形式规范》，（Bowen，J.；Hinchey，M.，ZUM'95:Z形式规范符号。ZUM'95：Z形式规范注释，计算机科学讲义，第967卷（1995），Springer:Springer Berlin/Heidelberg），63-82 [75] 多夫纳，G。；Wiklicky，H。；Prem，E.，形式神经网络规范及其对标准化的影响，计算机。站立。接口，20，333-347（1999） [76] Fiesler，E.，神经网络分类和形式化，计算。站立。接口，16，231-239（1994） [77] Börger，E。；Sona，D.，《神经抽象机》，J.Univers。计算。科学。，7, 1006-1023 (2001) [78] Börger，E。；Stärk，R.F.，抽象状态机。《高级系统设计与分析方法》（2003），Springer·兹比尔1040.68042 [79] Barbuti，R。；Maggiolo-Schettini，A。；Milazzo，P。；Tini，S.，尖峰神经P系统的合成语义，J.Log。阿尔盖布。程序。，79, 304-316 (2010) ·Zbl 1208.68123号 [80] Milner，R.，《通信和移动系统：（π）-微积分》（1999），剑桥大学出版社·Zbl 0942.68002号 [81] Henzinger，T.A.，《混合自动机理论》（Inan，M.K.；Kurshan，R.P.，《数字和混合系统的验证》，《数字与混合系统验证》，北约ASI系列，第170卷（2000年），施普林格：施普林格柏林/海德堡），265-292·Zbl 0959.68073号 [82] Henzinger，T.A。；Ho，P.-H。；Wong-Toi，H.，HyTech:混合系统的模型检查器，（Grumberg，O.，计算机辅助验证。计算机辅助验证，CAV.计算机辅助验证·Zbl 1060.68603号 [83] Frehse，G.，PHAVer:HyTech过去混合系统的算法验证，（Morari，M.；Thiele，L.，hybrid systems:Computation and Control。hybrid-systems:计算与控制，计算机科学讲义，第3414卷（2005），Springer:Springer Berlin/Heidelberg），258-273·Zbl 1078.93533号 [84] Bergstra，J。；Middelburg，C.，混合系统的过程代数，Theoret。计算。科学。，335, 215-280 (2005) ·Zbl 1080.68073号 [85] Cuijpers，P。；Reniers，M.，《混合过程代数》，J.Log。阿尔盖布。程序。，62, 191-245 (2005) ·Zbl 1090.68071号 [86] 穆萨维，M.R。；Reniers，医学硕士。；Groote，J.F.，《SOS与数据的互模拟和同余格式的概念》，Inform。和计算。，200, 107-147 (2005) ·Zbl 1082.68075号 [87] Gebler，D。；戈里亚克，E.-I。；穆萨维，M.R.，《数据处理的代数元理论》（BorgströM，J。；Luttik，B.，《第20届并发表达性国际研讨会和第10届结构化操作语义学研讨会论文集》。论文集第20届并发表达性国际研讨会和第10届结构操作语义学研讨会，《理论计算机科学电子论文集》，第120卷（2013年），开放出版协会，63-77·Zbl 1464.68244号 [88] 墨菲，M。；Reid，K。；希尔顿。；Bartlett，P.，白血病抑制因子刺激感觉神经元的生成，Proc。美国国家科学院。科学。，88, 3498-3501 (1991) [89] Jifeng，H.，《从CSP到混合系统》（Roscoe，A.W.，《经典思维：C.A.R.Hoare的论文》（1994），普伦蒂斯·霍尔国际（英国）有限公司：普伦蒂斯霍尔国际（英格兰）有限公司，英国赫特福德郡），171-189 [90] 艾蒙，J。；Wiles，J。；Gage，F.，成人神经发生对记忆编码的计算影响，《神经元》，61187（2009） [91] Buonamano，D。；Merzenich，M.，具有现实属性的神经网络将时间信息转换为空间代码，科学，2671028-1030（1995） [92] 马特尔，M。；Meck，W.，《皮层-稳定回路和间隔时间：振荡过程的符合检测》，Cogn。《大脑研究》，21，139-170（2004） [93] 安德森，J。；Bothell，D。；拜恩，M。；道格拉斯，S。；Lebiere，C。；秦瑜，《心理综合理论》。修订版，1111036（2004） [94] 桑德斯，J。；Smith，G.，《涌现与精炼》（Emergence and exterification），《形式阿斯伯格》（Form.Asp.）。计算。，24, 45-65 (2012) ·Zbl 1242.68170号 [95] Stepney，S。；波拉克，F。；Turner，H.，工程涌现，（第11届IEEE复杂计算机系统工程国际会议。第11届IEEE复杂计算机系统工程国际会议，ICECCS 2006（2006）），89-97 [96] 西奥切塔，F。；A.杜吉德。；吉尔摩，S。；M.格雷罗。；Hillston，J.，《生物-PEPA工具套件》（The Bio-PEPA tool suite），（系统定量评估（QEST）（2009）），309-310 [97] Clavel，M。；杜兰，F。；艾克，S。；林肯，P。；Marti-Oliet，N。；梅塞盖尔，J。；Quesada，J.F.，Maude:重写逻辑中的规范和编程，Theoret。计算。科学。，285, 187-243 (2002) ·Zbl 1001.68059号 [98] 奥列夫茨基，P.C。；Meseguer，J.，重写逻辑中实时和混合系统的规范，定理。计算。科学。，285, 359-405 (2002) ·Zbl 1001.68061号 [99] Bortolussi，L。；Policriti，A.，《混合系统与生物学》，（Bernardo，M.；Degano，P.；Zavataro，G.，《计算系统生物学的形式方法》，《计算机科学的课堂讲稿》，第5016卷（2008），Springer:Springer Berlin/Heidelberg），424-448·Zbl 1137.68302号 [100] 大卫·A。；Larsen，K.G。；Legay，A。；Poulsen，D.B.，随机混合自动机动态网络的统计模型检查，电子。Commun公司。EASST，66（2014） [101] 费拉里，G。；蒙塔纳里，美国。；Quaglia，P.，《带显式替换的A（λ）-演算：后期语义学》，（Privara，I.；Rovan，B.；Ruzicka，P.《计算机科学的数学基础》，《计算机科学数学基础》（Mathematical Foundations of Computer Science），第841卷（1994），施普林格：施普林格-柏林/海德堡），342-351·Zbl 1493.68244号 [102] MATLAB，7.12.0版（R2011a）（2011年），数学工程公司。 [103] 阿鲁尔（Alur，R.）。；格罗苏，R。；李，I。；Sokolsky，O.，《分层混合系统的成分精化》，（Benedetto，M.；Sangiovanni-Vincentelli，A.，《混合系统：计算和控制》，《计算机科学讲义》，第2034卷（2001），施普林格：施普林格-柏林/海德堡），33-48·Zbl 0991.93057号 [104] 海耶斯，I.J。；琼斯，C.B。；Colvin，R.J.，《相对保证改进的法律和语义》（2014），纽卡斯尔大学，技术报告CS-TR-1425 [105] 琼斯，C.B。；海耶斯，I.J。；Colvin，R.J.，《在并发的正式方法中平衡表达能力》，Form.Asp。计算。，27, 475-497 (2015) ·Zbl 1343.68171号 [106] Markram，H.，《蓝脑计划》，《国家评论》，《神经科学》。，7, 153-160 (2006) 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。