×

定点神经ODE求解器的准确性和效率。 (英语) Zbl 1472.92020年

概要:在数字架构上模拟神经行为通常需要在模拟的每个步骤中求解常微分方程(ODE)。对于某些神经模型,这是一个很大的计算负担,因此效率很重要。准确性也很重要,因为解决方案可能对模型参数化和时间步长敏感。这些问题着重于定点处理器,如SpiNNaker体系结构中使用的ARM单元。以Izhikevich神经模型为例,我们探索了一些求解方法,展示了如何使用特定技术来寻找平衡解。
我们研究了一些重要的相关问题,例如引入显式求解器约简(ESR),将显式ODE求解器和自治ODE合并为一个代数公式,具有准确性和速度优势;一种简单、有效的机制,用于消除由时间步长之间的阈值交叉引起的状态变量的累积滞后;的精确结果Izhikevich模型的膜电位与其他状态变量保持不变。Izhikevich神经元的参数变化显示了算法和算法类型的相似性和差异性,这些算法和算法具有良好的性能,使得整体最佳解决方案难以识别,但我们表明,使用所述技术可以显著改善特定情况。
使用1ms模拟时间步长和32位定点算法来提高实时性能,二阶Runge-Kutta方法之一看起来是最佳折衷方案;中点代表速度,梯形代表准确性。SpiNNaker提供了一种不寻常的低能耗和实时性能的组合,因此可能会在准确性上有所妥协。然而,通过仔细选择方法,在许多实际情况下,结果应该可以与通用系统的结果相比较。

MSC公司:

92秒20 生物研究、人工生命和相关主题中的神经网络
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Alsaker,C.A.(2009年)。用泰勒级数求解微分方程组。(技术代表)。南达科他州矿业技术学院。
[2] Babuška,I.、Práger,M.和Vitásek,E.(1966年)。微分方程中的数值过程。纽约:SNTL/Wiley Interscience·Zbl 0156.16003号
[3] Bashforth,F.和Adams,J.C.(1883)。试图通过比较液滴的理论形式和测量形式来测试毛细管作用理论,并解释在构建给出此类液滴理论形式的表格时所采用的积分方法。剑桥:剑桥大学出版社。
[4] Brette,R.和Guigon,E.(2003年)。尖峰计时的可靠性是尖峰模型神经元的一般特性。神经计算,15279-308·兹比尔1020.92006
[5] Brette,R.、Rudolph,M.、Carnevale,T.、Hines,M.,Beeman,D.、Bower,J.、Diesmann,M.…和Destexhe,A.(2007年)。尖峰神经元网络的模拟:工具和策略综述。J.计算。神经科学。,23, 349-398. ,
[6] Butcher,J.C.(2003)。常微分方程的数值方法。纽约:威利·Zbl 1040.65057号
[7] Chan,R.P.K.和Tsai,A.Y.J.(2010)。关于显式二阶导数Runge-Kutta方法。数值算法,53,171-194·Zbl 1185.65122号
[8] Darulova,E.、Kuncak,V.、Saha,I.和Majumdar,R.(2013)。定点程序的综合(技术代表)。洛桑:洛桑理工学院。
[9] Enright,W.H.、Higham,D.J.、Owren,B.和Sharp,P.W.(1995)。显式Runge-Kutta方法综述(技术报告94-291)。多伦多:多伦多大学。
[10] Euler,L.(1913)。按近似解积分方程微分。奥米纳歌剧院,爵士。1, 11, 424-434.
[11] Furber,S.B.、Galluppi,F.、Temple,S.和Plana,L.A.(2014年)。SpiNNaker项目。IEEE会议录,102,652-665,
[12] Gao,X.、Bayliss,S.和Constantinides,G.(2013)。SOAP:用于高级综合的算术表达式的结构优化。《现场可编程技术国际会议记录》(第112-119页)。新泽西州皮斯卡塔韦:IEEE。
[13] Gear,C.W.(1971)。常微分方程中的数值初值问题。新泽西州上马鞍河:普伦蒂斯·霍尔·Zbl 1145.65316号
[14] Gill,S.(1951年)。在自动数字计算机中逐步积分微分方程的过程。剑桥哲学学会数学学报,47(1),96-108·Zbl 0042.13202号
[15] Hall,G.和Watt,J.M.(编辑)(1976年)。常微分方程的现代数值方法。牛津:克拉伦登出版社·Zbl 0348.65064号
[16] Hansel,D.、Mato,G.、Meunier,C.和Neltner,L.(1998年)。关于积分和fire神经网络的数值模拟。神经计算,10464-483,
[17] Henrici,P.(1962年)。常微分方程中的离散变量方法。纽约:Wiley·Zbl 0112.34901号
[18] Heun,K.(1900)。Neue Methoden zur近似积分der Differential-gleichungen einer unabhängigen Veränderlichen。Z.数学。物理。,45, 23-38. ·JFM 31.0333.02号
[19] 新泽西州海姆(1996)。数值算法的准确性和稳定性。费城:SIAM·Zbl 0847.65010号
[20] Humphries,M.D.和Gurney,K.(2007年)。一类新的简单模型神经元的求解方法。神经计算,19321-3325·Zbl 1131.92015年
[21] ISO/IEC。(2008). TR18037编程语言-C-支持嵌入式处理器的扩展。(技术代表)。日内瓦:国际标准化组织。
[22] Izhikevich,E.M.(2003)。尖峰神经元的简单模型。IEEE传输。《神经网络》,第14期,第1569-1572页,
[23] Jin,X.、Furber,S.B.和Woods,J.V.(2008)。可扩展芯片多处理机上尖峰神经网络的有效建模。《2008年国际JCNN会议记录》(第2812-2819页)。纽约:斯普林格。
[24] Kahan,W.(1965年)。关于减少截断误差的进一步说明。通信ACM,8,40,
[25] 库塔,M.W.(1901)。Beitrag zur näherungsweisen积分累加器Differential gleichungen。Z.数学。物理。,46, 435-453. ·JFM 32.0316.02号文件
[26] Lambert,J.D.(1973)。常微分方程中的计算方法。纽约:Wiley·Zbl 0258.65069号
[27] Lambert,J.D.(1991)。常微分系统的数值方法:初值问题。纽约:Wiley·Zbl 0745.65049号
[28] Mainen,Z.F.和Sejnowski,T.J.(1995)。新皮质神经元棘波计时的可靠性。《科学》,268(5216),1503-1506,
[29] Martel,M.(2009)。加强定点和浮点算法数学公式的实现。系统设计中的形式化方法,35,265-278·Zbl 1185.68017号
[30] Mitsui,T.(1982)。Runge-Kutta型积分公式,包括二阶导数的计算:第1部分。出版物。京都大学RIMS,18,325-365·Zbl 0529.65042号
[31] Ono,H.和Yoshida,T.(2004)。使用导数的两阶段显式Runge-Kutta类型方法。日本工业株式会社。申请。数学。,21, 361-374. , ·兹比尔1061.65066
[32] Press,W.H.、Teukolsky,S.A.、Vetterling,W.T.和Flannery,B.P.(1992)。C中的数字配方(第二版)。剑桥:剑桥大学出版社·Zbl 0778.65003号
[33] 伦格,C.D.T.(1895)。我们的数字是Auflösung von Differentialgleichungen。数学。安,46,167-178·JFM 26.0341.01号
[34] Shintani,H.(1972年)。关于利用二阶导数的显式一步方法。广岛数学。J.,第2期,第353-368页·Zbl 0284.65056号
[35] Stewart,R.D.和Bair,W.(2009年)。尖峰神经网络模拟:与Parker-Sochacki方法的数值积分。J.计算。神经科学。,27, 115-133. ,
[36] Stimberg,M.、Goodman,D.F.M.、Benichoux,V.和Brette,R.(2014)。面向等式的仿真神经模型规范。神经信息学前沿,8(6)。
[37] Touboul,J.(2009)。二次自适应积分-火焰模型中截止值的重要性。神经计算,21,2114-2122·Zbl 1167.92008号
[38] Touboul,J.(2010)。非线性二维尖峰神经元模型的仿真。神经计算,231704-1742·Zbl 1218.92024号
[39] Vitásek,E.(1969年)。微分方程解的数值稳定性。微分方程数值解大会,109,87-111·Zbl 0193.12802号
[40] Wolfram Research(2014)。Mathematica(10.0版)。伊利诺伊州香槟市:Wolfram Research。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。