伊丽莎白·罗什;克里斯托弗·拉卡卡斯;Michael P.H.Stumpf。 基于搭配的神经常微分方程训练。 （英语） 兹布尔074113881 统计应用程序。遗传学。分子生物学。 20，编号2，37-49（2021）. 摘要：机器学习模型的预测能力往往超过机械建模方法。然而，没有任何机械基础的纯数据驱动模型的可解释性往往很复杂，预测能力本身可能是一个很差的衡量标准，我们可能希望通过它来判断不同的方法。在这项工作中，我们将重点放在神经常微分方程相对较新的建模技术上。我们讨论了它们如何与机器学习和机械模型联系起来，有可能缩小这两个框架之间的鸿沟：它们构成了一类混合模型，集成了数据驱动和动态系统方法的思想。训练神经ODE作为动力系统数据的表示有其特定的要求，我们在这里提出一种配置方案，作为一种快速有效的训练策略。这减轻了对昂贵的ODE解算器的需求。我们说明了配置方法的优点，以及它们对动力系统定性特征的鲁棒性，以及观测数据的数量和质量。我们专注于举例说明系统生物学中遇到的复杂动力系统的一些特征的系统，并且我们描述了如何将这些方法用于分析细胞和生理过程的数学模型。 引用于2文件 MSC公司： 68T07型 人工神经网络与深度学习 65升60 有限元、Rayleigh-Ritz、Galerkin和常微分方程的配置方法 92B20型 生物研究、人工生命和相关主题中的神经网络 92立方厘米 系统生物学、网络 关键词：搭配;动力系统;神经ODE;系统生物学 软件：阳极;NeuralPDE.jl公司;GpABC公司;微分方程.jl;糖霜;DiffEqFlux流量;通量;火炬差异;PMTK公司 PDF格式BibTeX公司 XML格式引用 \textit{E.Roesch}等人，《统计应用》。遗传学。分子生物学。20，编号2，37-49（2021；Zbl 07413881） 全文： 内政部 参考文献： [1] 阿尔瓦雷斯，M.、卢恩戈，D.、提提亚斯，M.和劳伦斯，N.（2010年）。通过变分诱导核实现有效的多输出高斯过程。J.马赫。学习。决议9:25-32。 [2] Babtie，A.C.、Kirk，P.和Stumpf，M.P.H.（2014）。系统生物学的拓扑敏感性分析。程序。国家。阿卡德。科学。美国111:18507-18512。doi:10.1073/pnas.1414026112·Zbl 1355.92039号 ·doi:10.1073/pnas.1414026112 [3] Baker，R.E.、Peña，J.-M.、Jayamohan，J.和Jérusalem，a.（2018年）。机械模型与机器学习，一场值得为生物社区而战的战斗？。生物Lett。14: 20170660. doi:10.1098/rsbl.2017.0660·doi:10.1098/rsbl.2017.0660 [4] Che，Z.、Purushotham，S.、Cho，K.、Sontag，D.和Liu，Y.（2018）。具有缺失值的多元时间序列的递归神经网络。科学。代表8。doi:10.1038/s41598-018-24271-9·doi:10.1038/s41598-018-24271-9 [5] Chen，R.T.Q.、Rubanova，Y.、Bettencourt，J.和Duvenaud，D.（2019）。神经常微分方程。arXiv公司。 [6] Crook，O.M.、Gatto，L.和Kirk，P.D.W.（2019年）。dirichlet过程混合物中变量选择的快速近似推断，并应用于泛癌蛋白质组学。统计应用程序。遗传学。分子生物学。18: 20180065. doi:10.1515/sagmb-2018-0065·Zbl 1445.92105号 ·doi:10.1515/sagmb-2018-0065 [7] Dupont，E.、Doucet，A.和Teh，Y.W.（2019年）。增强的神经ODE。arXiv公司。 [8] Durbin，J.和Koopman，S.J.（2012年）。用状态空间方法进行时间序列分析。牛津统计科学丛书，第二版，牛津大学出版社，牛津·Zbl 1270.62120号 [9] Estakhroueeh，M.、Nikravesh，S.和Gharibzadeh，S..（2014年）。基于修正范德波尔方程的动作电位心电图生成。每年。生物研究评论。4: 4259-4272. doi:10.9734/arrb/2014/11916·doi:10.9734/arrb/2014/11916 [10] Gardiner，C.（2009）。随机方法：自然科学和社会科学手册。施普林格、柏林和海德堡·Zbl 1181.60001号 [11] Gloot，X.和Bengio，Y.（2010年）。了解训练深度前馈神经网络的困难。J.马赫。学习。决议9:249-256。 [12] Gupta，A.和Khammash，M.（2014）。多时间尺度随机化学反应网络的灵敏度分析。电子。J.遗嘱认证。19.doi:10.1214/ejp.v19-3246·Zbl 1327.60137号 ·doi:10.1214电子邮箱.v19-3246 [13] Heinonen，M.、Yildiz，C.、MannerströM，H.、Intosalmi，J.和Lähdesmäki，H.（2018）。用高斯过程学习未知ODE模型。arXiv公司。 [14] Innes，M.（2018）。Flux：与julia一起进行优雅的机器学习。J.开源软件3:602。doi:10.21105/joss.00602·doi:10.21105/joss.00602 [15] Innes，M.、Saba，E.、Fischer，K.、Gandhi，D.、Rudilosso，M.C.、Joy，N.M.、Karmali，T.、Pal，A.和Shah，V.（2018年）。时尚的流动造型。arXiv公司。 [16] Jia，J.和Benson，A.R.（2019年）。神经跳跃随机微分方程。arXiv公司。 [17] Jost，J.（2005）。复杂行为的动力系统示例。施普林格、柏林和海德堡·Zbl 1082.37001号 [18] Kersting，H.、Krämer，N.、Schiegg，M.、Daniel，C.、Tiemann，M.和Hennig，P.（2020年）。“无似然”动力系统快速反演的可微似然。arXiv公司。 [19] Kirk，P.、Thorne，T.和Stumpf，M.P.（2013）。系统和合成生物学中的模型选择。货币。操作。生物技术。24: 767-774. doi:10.1016/j.copbio.2013.03.012·doi:10.1016/j.copbio.2013.03.012 [20] Kirk，P.D.W.、Babtie，A.C.和Stumpf，M.P.H.（2015）。系统生物学（un）确定性。科学350:386-388。doi:10.1126/science.aac9505·doi:10.1126/science.aac9505 [21] Lakatos，E.和Stumpf，M.P.H.（2017年）。通过可达集计算实现随机生化系统的控制机制。R.Soc.开放科学。4: 160790. doi:10.1098/rsos.160790·doi:10.1098/rsos.160790 [22] LeCun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。自然521:436-444。doi:10.1038/nature14539·doi:10.1038/自然14539 [23] Leon，M.、Woods，M.L.、Fedorec，A.J.H.和Barnes，C.P.（2016）。研究多稳态系统的计算方法及其在遗传开关中的应用。BMC系统。生物10。doi:10.1186/s12918-016-0375-z·doi:10.1186/s12918-016-0375-z [24] Liang，H.和Wu，H.（2008）。在回归模型中使用测量误差框架的微分方程模型的参数估计。美国统计协会期刊103:1570-1583。doi:10.1198/0162145000000797·Zbl 1286.62039号 ·doi:10.1198/0162145000000797 [25] Liepe，J.、Filippi，S.、Komorowski，M.和Stumpf，M.P.H.（2013）。最大限度地提高系统生物学实验的信息含量。公共科学图书馆计算。生物学9:e1002888。doi:10.1371/journal.pcbi.1002888·doi:10.1371/journal.pcbi.1002888 [26] Liepe，J.、Kirk，P.、Filippi，S.、Toni，T.、Barnes，C.P.和Stumpf，M.P.H.（2014）。使用近似贝叶斯计算从系统生物学实验数据中进行参数估计和模型选择的框架。《国家协议》。9: 439-456. doi:10.1038/nprot.2014.025·doi:10.1038/nprot.2014.025 [27] Liu，X.，Xiao，T.，Si，S.，Cao，Q.，Kumar，S.和Xiah，C.-J.（2019年）。神经SDE：用随机噪声稳定神经ODE网络。arXiv公司。 [28] Milias-Argeitis，A.、Summers，S.、Stewart-Ornstein，J.、Zuleta，I.、Pincus，D.、El-Samad，H.、Khammash，M.和Lygeros，J.（2011）。基因表达电路体内调节的电子反馈。自然生物技术。29: 1114-1116. doi:10.1038/nbt.2018·doi:10.1038/nbt.2018年 [29] 墨菲，K.P.（2012）。机器学习：概率的观点。麻省理工学院出版社，马萨诸塞州剑桥和英国伦敦·Zbl 1295.68003号 [30] Rackauckas，C.和Nie，Q.（2017年）。DifferentialEquations.jl–用于求解julia中微分方程的性能丰富的生态系统。J.开放研究软件5。doi:10.5334/jors.151·doi:10.5334/jors.151 [31] Rackauckas，C.、Innes，M.、Ma，Y.、Bettencourt，J.、White，L.和Dixit，V.（2019年）。DiffEqFlux.jl-神经微分方程的julia库。arXiv。 [32] Rackauckas，C.、Ma，Y.、Martensen，J.、Warner，C.、Zubov，K.、Supekar，R.、Skinner，D.和Ramadhan，A.（2020）。科学机器学习的通用微分方程。arXiv公司。 [33] Rasmussen，C.E.和Williams，C.K.I.（2006）。机器学习的高斯过程。麻省理工学院出版社，马萨诸塞州剑桥和英国伦敦·Zbl 1177.68165号 [34] Roesch，E.和Stumpf，M.P.H.（2019）。具有余维1分支的动力系统的参数推断。R.Soc.开放科学。6: 190747. doi:10.1098/rsos.190747·doi:10.1098/rsos.190747 [35] Rubanova，Y.、Chen，R.T.Q.和Duvenaud，D.（2019年）。不规则采样时间序列的潜在ODE。arXiv公司。 [36] Schnoerr，D.、Sanguinetti，G.和Grima，R.（2017年）。随机生物化学动力学的近似和推理方法——教程综述。《物理学杂志》。A： 数学。西奥。50: 093001. doi:10.1088/1751-8121/aa54d9·Zbl 1360.92051号 ·doi:10.1088/1751-8121/aa54d9 [37] Scholes，N.S.、Schnoerr，D.、Isalan，M.和Stumpf，M.P.H.（2019年）。一个全面的网络地图集表明，图灵模式是常见的，但并不稳健。细胞系统。9:243-257.e4。doi:10.1016/j.cels.2019.07.007·doi:10.1016/j.cels.2019.07.007 [38] Silk，D.，Barnes，C.P.，Kirk，P.D.W.，Kirk.，P.，Toni，T.，Rose，A.，Moon，S.，Dallman，M.J.，Stumpf，M.P.H.，和Stumpf.，M.P.H（2011）。通过混沌和振荡动力学状态的自动识别设计吸引人的模型。国家公社。2: 489. doi:10.1038/ncomms1496·doi:10.1038/ncomms1496 [39] Tankhilevich，E.、Ish-Horowicz，J.、Hameed，T.、Roesch，E.，Kleijn，I.、Stumpf，M.P.H.和He，F.（2020年）。GpABC：用于高斯过程仿真的近似贝叶斯计算的julia包。生物信息学36:3286-3287。doi:10.1093/bioinformatics/btaa078·doi:10.1093/bioinformatics/btaa078 [40] Toni，T.、Welch，D.、Strelkowa，N.、Ipsen，A.和Stumpf，M.P.（2008年）。动力系统参数推断和模型选择的近似贝叶斯计算方案。J.R.Soc.接口6:187-202。doi:10.1098/rsif.2008.0172·doi:10.1098/rsif.2008.0172 [41] Tyson，J.J.、Chen，K.C.和NováK，B.（2003）。嗅探器、蜂鸣器、拨动器和闪烁器：细胞中调节和信号通路的动态。货币。操作。细胞生物学。15: 221-231. doi:10.1016/s0955-0674（03）00017-6·doi:10.1016/s0955-0674（03）00017-6 [42] Tzen，B.和Raginsky，M.（2019年）。神经随机微分方程：扩散极限下的深潜高斯模型。arXiv公司。 [43] Ju urauskienö，J.、Kirk，P.、Thorne，T.和Stumpf，M.P.（2014）。重构振荡系统的贝叶斯非参数方法和奈奎斯特极限。物理。甲407:33-42·Zbl 1395.62072号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。