×

用图形支持的神经网络发现房室模型。 (英语) Zbl 07764816号

摘要:在本提案中,我们的目标是创建一个神经网络,用于发现模型,将隔间模型用作常微分方程(ODE)系统,并使用图形支持的神经网络(GSNN)。我们将GSNN设计为模型结构的过渡函数图,以确保满足ODE解的三个属性:1的可加性、正性和有界性。这些神经网络不是直接估计解,而是近似过渡函数。我们提供了理论证据,证明我们的GSNN保持了这些特性,以及模拟和实际数据的近似结果。这些结果表明,我们的GSNN在这些问题上优于非图支持的方法,在某些情况下甚至超过了完全基于模型的解决方案和递归神经网络。此外,一种进化算法成功地使用数据生成了一个一致的模型,为这些场景中基于神经网络的模型发现提供了一个全面的框架。

MSC公司:

34立方厘米 常微分方程的定性理论
68泰克 人工智能
6200万 随机过程推断
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 拉加里斯,I.E。;利卡斯,A。;Fotiadis,D.I.,求解常微分方程和偏微分方程的人工神经网络。IEEE传输。神经网络。,987-1000 (1998)
[2] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《基于物理的神经网络:用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》。J.计算。物理。,686-707 (2019) ·Zbl 1415.68175号
[3] Mills,K。;扳手,M。;Tamblyn,I.,深度学习和薛定谔方程。物理学。版次A(2017)
[4] Han,J。;张,L。;Weinan,E.,使用深度神经网络求解多电子薛定谔方程。J.计算。物理学。(2019) ·Zbl 1457.81010号
[5] 哈立德,M。;M.苏尔塔纳。;Zaidi,F.,利用神经网络对天体物理学中出现的六阶微分方程进行数值求解。国际计算杂志。应用。,1-6 (2014)
[6] 陈,Y。;Yu,H。;X孟。;谢,X。;侯,M。;Chevallier,J.,使用拉盖尔神经网络数值求解广义Black-Scholes微分方程。数字。信号处理。(2021)
[7] 大川,M。;岩田,T.,《通过社会学信息神经网络预测舆论动态》(2022年),arXiv预印本
[8] 丹德卡尔,R。;Barbastathis,G.,《新冠肺炎全球传播的神经网络辅助检疫控制模型估计(2020年)》,arXiv预印本
[9] 乔·H。;儿子H。;黄禹锡。;Jung,S.Y.,使用具有时间相关参数和深度学习的SIR模型分析新冠肺炎在韩国的传播(2020年),medRxiv预印本,medR xiv:2020.04.13.20063412
[10] Linka,K。;Schafer,A。;X孟。;邹,Z。;Karniadakis,G.E。;Kuhl,E.,贝叶斯物理信息神经网络,用于实际非线性动力系统。计算。方法应用。机械。工程(2022)·Zbl 1507.68246号
[11] 埃扎迪,S。;Parandin,N.,《神经网络在求解常微分方程中的应用》。国际数学杂志。模型。计算。,245-252 (2013)
[12] Chen,R.T。;Rubanova,Y。;贝当古,J。;Duvenaud,D.K.,《神经常微分方程》。高级神经信息处理。系统。(2018)
[13] 布莱希施密特,J。;Ernst,O.G.,《用神经网络求解偏微分方程的三种方法——综述》。GAMM-Mitt公司。(2021)
[14] Cybenko,G.,通过S形函数的叠加进行逼近。数学。控制信号系统。,303-314(1989年)·Zbl 0679.94019号
[15] Mnih,V。;Kavukcuoglu,K。;西尔弗·D。;Rusu,A.A。;Veness,J。;Bellemare,M.G。;格雷夫斯,A。;里德米勒,M。;Fidjeland,A.K。;Ostrovski,G.,《通过深度强化学习进行人类层面的控制》。《自然》,529-533(2015)
[16] Leshno,M。;Lin,V.Y。;Pinkus,A。;Schocken,S.,具有非多项式激活函数的多层前馈网络可以近似任何函数。神经网络。,861-867 (1993)
[17] 艾布拉姆斯医学博士。;Strogatz,S.H.,《语言死亡动力学建模》。《自然》(2003),900-900
[18] 阿吉拉尔·坎托,F.J。;《尤卡坦半岛尤卡泰克玛雅语和西班牙语语言竞争的Minett-Wang模型》,A.vila-Vales,E.J.著。新星科学。(2021)
[19] Minett,J.W。;Wang,W.S.,《濒危语言建模:双语和社会结构的影响》。Lingua,19-45(2008)
[20] Rudy,S.H。;Brunton,S.L。;Proctor,J.L。;Kutz,J.N.,偏微分方程的数据驱动发现。科学。高级(2017)
[21] 沃斯·H·U。;科洛德纳,P。;阿贝尔,M。;Kurths,J.,时空二元流体对流数据的振幅方程。物理学。修订稿。,3422 (1999)
[22] Ye,H。;比米什·R·J。;Glaser,S.M。;格兰特,S.C。;谢长廷。;理查兹,L.J。;Schnute,J.T。;Sugihara,G.,使用经验动态建模进行无方程机械生态系统预测。程序。国家。阿卡德。科学。,E1569-E1576(2015)
[23] Giannakis,D。;Majda,A.J.,具有间歇性和低频可变性的时间序列的非线性拉普拉斯谱分析。程序。国家。阿卡德。科学。,2222-2227 (2012) ·Zbl 1256.62053号
[24] 丹尼尔斯,不列颠哥伦比亚省。;Nemenman,I.,现象学动力学模型的自动自适应推理。国家公社。,1-8 (2015)
[25] 丹尼尔斯,不列颠哥伦比亚省。;Nemenman,I.,使用S系统和交替回归对细胞动力学的简约现象学模型进行有效推断。《公共科学图书馆·综合》(2015)
[26] 邦加德,J。;Lipson,H.,《非线性动力系统的自动逆向工程》。程序。国家。阿卡德。科学。,9943-9948(2007年)·Zbl 1155.37044号
[27] 施密特,M。;Lipson,H.,从实验数据中提取自由形式的自然法则。科学,81-85(2009)
[28] Gaucel,S。;Keijzer,M。;鲁顿,E。;Tonda,A.,使用标准符号回归学习动力系统,25-36
[29] 奎德,M。;阿贝尔,M。;沙菲,K。;Niven,R.K。;Noack,B.R.,通过符号回归预测动力系统。物理学。E版(2016)
[30] Manzi,M。;Vasile,M.,利用符号回归发现天体动力学中的未建模分量,1-7
[31] González-García,R。;里科·马丁内斯,R。;Kevrekidis,I.G.,《分布参数系统的识别:基于神经网络的方法》。计算。化学。工程师,S965-S968(1998)
[32] González Garcıa,共和党人。;里科·马特·内斯,R。;沃尔夫·W。;吕布克,M。;艾斯沃思,M。;安德森,J.S。;Kevrekidis,I.G.,使用神经网络表征双参数混合模式电化学行为。物理学。D、 非线性现象。,27-43 (2001) ·Zbl 1006.80502号
[33] 长,Z。;卢,Y。;马,X。;Dong,B.,PDE-Net:从数据中学习PDE,3208-3216
[34] 鲁索托,L。;Haber,E.,偏微分方程驱动的深层神经网络。数学杂志。成像视觉。,352-364 (2020) ·Zbl 1434.68522号
[35] 长,Z。;卢,Y。;Dong,B.,PDE-Net 2.0:使用数字符号混合深度网络从数据中学习PDE。J.Compute。物理学。(2019) ·兹比尔1454.65131
[36] Avila-Vales,E.J。;塞万提斯·佩雷斯。G.,具有一般发病率和从传染病向易感病转移的SIRS流行病模型的全局稳定性。博尔。Soc.Mat.Mex.,637-658(2019年)·Zbl 1428.34065号
[37] Garain,K。;库马尔,美国。;Mandal,P.S.,捕食者死亡率依赖于密度的Beddington-DeAngelis捕食模型中的全球动力学。不同。等于。动态。系统。,265-283 (2021) ·Zbl 1466.34047号
[38] Raissi,M.,《深层隐藏物理模型:非线性偏微分方程的深层学习》。J.马赫。学习。决议,932-955(2018年)
[39] Kim,S。;Lu,P.Y。;穆克吉,S。;吉尔伯特,M。;Jing,L。;乔佩里奇,V。;Soljačić,M.,基于神经网络的符号回归在深度学习中的集成,用于科学发现。IEEE传输。神经网络。学习。系统。,4166-4177 (2020)
[40] 乌德雷斯库,S.-M。;Tegmark,M。;Feynman,A.I.,《符号回归的物理启发方法》。科学。Adv.2020年
[41] Biggio,L。;Bendinelli,T。;奈茨,A。;卢奇,A。;Parascandolo,G.,衡量的神经符号回归,936-945
[42] Shukla,K。;徐,M。;特拉斯克,N。;Karniadakis,G.E.,《物理信息神经网络和图形网络的可扩展算法》。数据中心。工程(2022)
[43] 库马尔,Y。;Chakraborty GrADE,S.,基于图的数据驱动时间相关非线性偏微分方程求解器(2021),arXiv预印本
[44] 高,H。;Zahr,M.J。;Wang,J.-X.,Physics-informed graph neural Galerkin networks:用于解决PDE控制的正向和反向问题的统一框架。计算。方法应用。机械。工程(2022)·Zbl 1507.65223号
[45] 波利,M。;马萨罗利,S。;Park,J。;山下,A。;Asama,H。;Park,J.,《图形神经常微分方程》(2019),arXiv预印本
[46] 伊亚科夫列夫。;海诺宁,M。;Lähdesmäki,H.,利用图神经网络从稀疏数据学习连续时间PDE(2020),arXiv预印本
[47] 霍尔,E.J。;Taverniers,S。;Katsoulakis,文学硕士。;Tartakovsky GINNs,D.M.,多尺度物理图形信息神经网络。J.计算。物理学。(2021)
[48] Taverniers,S。;霍尔,E.J。;Katsoulakis,医学硕士。;Tartakovsky,D.M.,图形信息神经网络·Zbl 1515.62091号
[49] Asikis,T。;Böttcher,L.等人。;Antulov-Fantulin,N.,图动力学的神经常微分方程控制。物理学。修订版(2022)
[50] Kidger,P.,《关于神经微分方程》(2021),arXiv预印本
[51] Seoane,L.F。;洛雷多,X。;蒙特亚古多,H。;Mira,J.,加泰罗尼亚语和西班牙语可能共存吗?。帕尔格雷夫公社。,1-9 (2019)
[52] Kingma,D.P。;Ba Adam,J.,《随机优化方法》(2014),arXiv预印本
[53] Inegi,Censo de poblacionón y vivienda(2020)(2020年)
[54] Hochreiter,S。;Schmidhuber,J.,《长期短期记忆》。神经计算。,1735-1780 (1997)
[55] Siami-Namini,S。;Tavakoli,N。;Namin,A.S.,ARIMA和LSTM在预测时间序列中的比较,1394-1401
[56] 克利夫特,D.-A。;Unterthiner,T。;Hochreiter,S.,《用指数线性单位(ELU)快速准确地进行深度网络学习》(2015),arXiv预印本
[57] Glymour先生。;Pearl,J。;Jewell,N.P.,《统计学中的因果推断:初级读本》(2016),John Wiley&Sons·Zbl 1332.62001
[58] Pearl,J.,《因果推理的七种工具》,关于机器学习的思考。Commun公司。ACM,54-60(2019)
[59] Pearl,J.,《激进经验主义和机器学习研究》。《因果推理杂志》,78-82(2021)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。