高级搜索

数学生物科学与工程

2022,第19卷, 第12版: 12866-12896。 数字对象标识：10.3934/mbe.2022601
上一篇文章 下一篇文章
研究文章 特殊问题

基于自适应加权损失函数的Hamilton-Jacobi方程物理信息神经网络

  • 1
    西北工业大学数学与统计学院，西安710129
  • 2
    信阳师范大学数学与统计学院，信阳464000
  • 三。
    NPU-UoG心脏病学计算与应用国际合作实验室，西安，710129
  • 4
    西安科学计算与应用统计重点实验室，西安，710129，中国

  • 学术编辑：凌霞
  • 收到：2022年6月12日 修订过的：2022年7月25日 认可的：2022年8月16日 出版：2022年9月5日

  • 物理知情神经网络（PINN）由于在处理正向和反向问题方面的灵活性，最近成为机器学习和计算数学跨学科领域的研究热点。在这项工作中，我们探索了求解哈密顿-雅可比方程的PINN训练算法的通用性，并提出了基于自适应加权损失函数的物理信息神经网络（AW-PINN）这是为了用较少的训练数据解决无监督学习任务，而在训练过程中施加物理信息约束。为了自动平衡不同约束的贡献，AW-PINN训练算法使用对数平均值自适应更新不同损失项的权重系数，以避免额外的超参数。此外，所提出的AW-PINN算法对边界条件及其梯度施加了周期性要求。考虑了全连接前馈神经网络，并将优化过程作为Adam优化器，用于L-BFGS-B优化器之后的某些步骤。一系列数值实验表明，该算法有效地提高了预测精度和总训练误差的收敛速度，并且即使哈密顿量是非凸的，也可以近似求解。将该算法与哈密顿-雅可比方程的原始PINN算法进行了比较，结果表明，该AW-PINN算法能够以较少的迭代次数更准确地训练解。

    引用：刘友琼、李才、陈亚萍、王斌。基于Hamilton-Jacobi方程自适应加权损失函数的物理信息神经网络[J]。数学生物科学与工程，2022，19（12）：12866-12896。doi:10.3934/月202601日

    相关论文：

  • 物理信息神经网络（PINN）由于在处理正问题和逆问题方面的灵活性，最近已成为机器学习和计算数学交叉领域的研究热点。在这项工作中，我们探索了求解哈密顿-雅可比方程的PINN训练算法的通用性，并提出了基于自适应加权损失函数的物理信息神经网络（AW-PINN）这是为了用较少的训练数据解决无监督学习任务，而在训练过程中施加物理信息约束。为了自动平衡不同约束的贡献，AW-PINN训练算法使用对数平均值自适应更新不同损失项的权重系数，以避免额外的超参数。此外，所提出的AW-PINN算法对边界条件及其梯度施加了周期性要求。考虑了全连接前馈神经网络，并将优化过程作为Adam优化器，用于L-BFGS-B优化器之后的某些步骤。一系列数值实验表明，该算法有效地提高了预测精度和总训练误差的收敛速度，即使在哈密顿量为非凸的情况下也能逼近解。将该算法与哈密顿-雅可比方程的原始PINN算法进行了比较，结果表明，该AW-PINN算法能够以较少的迭代次数更准确地训练解。


    加载中


    [1] K.Guo，Z.Yang，C.H.Yu，M.J.Buehler，机械材料设计中的人工智能和机器学习，马特。水平。,8(2021), 1153–1172. https://doi.org/10.1039/D0MH01451F数字对象标识：10.1039/D0MH01451F
    [2] R.Pestourie，Y.Mroueh，T.V.Nguyen，P.Das，S.G.Johnson，PDE深度替代物的主动学习：在亚表面设计中的应用，npj计算。马特。,6(2020), 1–7. https://doi.org/10.1038/s41524-020-00431-2数字对象标识：10.1038/s41524-020-00431-2
    [3] H.Sasaki，H.Igarashi，通过深度学习加速拓扑优化，IEEE传输。Magn.公司。,55(2019), 1–5. https://doi.org/10.109/TMAG.2019.2901906数字对象标识：10.1109/TMAG.2019.2901906
    [4] D.A.White，W.J.Arrighi，J.Kudo，S.E.Watts，使用神经网络代理模型的多尺度拓扑优化，计算。方法。申请。机械。工程师。,346(2019), 1118–1135. https://doi.org/10.1016/j.cma.2018.09.007数字对象标识：2016年10月10日/j.cma.2018.09.007
    [5] M.Raissi，G.E.Karniadakis，《隐藏物理模型：非线性偏微分方程的机器学习》，J.计算。物理学。,357(2018), 125–141. https://doi.org/10.1016/j.jcp.2017.11.039数字对象标识：2016年10月10日/j.jcp.2017.11.039
    [6] M.Raissi，P.Perdikaris，G.E.Karniadakis，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.计算。物理学。,378(2019), 686–707. https://doi.org/10.1016/j.jcp.2018.10.045数字对象标识：2016年10月10日/j.jcp.2018.10.045
    [7] L.Lu，X.Meng，Z.Mao，G.E.Karniadakis，DeepXDE:求解微分方程的深度学习库，SIAM版本。,63(2021), 208–228. https://doi.org/10.1137/19M1274067数字对象标识：10.1137/19M1274067
    [8] S.Wang，Y.Teng，P.Perdikaris，理解和缓解物理信息神经网络中的梯度流病理学，SIAM J.科学。计算。,43（2021年），A3055–A3081。https://doi.org/10.1137/20M1318043数字对象标识：10.1137/20M1318043号
    [9] S.Wang，X.Yu，P.Perdikaris，《PINN何时以及为什么不能训练：神经切线核的观点》，J.计算。物理学。,449(2022), 110768. https://doi.org/10.1016/j.jcp.2021.110768数字对象标识：2016年10月10日/j.jcp.2021.110768
    [10] W.Ji，W.Qiu，Z.Shi，S.Pan，S.Deng，Stiff-PINN：刚性化学动力学的物理信息神经网络，《物理学杂志》。化学。A类,125（2021），第8098–8106页。https://doi.org/10.1021/acs.jpca.1c05102数字对象标识：10.1021/acs.jpca.1c05102
    [11] C.Yu，Y.Tang，B.Liu，多层前馈神经网络的自适应激活函数，in2002年IEEE第10区计算机、通信、控制和电力工程会议。TENCOM’02。诉讼, (2002), 645–650.https://doi.org/10.109/TENCON.2002.1181357
    [12] S.Qian，H.Liu，C.Liu，S.Wu，H.S.Wong，卷积神经网络中的自适应激活函数，神经计算,272(2018), 204–212. https://doi.org/10.1016/j.neucom.2017.06.070数字对象标识：10.1016/j.neucom.2017.06.070
    [13] A.D.Jagtap、K.Kawaguchi、G.E.Karniadakis，自适应激活函数加速了深度和物理信息神经网络的收敛，J.计算。物理学。,404(2020), 109136. https://doi.org/10.1016/j.jcp.2019.109136数字对象标识：2016年10月10日/j.jcp.2019.109136
    [14] A.D.Jagtap、K.Kawaguchi、G.E.Karniadakis，深度和物理信息神经网络的局部自适应激活函数，继续。R.Soc.A公司,476(2020), 20200334. https://doi.org/10.1098/rspa.2020.0334数字对象标识：1998年10月10日/俄罗斯联邦共和国2010年20月334日
    [15] M.Raissi、A.Yazdani、G.E.Karniadakis，《隐藏流体力学：从流动可视化中学习速度和压力场》，科学类,367(2020), 1026–1030. https://doi.org/10.1126/science.aaw4741数字对象标识：10.1126/科学法律4741
    [16] F.S.Costabal，Y.Yang，P.Perdikaris，D.E.Hurtado，E.Kuhl，用于心脏激活映射的物理信息神经网络，正面。物理学。,8(2020), 42. https://doi.org/10.3389/fphy.2020.00042数字对象标识：10.3389/fphy.2020.00042
    [17] G.Kissas，Y.Yang，E.Hwuang，W.R.Witschey，J.A.Detre，P.Perdikaris，《心血管血流建模中的机器学习：使用物理信息神经网络从非侵入性4D流MRI数据预测动脉血压》，计算。方法。申请。机械。工程师。,358(2020), 112623. https://doi.org/10.1016/j.cma.2019.112623数字对象标识：2016年10月10日/j.cma.2019.112623
    [18] G.E.Karniadakis、I.G.Kevrekidis、L.Lu、P.Perdikaris、S.Wang、L.Yang，《基于物理的机器学习》，自然修订版物理。,三（2021），422–440。https://doi.org/10.1038/s42254-021-00314-5数字对象标识：10.1038/s42254-021-00314-5
    [19] S.Lin，Y.Chen，基于守恒量的两阶段物理信息神经网络方法及其在局域波解中的应用，J.计算。物理学。,457(2022), 111053. https://doi.org/10.1016/j.jcp.2022.111053数字对象标识：2016年10月10日/j.jcp.2022.111053
    [20] J.C.Pu，Y.Chen使用深度学习方法对Manakov系统进行数据驱动的矢量局部化波和参数发现，混沌孤子分形,160(2022), 112182. https://doi.org/10.1016/j.chaos.2022.112182数字对象标识：2016年10月10日/j.chaos.2022.112182
    [21] 苗振伟，陈永清，高维可积系统中的物理信息神经网络方法，国防部。物理。莱特。B类,36(2022), 2150531. https://doi.org/10.1142/S021798492150531X数字对象标识：10.1142/S021798492150531X号
    [22] L.Shen，D.Li，W.Zha，X.Li，X.刘使用深度神经网络对多孔流体进行替代建模，J.宠物。科学。工程师。,213(2022), 110460. https://doi.org/10.1016/j.petrol.2022.110460数字对象标识：2016年10月10日/j.petrol.2022.110460
    [23] D.Li，L.Shen，W.Zha，X.Liu，J.Tan Physics-求解渗流方程的物理约束深度学习，J.宠物。科学。工程师。,206(2021), 109046. https://doi.org/10.1016/j.petrol.2021.109046数字对象标识：2016年10月10日/j.petrol.20211.109046
    [24] M.Zhu，Y.Xu，J.Cao，登革热模型在周期演化域上的渐近分布，申请。数学。计算。,362(2019), 124531. https://doi.org/10.1016/j.amc.2019.06.045数字对象标识：10.1016/j.amc.2019.06.045
    [25] G.J.Pettet、H.M.Byrne、D.L.S.Mcelwain、J.Norbury，《软组织创伤修复血管生成模型》，数学。Biosci公司。,136(1996), 35–63. https://doi.org/10.1016/0025-5564（96）00044-2数字对象标识符：10.1016/0025-5564(96)00044-2
    [26] T.Höfer，J.A.Sherrat，P.K.Maini，网柄菌聚集期间的细胞模式形成，物理。D类,85(1995), 425–444. https://doi.org/10.1016/0167-2789（95）00075-F网址：10.1016/0167-2789（95）00075-F
    [27] J.King，R.Ahmadian，R.A.Falconer，近岸沿海水域细菌运输和腐烂的水文流行病学建模，水资源。,196(2021), 117049. https://doi.org/10.1016/j.watres.2021.117049数字对象标识：2016年10月10日/j.watres.2021.117049
    [28] X.Wang，F.B.Wang，细菌超传染性对空间异质环境中霍乱疫情的影响，数学杂志。分析。申请。,480(2019), 123407. https://doi.org/10.1016/j.jmaa.2019.123407数字对象标识：2016年10月10日/j.j.ma.2019.123407
    [29] 王毅，蔡丽莲，罗小霞，英蔚，高浩，基于幽灵结构方法的动作电位传播模拟，科学。代表。,9(2019), 10927. https://doi.org/10.1038/s41598-019-47321-2数字对象标识：10.1038/s41598-019-47321-2
    [30] Y.Wang，L.Cai，X.Feng，X.Luo，H.Gao，分数阶FitzHugh-Nagumo单域模型在移动不规则域上的幽灵结构有限差分法，J.计算。物理学。,428(2021), 110081. https://doi.org/10.1016/j.jcp.2020.110081数字对象标识：2016年10月10日/j.jcp.2020.110081
    [31] S.Bryson，D.Levy，多维Hamilton-Jacobi方程的高阶中心WENO格式，SIAM J.编号分析。,41(2003), 1339–1369. https://doi.org/10.1137/S0036142902408404数字对象标识：10.1137/S0036142902408404
    [32] C.L.Lin，E.Tadmor，Hamilton-Jacobi方程的高分辨率非振荡中心格式，SIAM J.科学。计算。,21(2000), 2163–2186. https://doi.org/10.1137/S1064827598344856数字对象标识：10.1137米/1064827598344856米
    [33] S.Bryson，D.Levy，多维Hamilton-Jacobi方程的高阶半离散中心迎风格式，J.计算。物理学。,189(2003), 63–87. https://doi.org/10.1016/S0021-9991（03）00201-8数字对象标识代码：10.1016/S0021-9991（03）00201-8
    [34] A.Kurganov，E.Tadmor，Hamilton-Jacobi方程的新的高分辨率半离散中心格式，J.计算。物理学。,160(2000), 720–742. https://doi.org/10.1006/jcph.2000.6485数字对象标识：10.1006/jcph.2000.6485
    [35] L.Cai，W.Xie，Y.Nie，J.Feng，多维Hamilton-Jacobi方程的高分辨率半离散Hermite中心迎风格式，申请。数字数学。,80(2014), 22–45. https://doi.org/10.1016/j.apnum.2014.02.002数字对象标识：2016年10月10日/j.apnum.2014.02.002
    [36] S.Bryson，D.Levy，Hamilton-Jacobi方程半离散中心格式中的映射WENO和加权幂ENO重建，申请。数字数学。,56(2006), 1211–1224. https://doi.org/10.1016/j.apnum.2006.03.005数字对象标识：2016年10月10日/j.apnum.2006.03.005
    [37] F.Zheng，J.Qiu，用Hermite WENO格式直接求解Hamilton-Jacobi方程，J.计算。物理学。,307（2021），423–445。https://doi.org/10.1016/j.jcp.2015.12.011数字对象标识：2016年10月10日/j.jcp.2015.12.011
    [38] C.H.Kim，Y.Ha，H.Yang，J.Yoon，基于Hamilton-Jacobi方程指数多项式的三阶WENO格式，申请。数字数学。,165(2021), 167–183. https://doi.org/10.1016/j.apnum.2021.01.020数字对象标识：2016年10月10日/j.apnum.2021.01.020
    [39] P.J.Graber，C.Hermosilla，H.Zidani，网络上Hamilton-Jacobi方程的间断解，J.差异。方程,263(2017), 8418–8466. https://doi.org/10.1016/j.jde.2017.08.040数字对象标识：2016年10月10日/j.jde.2017.08.040
    [40] J.Sirignano，K.Spiliopoulos，DGM：解偏微分方程的深度学习算法，J.计算。物理学。,375(2018), 1339-1364. https://doi.org/10.1016/j.jcp.2018.08.029数字对象标识：2016年10月10日/j.jcp.2018.08.029
    [41] T.Nakamura-Zimmerer，Q.Gong，W.Kang，高维Hamilton-Jacobi-Bellman方程的自适应深度学习，SIAM J.科学。计算。,43（2021），A1221-A1247。https://doi.org/10.1137/19M1288802数字对象标识：10.1137/19M1288802
    [42] J.Darbon，G.P.Langlois，T.Meng，通过神经网络结构克服某些Hamilton-Jacobi偏微分方程的维数灾难，Res.数学。科学。,7(2020), 1–50. https://doi.org/10.1007/s40687-020-00215-6数字对象标识：2007年10月10日/40687-020-00215-6
    [43] J.Darbon，T.Meng，关于能够表示某些高维Hamilton-Jacobi偏微分方程粘性解的一些神经网络结构，J.计算。物理学。,425(2021), 109907. https://doi.org/10.1016/j.jcp.2020.109907数字对象标识：2016年10月10日/j.jcp.2020.109907
    [44] A.G.Baydin，B.A.Pearlmutter，A.A.Radul，J.M.Siskind，《机器学习中的自动区分：一项调查》，J.三月。学习。研究。,18（2018），1-43。http://jmlr.org/papers/v18/17-468.html
    [45] D.Kingma，J.Ba，Adam：随机优化方法，预印本，arXiv:1412.6980。
    [46] J.Duchi，E.Hazan，Y.Singer，在线学习和随机优化的自适应次梯度方法，J.马赫。学习。研究。,12(2011), 2121–2159.http://jmlr.org/papers/v12/duchi11a.html
    [47] D.C.Liu，J.Nocedal，关于大规模优化的有限内存BFGS方法，数学。程序。,45（1989），第503–528页。https://doi.org/10.1007/BF01589116数字对象标识：2007年10月10日/BF01589116
    [48] R.van der Meer，C.W.Oosterlee，A.Borovykh，用神经网络求解偏微分方程的最优加权损失函数，J.计算。申请。数学。,405(2022), 113887. https://doi.org/10.1016/j.cam.2021.113887数字对象标识：2016年10月10日/j.cam 2021.113887
    [49] F.Ismail，P.L.Roe，负担得起的、熵一致的Euler通量函数II：冲击下的熵产生，J.计算。物理学。,228(2009), 5410–5436. https://doi.org/10.1016/j.jcp.2009.04.021数字对象标识：2016年10月10日/j.jcp.2009.04.021
    [50] X.Glrot，Y.Bengio，《理解深度前馈神经网络训练的困难》，J.马赫。学习。研究。,9(2010), 249–256.http://proceedings.mlr.press/v9/glorot10a/glorot10/pdf
    [51] S.Osher，C.W.Shu，Hamilton-Jacobi方程的高阶本质非振荡格式，SIAM J.数字。分析。,28(1991), 907–922. https://doi.org/10.1137/0728049数字对象标识：10.1137/0728049
    [52] A.A.Loya，D.Appelö，Hamilton-Jacobi方程的具有不连续传感器的Hermite方法，科学杂志。计算。,90(2022), 1–31. https://doi.org/10.1007/s10915-022-01766-2数字对象标识：2007年10月10日/10915-022-01766-2
    [53] E.Rouy，A.Tourin，《从形状到阴影的粘度解决方案》，SIAM J.数字。分析。,29(1992), 867–884. https://doi.org/10.1137/0729053数字对象标识：10.1137/0729053
    [54] P.L.Lions、E.Rouy、A.Tourin，《形状-自阴影、粘度溶液和边缘》，数字。数学。,64(1993), 323–353. https://doi.org/10.1007/BF01388692数字对象标识：2007年10月10日/BF01388692
    [55] G.Jiang，D.Peng，Hamilton-Jacobi方程的加权ENO格式，SIAM J.科学。计算。,21(2000), 2126–2143. https://doi.org/10.1137/S106482759732455X数字对象标识：10.1137平方米/106482759732455平方米
  • 读者评论
  • ©2022作者，持牌人AIMS出版社。这是一篇开放存取的文章根据知识共享署名许可证的条款(http://creativecommons.org/licenses/by/4.0)
通讯作者:陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI公司搜索
数学生物科学与工程
3.9

韵律学

文章观点(2250) PDF下载(248) 引用人(0)

预览PDF
下载XML
出口引文
文章大纲

图和表

数字(17) / 表格(6)

作者撰写的其他文章

相关页面

工具

/

返回
返回

目录