×
徐凯来；朱伟强；亲爱的，埃里克

利用物理知识学习生成性神经网络。 （英语） Zbl 1489.68238号

Res.数学。科学。 9，第2号，第33号论文，第19页（2022年）.
摘要：深度生成神经网络已经能够对复杂分布进行建模，但将物理知识纳入神经网络仍然具有挑战性，并且是当前基于物理的机器学习研究的核心。为此，我们提出了一种物理生成神经网络（PhysGNN），这是一类新的生成神经网络，用于学习由偏微分方程（PDE）描述的物理系统中的未知分布。PhysGNN将PDE系统与生成神经网络耦合。它是一个完全可微的模型，允许通过数值PDE解算器和生成神经网络反向传播梯度，并通过使用随机梯度下降法最小化生成和观测PDE输出概率分布之间的离散Wasserstein距离进行训练。此外，PhysGNN不需要像标准生成神经网络那样的对抗训练，它比对抗训练具有更好的稳定性。我们证明了PhysGNN可以在随机反问题中学习复杂分布，当对未知分布的形式知之甚少或物理模型过于复杂时，诸如最大似然估计和动量匹配等传统方法可能不适用。我们的方法允许基于物理的生成性神经网络训练，用于学习微分方程中的复杂分布。

引用于1文件

MSC公司：

68T07型 人工神经网络与深度学习
35兰特 偏微分方程的逆问题
60华氏30 随机分析的应用（PDE等）
60华氏35 随机方程的计算方法（随机分析方面）
68立方英尺 知识表示

关键词：

生成神经网络；自动微分；偏微分方程

软件：

朱莉娅；github；电位计；PyTorch公司；比根；hp-车辆识别号；Wasserstein甘；HYPLAS公司；像素x像素；流量++；DiffSharp（差异锐化）；CycleGAN公司；TensorFlow公司；OptNet公司；火炬差异
PDF格式BibTeX公司 XML格式引用
\textit{K.Xu}等人，《数学研究》。科学。9，第2号，第33号论文，第19页（2022年；Zbl 1489.68238）
全文： 内政部

参考文献：

[1] Salimans，T.、Goodfellow，I.、Zaremba，W.、Cheung，V.、Radford，A.、Chen，X.：改进GAN训练技术。In:神经信息处理系统进展，第29卷（2016）
[2] Brock，A.、Donahue，J.、Simonyan，K.：高保真自然图像合成的大规模GAN训练。http://arxiv.org/abs/1809.11096 (2018)
[3] Zhu，J.-Y.，Park，T.，Isola，P.，Efros，A.A.：使用循环一致的对抗网络进行无准备的图像到图像转换。摘自：IEEE计算机视觉国际会议记录，第2223-232页（2017年）
[4] Isola，P.，Zhu，J.-Y.，Zhou，T.，Efros，A.A.：使用条件对抗网络进行图像到图像的翻译。摘自：IEEE计算机视觉和模式识别会议记录，第1125-1134页（2017）
[5] Hughes，T.J.：有限元法：线性静态和动态有限元分析。信使公司（2012）
[6] Arregui Mena，法学博士；Margetts，L。；Mummery，PM，随机有限元法的实际应用，Arch。计算。方法工程，23，1，171-190（2016）·Zbl 1348.65160号 ·doi:10.1007/s11831-014-9139-3
[7] Santambrogio，F.，《应用数学家的最佳运输》，58-63（2015），纽约：Birkäuser，纽约·Zbl 1401.49002号 ·doi:10.1007/978-3-319-20828-2
[8] Baydin，AG公司；Pearlmutter，文学学士；Radul，AA；Simkind，JM，《机器学习中的自动差异化：一项调查》，J.Mach。学习。研究，18，1，5595-5637（2017）·Zbl 06982909号
[9] Margossian，CC，《自动区分及其有效实施综述》，1305（2018），霍博肯：威利跨学科评论：数据挖掘和知识发现，霍博克
[10] van Merriönboer，B.，Breuleux，O.，Bergeron，A.，Lamblin，P.：ML中的自动分化：我们在哪里，我们应该去哪里。摘自：神经信息处理系统进展，第31卷。(2018)
[11] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，GE，Physics-informated neural networks:用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 ·doi:10.1016/j.jp.2018.10.045
[12] Shin，Y.，Darbon，J.，Karniadakis，G.E.：关于物理信息神经网络的收敛和泛化。http://arxiv.org/abs/2004.01806 (2020) ·Zbl 1473.65349号
[13] Kharazmi，E。；张，Z。；Karniadakis，GE，hp-vpins：具有区域分解的变分物理信息神经网络，计算。方法应用。机械。工程，374（2021）·Zbl 1506.68105号 ·doi:10.1016/j.cma.2020.113547
[14] IE拉加里斯；利卡斯，A。；Fotiadis，DI，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) ·doi:10.1109/72.7712178
[15] 张，D。；郭，L。；Karniadakis，GE，模态空间中的学习：使用基于物理的神经网络解决时间依赖的随机偏微分方程，SIAM J.Sci。计算。，42, 2, 639-665 (2020) ·Zbl 1440.60067号 ·doi:10.1137/19M1260141
[16] Yang，L。；X孟。；通用电气Karniadakis，B-binns：含噪声数据的正向和反向偏微分方程问题的贝叶斯物理信息神经网络，J.Compute。物理。，425 (2021) ·Zbl 07508507号 ·doi:10.1016/j.jcp.2020.109913
[17] 张，D。；卢，L。；郭，L。；通用电气公司Karniadakis，《量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性》，J.Compute。物理。，397 (2019) ·Zbl 1454.65008号 ·doi:10.1016/j.jcp.2019.07.048
[18] Xu，K.，Darve，E.：基于稀疏观测的数据驱动逆建模的物理约束学习。http://arxiv.org/abs/2002.10521 (2020) ·Zbl 07517712号
[19] Goodfellow，I.、Pouget-Abadie，J.、Mirza，M.、Xu，B.、Warde-Farley，D.、Ozair，S.、Courville，A.、Bengio，Y.：生成性对抗网。收录：神经信息处理系统进展，第27卷。(2014)
[20] Randle，D.，Protopapas，P.，Sondak，D.：利用生成性对抗网络对微分方程解进行无监督学习。http://arxiv.org/abs/2007.11133 (2020)
[21] 曾勇。；吴，J-L；Xiao，H.，为模拟物理系统对生成性对抗网络实施不精确的约束，Commun。计算。物理。，30, 3, 635-665 (2021) ·Zbl 1490.76120号 ·doi:10.4208/cicp。OA-2020-0106号文件
[22] Kingma，D.P.，Welling，M.：自动编码变分贝叶斯。http://arxiv.org/abs/1312.6114（2013年）
[23] Doersch，C.：变分自动编码器教程。http://arxiv.org/abs/1606.05908 (2016)
[24] Ho，J.，Chen，X.，Srinivas，A.，Duan，Y.，Abbeel，P.：Flow++：通过变分去量化和架构设计改进基于流的生成模型。摘自：机器学习国际会议，第2722-2730页。PMLR（2019年）
[25] Cuturi，M.：《下沉距离：最佳运输的光速计算》。在：《神经信息处理系统的进展》，第26卷。（2013年）
[26] Santambrogio，F.：最优运输理论简介。arxiv.org/abs/1009.3856（2010）·Zbl 1334.49147号
[27] Genevay，A.、Peyré，G.、Cuturi，M.：学习具有Sinkhorn分歧的生成模型。http://arxiv.org/abs/1706.00292(2017)
[28] Flamary，R.，Courty，N.:POT:Python优化传输库（2017）。https://github.com/rflamary/POT
[29] Li，D.，Xu，K.，Harris，J.M.，Darve，E.：智能自动微分地下水流问题的时间推移全波形反演。http://arxiv.org/abs/1912.07552(2019)
[30] Chen，R.T.、Rubanova，Y.、Bettencourt，J.和Duvenaud，D.K.：神经常微分方程。In:神经信息处理系统进展，第31卷（2018）
[31] 欧文，A.B.：蒙特卡罗理论、方法和示例。https://artowen.su.domains/mc网站/ (2013)
[32] Andrieu，C。；De Freitas，N。；Doucet，A。；密歇根州乔丹，机器学习MCMC简介，马赫。学习。，50, 1-2, 5-43 (2003) ·Zbl 1033.68081号 ·doi:10.1023/A:1020281327116
[33] 特纳，BM；Van Zandt，T.，《近似贝叶斯计算教程》，J.Math。心理医生。，56, 2, 69-85 (2012) ·Zbl 1245.91084号 ·doi:10.1016/j.jmp.2012.02.005
[34] Sisson，S.A.，Fan，Y.：不含Likelihood的MCMC。摘自：《马尔可夫链蒙特卡罗手册》，第313-335页（2011）（2011）·Zbl 1229.65035号
[35] Kousathanas，A。；Leuenberger，C。；Helfer，J。；昆多兹，M。；福尔，M。；Wegmann，D.，高维模型中的无似然推理，遗传学，203,2893-904（2016）·doi:10.1534/genetics.11.187567
[36] 维拉尼，C.：《最佳交通：新旧》，第338卷，第23页。柏林施普林格出版社（2009）·Zbl 1156.53003号
[37] 维拉尼，C.：最佳运输主题，第58卷。美国数学学会（2003）·Zbl 1106.90001号
[38] Oberman，A.M.，Ruan，Y.：优化运输的有效线性规划方法。网址：http://arxiv.org/abs/11509.03668 (2015)
[39] 贝利（Pele，O.）、沃曼（Werman，M.）：快速有力的推土机距离。2009年IEEE第12届计算机视觉国际会议，第460-467页。IEEE（2009）
[40] Schmitzer，B.，熵正则传输问题的稳定稀疏缩放算法，SIAM J.Sci。计算。，41, 3, 1443-1481 (2019) ·Zbl 1422.49034号 ·数字对象标识代码：10.1137/16M106018
[41] 卡斯蒂略，E。；Mínguez，R。；Castillo，C.，优化和可靠性问题中的灵敏度分析，Reliab。工程系统。安全。，93, 12, 1788-1800 (2008) ·doi:10.1016/j.ress.2008.03.010
[42] Fikhtengolts，G.M.：数学分析的基础。Elsevier（2014）
[43] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.等人：Tensorflow：异构分布式系统上的大规模机器学习。网址：http://arxiv.org/abs/1603.04467 (2016)
[44] Paszke，A.、Gross，S.、Chintala，S.，Chanan，G.、Yang，E.、DeVito，Z.、Lin，Z.，Desmaison，A.、Antiga，L.、Lerer，A.：PyTorch中的自动区分。https://openreview.net/forum？id=BJJsrmfCZ (2017)
[45] Bezanson，J.、Karpinski，S.、Shah，V.B.、Edelman，A.：Julia:技术计算的快速动态语言。http://arxiv.org/abs/1209.5145 (2012) ·Zbl 1356.68030号
[46] Bezanson，J。；Edelman，A。；卡宾斯基，S。；Shah，VB，Julia:数值计算的新方法，SIAM Rev.，59，1，65-98（2017）·Zbl 1356.68030号 ·数字对象标识代码：10.1137/141000671
[47] Huang，D.Z.，Xu，K.，Farhat，C.，Darve，E.：使用深层神经网络从间接观测中学习本构关系。arXiv电子印刷品，1905-12530（2019）http://arxiv.org/abs/1905.12530[数学.NA]·Zbl 1437.65192号
[48] Huang，H.Q.，Chang，H.H.，Nanson，G.C.：最小能量是临界流量和最大流量效率的一般形式，用于解释河道模式的变化。水资源。第40（4）号决议（2004年）
[49] Amos，B.，Kolter，J.Z.：Optnet：作为神经网络层的可微优化。摘自：第34届国际机器学习会议记录——第70卷，第136-145页。JMLR公司。组织（2017）
[50] Mignolet，议员；Przekop，A。；Rizzi，SA；Spottswood，SM，非线性几何结构的间接/非侵入降阶建模综述，J.Sound Vib。，332, 10, 2437-2460 (2013) ·doi:10.1016/j.jsv.2012.10.017
[51] 露西亚，DJ；贝兰，PS；西尔瓦，《降阶建模：计算物理的新方法》，Progress Aerosp。科学。，40, 1-2, 51-117 (2004) ·doi:10.1016/j.paeroci.2003.12.001
[52] de Souza Neto，E.A.、Peric，D.、Owen，D.R.：塑性计算方法：理论与应用。John Wiley&Sons（2011）
[53] Heinbockel，J.H.：张量微积分和连续体力学导论，第52卷。加拿大维多利亚州特拉福德（2001）
[54] Xu，K.，Darve，E.：反问题的对抗性数值分析。http://arxiv.org/abs/1910.06936 (2019)
[55] Larsson，S.，Thomée，V.：偏微分方程与数值方法，第45卷，第x+-259页。柏林施普林格出版社（2013）·Zbl 1157.65001号
[56] Hinton，G.，Srivastava，N.，Swersky，K.：机器学习的神经网络第6讲微差梯度下降概述。引用日期：14（8），2（2012）
[57] Arjovsky，M.，Chintala，S.，Bottou，L.：Wasserstein GAN。http://arxiv.org/abs/1701.07875 (2017)
[58] Mescheder，L.，Geiger，A.，Nowozin，S.：针对GAN的哪些训练方法实际上是收敛的？http://arxiv.org/abs/18801.04406 (2018)
[59] 黑斯廷斯，W.K.：使用马尔可夫链的蒙特卡罗抽样方法及其应用，第97-109页（1970）·Zbl 0219.65008号
[60] Roweis，S。；Ghahramani，Z.，线性高斯模型的统一回顾，神经计算。，11, 2, 305-345 (1999) ·doi:10.1162/08997669900016674
[61] Tankov，P.，Voltchkova，E.：跳跃扩散模型：从业者指南。银行。1999年3月1日、24日（2009年）·Zbl 1163.60306号
[62] Ramezani，C.A.，Zeng，Y.：非对称跳跃扩散过程的最大似然估计：在证券价格中的应用。SSRN 606361（1998）提供
[63] Fan，T.，Xu，K.，Pathak，J.，Darve，E.：使用深层神经网络解决稳态navier-stokes方程中的反问题。http://arxiv.org/abs/2008.13074 (2020)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。