×
杨，刘;张冬坤;乔治·埃姆·卡尼亚达基斯

随机微分方程的物理信息生成对抗网络。 （英语） Zbl 1440.60065号

SIAM J.科学。计算。 42，第1号，A292-A317（2020）。
摘要：我们开发了一类新的基于物理信息的生成性对抗网络（PI-GAN），以基于有限数量的分散测量以统一的方式解决正向、反向和混合随机问题。与只依赖数据进行训练的标准GAN不同，这里我们使用自动微分将支配物理定律以随机微分方程（SDE）的形式编码到GAN的体系结构中。特别是，我们应用了具有梯度惩罚的Wasserstein GANs（WGAN-GP），因为与普通GANs相比，它的稳定性更强。我们首先测试了WGAN-GP，基于从稀疏传感器的同时读取中收集的数据实现来近似不同相关长度的高斯过程。即使输入噪声维数与目标随机过程的有效维数不匹配，我们也能很好地将生成的随机过程逼近到目标随机过程。我们还研究了鉴别器和生成器的过拟合问题，我们发现除前面报道的鉴别器外，生成器中也会发生过拟合。随后，我们考虑了椭圆SDE的解需要三个随机过程的近似，即解、强迫和扩散系数。这里，我们再次假设在有限数量的传感器上同时读取多个随机过程的数据。PI-GAN使用了三个生成器：其中两个是前馈深度神经网络（DNN），另一个是SDE诱导的神经网络。对于只有一组数据的情况，我们使用了一个前馈DNN作为鉴别器，而对于多组数据的情形，我们在PI-GAN中使用了多个鉴别器。我们在不改变PI-GAN框架的情况下解决了正问题、反问题和混合问题，获得了随机解的均值和标准差，以及与基准非常一致的扩散系数。在这项工作中，我们已经证明了PI-GAN在解决大约120个维度的SDE中的有效性。原则上，考虑到更多传感器数据的计算成本低多项式增长，PI-GAN可以解决非常高维的问题。

引用于59文件

MSC公司：

60华氏35 随机方程的计算方法（随机分析方面）
34F05型 常微分方程和随机系统
62M45型 神经网络及从随机过程推断的相关方法

关键词：

WGAN-GP公司;多人游戏GAN;高维问题;反问题;椭圆随机问题

软件：

像素x像素;亚当;Wasserstein甘;MidiNet公司;DGM公司;开始;SeqGAN公司;CycleGAN公司;面具GAN;DiffSharp（差异锐化）;电位计;github
PDF格式BibTeX公司 XML格式引用
\textit{L.Yang}等人，SIAM J.Sci。计算。42，1号，A292--A317（2020；Zbl 1440.60065）
全文： 内政部 arXiv公司

参考文献：

[1] M.Arjovsky，S.Chintala和L.Bottou，Wasserstein GAN，预印本，https://arxiv.org/abs/1701.07875, 2017.
[2] A.G.Baydin、B.A.Pearlmutter、A.A.Radul和J.M.Siskind，《机器学习中的自动差异化：调查》，J.Mach。学习。决议，18（2017），153·Zbl 06982909号
[3] D.Berthelot、T.Schumm和L.Metz，BEGAN：《边界平衡生成对抗网络》，预印本，https://arxiv.org/abs/1703.10717, 2017.
[4] I.Bilinis，偏微分方程概率解算器，预印本，https://arxiv.org/abs/1607.03526，2016年。
[5] S.L.Brunton、J.L.Proctor和J.N.Kutz，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，113（2016），第3932-3937页·Zbl 1355.94013号
[6] W.E、J.Han和A.Jentzen，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，预印本，https://arxiv.org/abs/1706.04702, 2017. ·Zbl 1382.65016号
[7] W.Fedus、I.Goodfellow和A.M.Dai，MaskGAN：通过填写______、预打印、，https://arxiv.org/abs/1801.07736, 2018.
[8] R.Flamary和N.Courty，POT Python优化传输库，https://github.com/rflamary/POT, 2017.
[9] I.Goodfellow、J.Pouget-Abadie、M.Mirza、B.Xu、D.Warde-Farley、S.Ozair、A.Courville和Y.Bengio，《生成对抗网》，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2014年，第2672-2680页。
[10] T.Graepel，《用高斯过程求解带噪线性算子方程：应用于常微分方程和偏微分方程》，《机器学习国际会议论文集》，2003年，第234-241页。
[11] G.L.Guimares、B.Sanchez-Lengeling、C.Outeiral、P.L.C.Farias和A.Aspuru-Guzik，序列生成模型的客观增强生成对抗网络（ORGA），预印本，https://arxiv.org/abs/1705.10843, 2017.
[12] I.Gulrajani、F.Ahmed、M.Arjovsky、V.Dumoulin和A.C.Courville，《Wasserstein GANs的改进训练》，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2017年，第5767-5777页。
[13] K.He、X.Zhang、S.Ren和J.Sun，图像识别的深度剩余学习，《IEEE计算机视觉和模式识别会议论文集》，2016年，第770-778页。
[14] T.Karras、T.Aila、S.Laine和J.Lehtinen，GAN的渐进生长以提高质量、稳定性和变异性，预印本，https://arxiv.org/abs/1710.10196, 2017.
[15] Y.Khoo、J.Lu和L.Ying，用人工神经网络解决参数PDE问题，预印本，https://arxiv.org/abs/1707.03351, 2017. ·Zbl 1501.65154号
[16] D.P.Kingma和J.Ba，Adam：随机优化方法，预印本，https://arxiv.org/abs/1412.6980, 2014.
[17] I.E.Lagaris、A.C.Likas和D.I.Fotiadis，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9（1998），第987-1000页，https://doi.org/10.1109/72.7712178。
[18] I.E.Lagaris、A.C.Likas和D.G.Papageorgiou，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络。，11（2000），第1041-1049页，https://doi.org/10.109/72.870037。
[19] C.Ledig，L.Theis，F.Huszaír，J.Caballero，A.Cunningham，A.Acosta，A.Aitken，A.Tejani，J.Totz，Z.Wang，W.Shi，使用生成对抗网络的真实感单幅图像超分辨率，《IEEE计算机视觉和模式识别会议论文集》，2017年，第4681-4690页。
[20] X.Liang、Z.Hu、H.Zhang、C.Gan和E.P.Xing，视觉段落生成的递归主题转换Gan，预印本，https://arxiv.org/abs/1703.07022, 2017.
[21] A.L.Maas、A.Y.Hannun和A.Y.Ng，整流器非线性改善神经网络声学模型，《第30届机器学习国际会议论文集》，2013年。
[22] O.Mogren，C-RNN-GAN：具有对抗训练的连续递归神经网络，预印本，https://arxiv.org/abs/1611.09904，2016年。
[23] M.A.Nabian和H.Meidani，高维随机偏微分方程的深度神经网络代理，预印本，https://arxiv.org/abs/1806.02957, 2018.
[24] G.Pang、L.Yang和G.E.Karniadakis，神经网络诱导高斯过程回归函数近似和PDE解，J.Compute。物理。，384（2019），第270-288页，https://doi.org/10.1016/j.jcp.2019.01.045。 ·Zbl 1451.68242号
[25] A.Radford、L.Metz和S.Chintala，深度卷积生成对抗性网络的无监督表示学习，预印本，https://arxiv.org/abs/1511.06434, 2015.
[26] M.Raissi，《前后向随机神经网络：高维偏微分方程的深度学习》，预印本，https://arxiv.org/abs/1804.07010, 2018.
[27] M.Raissi和G.E.Karniadakis，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357（2018），第125-141页·Zbl 1381.68248号
[28] M.Raissi、P.Perdikaris和G.E.Karniadakis，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348（2017），第683-693页，https://doi.org/10.1016/j.jcp.2017.07.050。 ·Zbl 1380.68339号
[29] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的深度学习（第一部分）：非线性偏微分方程的数据驱动解》，预印本，https://arxiv.org/abs/1711.10561, 2017. ·Zbl 1382.65229号
[30] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的深度学习（第二部分）：非线性偏微分方程的数据驱动发现》，预印本，https://arxiv.org/abs/1711.10566, 2017. ·Zbl 1382.65229号
[31] M.Raissi、P.Perdikaris和G.E.Karniadakis，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40（2018年），第A172-A198页，https://doi.org/10.1137/17M1120762。 ·兹比尔1386.65030
[32] S.Saörkka¨，高斯过程回归中的线性算子和随机偏微分方程，摘自《人工神经网络和机器学习-ICANN 2011》，施普林格，柏林，海德堡，2011年，第151-158页。
[33] M.Schmidt和H.Lipson，《从实验数据中提取自由形式的自然法则》，《科学》，324（2009），第81-85页。
[34] J.Sirignano和K.Spiliopoulos，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375（2018），第1339-1364页·兹比尔1416.65394
[35] A.M.Stuart，《逆向问题：贝叶斯观点》，《数值学报》。，19（2010年），第451-559页·Zbl 1242.65142号
[36] L.-C.Yang、S.-Y.Chou和Y.-H.Yang，Midinet:符号领域音乐生成的卷积生成对抗网络，预印本，https://arxiv.org/abs/1703.10847, 2017.
[37] X.Yang，G.Tartakovsky和A.Tartakowsky，《物理信息克里金：数据模型收敛的物理信息高斯过程回归方法》，预印本，https://arxiv.org/abs/1809.03461, 2018. ·Zbl 1453.62651号
[38] L.Yu，W.Zhang，J.Wang，和Y.Yu，Seqgan：具有政策梯度的序列生成对抗网，《第三十一届AAAI人工智能会议论文集》，2017年。
[39] D.Zhang、L.Lu、L.Guo和G.E.Karniadakis，量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性，J.Compute。物理。，397 (2019), 108850. ·Zbl 1454.65008号
[40] Y.Zhang，Z.Gan，K.Fan，Z.Chen，R.Henao，D.Shen，L.Carin，用于文本生成的对抗性特征匹配，预印本，https://arxiv.org/abs/11706.03850, 2017.
[41] J.-Y.Zhu、T.Park、P.Isola和A.A.Efros，使用循环一致对抗网络进行未成对的图像到图像转换，预印本，https://arxiv.org/abs/1703.10593, 2017.
[42] Y.Zhu和N.Zabaras，用于代理建模和不确定性量化的贝叶斯深度卷积编解码网络，J.Compute。物理。，366（2018），第415-447页·Zbl 1407.62091号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。