高一航;Ng，Michael K。 Wasserstein在基于物理信息的神经网络中生成对抗性不确定性量化。 （英语） Zbl 07536770号 J.计算。物理学。 463，文章ID 111270，28 p.（2022）. 摘要：本文研究了Wasserstein生成对抗网络（WGAN）的一种基于物理信息的算法，用于量化偏微分方程解的不确定性。通过在对抗性网络鉴别器中使用群排序激活函数，利用网络生成器来学习从初始/边界数据观察到的偏微分方程解的不确定性。在温和的假设下，我们证明了当样本数足够大时，计算生成器的泛化误差收敛于网络的高概率逼近误差。根据我们建立的误差界，我们还发现我们的物理通知WGAN对鉴别器容量的要求高于发电机容量。报告了偏微分方程合成示例的数值结果，以验证我们的理论结果，并证明了如何对偏微分方程的解和初始/边界数据的分布进行不确定性量化。然而，不确定性量化理论在内部各点的质量或准确性仍然是理论空白，需要进一步研究。 引用于4文件 MSC公司： 68泰克 人工智能 65立方厘米 概率方法，随机微分方程 6500万 偏微分方程、初值和含时初边值问题的数值方法 关键词：Wasserstein生成性对抗网络;半监督学习;数据驱动的科学计算;机器学习;不确定性量化;泛化理论 软件：AlexNet公司;ImageNet公司;Wasserstein甘;亚当;FPIN公司;电位计;DGM公司;DeepONet（深度网络）;DiffSharp（差异锐化）;PIN码NTK码;L-BFGS公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Gao}和\textit{M.K.Ng}，J.Compute。物理学。463，文章ID 111270，第28页（2022；Zbl 07536770） 全文： 内政部 arXiv公司 参考文献： [1] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行ImageNet分类，高级神经信息处理。系统。，25, 1097-1105 (2012) [2] Arjovsky，M。；钦塔拉，S。；Bottou，L.，Wasserstein生成性对抗网络，（第34届国际机器学习会议论文集。第34届机器学习国际会议论文集，机器学习研究论文集，PMLR，第70卷（2017）），214-223 [3] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，Generative Adversarial Nets，Advances in Neural Information Processing Systems，第27卷（2014年），Curran Associates，Inc。 [4] 葡萄酒，O。；凯撒，Ł。；Koo，T。；彼得罗夫，S。；Sutskever，I。；Hinton，G.，《作为外语的语法》，《高级神经信息处理》。系统。，28, 2773-2781 (2015) [5] 鲍曼，S.R。；维尔尼斯。；葡萄酒，O。；戴，A。；Jozefowicz，R。；Bengio，S.，从连续空间生成句子，（第20届SIGNLL计算自然语言学习会议论文集（2016），计算语言学协会：计算语言学协会，德国柏林），10-21 [6] 巴达瑙，D。；Cho，K。；Bengio，Y.，联合学习对齐和翻译的神经机器翻译（2014），arXiv预印本 [7] 米奥托，R。；Wang，F。；王，S。；蒋，X。；Dudley，J.T.，《医疗保健深度学习：回顾、机遇与挑战》，简介。生物信息。，19, 1236-1246 (2018) [8] Liang，Z。；张，G。；黄J.X。；Hu，Q.V.，利用电子病历进行医疗决策的深度学习，（2014 IEEE生物信息学和生物医学国际会议，2014 IEEE国际生物信息学与生物医学会议，BIBM（2014），IEEE），556-559 [9] 王，B。；梅兹里尼，A.M。；除雾器，F。；菲姆，M。；涂，Z。；布鲁德诺，M。；海贝-凯恩斯，B。；Goldenberg，A.，用于在基因组尺度上聚合数据类型的相似网络融合，《自然方法》，11，333（2014） [10] Psichogios，哥伦比亚特区。；Ungar，L.H.，过程建模的混合神经网络第一原理方法，AIChE J.，381499-1511（1992） [11] 拉加里斯，I.E。；利卡斯，A。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998) [12] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理信息神经网络：解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Comput。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [13] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号 [14] 庞，G。；卢，L。；Karniadakis，G.E.，《fPINNs:分数物理信息神经网络》，SIAM J.Sci。计算。，41，A2603-A2626（2019）·Zbl 1420.35459号 [15] 张，D。；卢，L。；郭，L。；Karniadakis，G.E.，量化物理信息神经网络中的总不确定性，用于解决正向和反向随机问题，J.Comput。物理。，397，第108850条pp.（2019）·Zbl 1454.65008号 [16] Yang，Y。；Perdikaris，P.，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394, 136-152 (2019) ·Zbl 1452.68171号 [17] 陈，X。；Duan，J。；Karniadakis，G.E.，《基于稀疏测量的随机对流扩散反应系统的学习和元学习》，《欧洲应用杂志》。数学。，32, 397-420 (2021) ·Zbl 07441294号 [18] Han，J。；Jentzen，A.，《求解高维偏微分方程的算法：从非线性蒙特卡罗到机器学习》（2020），arXiv预印本 [19] 王，S。；Yu，X。；Perdikaris，P.，《PINN何时以及为何无法训练：神经切线内核视角》（2020），arXiv预印本 [20] 米什拉，S。；Molinaro，R.，《物理信息神经网络（PINNs）用于近似PDE的泛化误差估计》（2020年），arXiv预印本 [21] 雅格塔普，A.D。；川口，K。；Karniadakis，G.E.，《自适应激活函数加速深度和物理信息神经网络的收敛》，J.Compute。物理。，404，第109136条pp.（2020）·兹比尔1453.68165 [22] 罗，T。；Yang，H.，《偏微分方程的双层神经网络：优化和泛化理论》（2020），arXiv预印本 [23] 雅格塔普，A.D。；川口，K。；Em Karniadakis，G.，深度和物理信息神经网络的斜率恢复局部自适应激活函数，Proc。R.Soc.A，数学。物理学。工程科学。，476，第20200334条pp.（2020）·Zbl 1472.68175号 [24] Darbon，J。；Langlois，G.P。；Meng，T.，通过神经网络结构克服某些Hamilton-Jacobi偏微分方程的维数灾难，Res.Math。科学。，7, 1-50 (2020) ·Zbl 1445.35119号 [25] Jentzen，A。；Salimova，D。；Welti，T.，深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明（2018），arXiv预印本 [26] Hutzenthaler，M。；Jentzen，A。；克鲁斯，T。；Anh Nguyen，T。；von Wurstemberger，P.，克服半线性抛物型偏微分方程数值逼近中的维数灾难，Proc。R.Soc.A，数学。物理学。工程科学。，476，第20190630条pp.（2020）·Zbl 1472.65157号 [27] Bolcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，P.，稀疏连接深度神经网络的最佳逼近，SIAM J.Math。数据科学。，1, 8-45 (2019) ·Zbl 1499.41029号 [28] Graepel，T.，《用高斯过程求解带噪线性算子方程：应用于常微分方程和偏微分方程》（ICML，第3卷（2003）），234-241 [29] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40，A172-A198（2018）·Zbl 1386.65030号 [30] Bilinis，I.，偏微分方程的概率解算器（2016），arXiv预印本 [31] Barth，A。；施瓦布，C。；Zollinger，N.，随机系数椭圆偏微分方程的多级蒙特卡罗有限元方法，数值。数学。，119, 123-161 (2011) ·Zbl 1230.65006号 [32] Yang，L。；X孟。；Karniadakis，G.E.，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络，J.Compute。物理。，425，第109913条pp.（2021）·Zbl 07508507号 [33] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号 [34] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 [35] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2013），arXiv预印本 [36] 奥德纳，A。；奥拉，C。；Shlens，J.，带辅助分类器GAN的条件图像合成，（机器学习国际会议，PMLR（2017）），2642-2651 [37] Yang，Y。；李，Z。；Wang，Y.，关于深度生成网络逼近分布的能力（2021），arXiv预印本 [38] 古拉贾尼，I。；艾哈迈德·F。；Arjovsky，M。；杜穆林，V。；Courville，A.C.，《Wasserstein Gans的改进训练》，神经信息处理系统进展，第30卷（2017年），Curran Associates，Inc。 [39] Shin，Y。；Darbon，J。；Karniadakis，G.E.，关于线性二阶椭圆和抛物线型偏微分方程的物理信息神经网络的收敛性（2020年），arXiv预印本·Zbl 1473.65349号 [40] Arora，S。；Risteski，A。；张，Y.，GAN是否了解分布？一些理论和经验，（国际学习表征会议（2018）） [41] Arora，S。；Ge，R。；梁，Y。；马，T。；张勇，生成对抗网（GANs）中的泛化与均衡，（机器学习国际会议，PMLR（2017）），224-232 [42] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·Zbl 1429.68260号 [43] 塔尼利安，美国。；Biau，G.，用群排序神经网络逼近Lipschitz连续函数，（国际人工智能与统计会议，PMLR（2021）），442-450 [44] 阿尼尔，C。；卢卡斯，J。；Grosse，R.，整理Lipschitz函数近似，（机器学习国际会议，PMLR（2019）），291-301 [45] Baydin，A.G。；Pearlmutter，B.A。；Radul，A.A。；Siskind，J.M.，《机器学习中的自动差异化：一项调查》，J.Mach。学习。第18号决议（2018年）·Zbl 06982909号 [46] Kingma，D.P。；Ba Adam，J.，随机优化方法（2014），arXiv预印本 [47] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号 [48] Pinkus，A.，MLP模型的近似理论，Acta Numer。1999, 8, 8, 143-195 (1999) ·Zbl 0959.68109号 [49] Arjovsky，M。；Bottou，L.，《面向生成性对抗网络训练的原则方法》（2017），arXiv预印本 [50] Bai，Y。；马，T。；Risteski，A.，《鉴别器的近似性意味着GAN的多样性》（国际学习表征会议（2019年）） [51] Liang，T.，《生成性对抗网络学习分布的良好程度》（2018），arXiv预印本 [52] 卢，Y。；Lu，J.，用于表示概率分布的深度神经网络的通用近似定理，（神经信息处理系统进展，第33卷（2020年），Curran Associates，Inc.），3094-3105 [53] De Ryck，T。；Lanthaler，S。；Mishra，S.，关于tanh神经网络对函数的逼近（2021），arXiv预印本·Zbl 07743575号 [54] 安东尼，M。；Bartlett，P.L。；Bartlett，P.L.，《神经网络学习：理论基础》，第9卷（1999），剑桥大学出版社：剑桥大学出版社·Zbl 0968.68126号 [55] Lei，J.，无界函数空间中Wasserstein距离下经验测度的收敛和集中，Bernoulli，26，767-798（2020）·Zbl 1455.60009号 [56] 布罗克，A。；Lim，T。；Ritchie，J.M。；韦斯顿，N.，《内省对抗网络的神经照片编辑》（2016），arXiv预印本 [57] 西格尔，J.W。；Xu，J.，带余弦和ReLU^k激活函数的浅层神经网络的高阶近似率，应用。计算。哈蒙。分析。，58，1-26（2022）·Zbl 1501.41006号 [58] 西格尔，J.W。；Xu，J.，具有一般激活函数的神经网络的逼近率，神经网络。，128, 313-321 (2020) ·Zbl 1480.41007号 [59] Wojtowytsch，S.，巴龙函数的表示公式和逐点性质（2020），arXiv预印本 [60] 火焰，R。；Courty，N。；Gramfort，A。；Alaya，M.Z。；Boisbunon，A。；Chambon，S。；教堂，L。；Corenflos，A。；Fatras，K。；福尼尔，北。；Gautheron，L。；新墨西哥州盖劳。；Janati，H。；阿科托马蒙杰，A。；雷德科，I。；罗莱特，A。；舒茨，A。；Seguy，V。；萨瑟兰，D.J。；Tavenard，R。；Tong，A。；Vayer，T.，《Pot:Python最优传输》，J.Mach。学习。决议，22，1-8（2021）·兹伯利07370595 [61] 比约克，澳大利亚。；Bowie，C.，计算正交矩阵最佳估计的迭代算法，SIAM J.Numer。分析。，8, 358-364 (1971) ·Zbl 0221.65075号 [62] Hopf，E.，偏微分方程ut+uux=μxx，Commun。纯应用程序。数学。，3, 201-230 (1950) ·Zbl 0039.10403号 [63] 卢，L。；Jin，P。；Karniadakis，G.E.，DeepONet：基于算子的普遍逼近定理学习用于识别微分方程的非线性算子（2019），arXiv预印本 [64] 李，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，《神经算子：偏微分方程的图核网络》（2020），arXiv预印本 [65] 郭，X。；李伟（Li，W.）。；Iorio，F.，用于稳定流近似的卷积神经网络，（第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集（2016）），481-490 [66] 巴特纳加，S。；阿夫沙尔，Y。；潘，S。；Duraisamy，K。；Kaushik，S.，使用卷积神经网络预测空气动力流场，计算。机械。，64, 525-545 (2019) ·Zbl 1468.76051号 [67] Ma，T.，机器学习理论讲稿（2021） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。