王忠坚;辛，杰克;张志文 DeepParticle：通过深度神经网络对交互粒子方法生成的数据进行学习，以最小化Wasserstein距离。 （英文） Zbl 07540355号 J.计算。物理学。 464，文章ID 111309，15 p.（2022）. 摘要：我们介绍了DeepParticle，这是一种基于交互粒子方法（IPM）计算的数据学习和生成具有物理参数的随机动力系统的不变测度的方法。我们利用深度神经网络（DNN）的表达能力来表示样本从给定的输入（源）分布到任意目标分布的转换，既不假设分布函数为闭合形式，也不假设样本转换为可逆，也不假定样本状态空间是有限的。在训练阶段，我们通过最小化输入样本和目标样本之间的离散Wasserstein距离来更新网络的权重。为了减少计算量，我们提出了一种迭代的分治算法（一种微型内点算法），以找到Wasserstein距离内的最优转移矩阵。我们给出了数值结果，以证明我们的方法在使用IPM计算三维混沌流中的反应扩散波前速度时加速计算随机动力系统的不变测度的性能。物理参数是一个很大的Péclet数，反映了我们感兴趣的对流主导的状态。 引用于2文件 MSC公司： 68泰克 人工智能 6500万 偏微分方程、初值和含时初边值问题的数值方法 65新元 偏微分方程边值问题的数值方法 关键词：物理参数化不变测度;相互作用粒子法;深度学习;瓦瑟斯坦距离;混沌流中的前沿速度 软件：DGM公司;MgNet公司;PDE-网络;DeepONet（深度网络） PDF格式BibTeX公司 XML格式引用 \textit{Z.Wang}等人，J.Compute。物理学。464，文章ID 111309，15 p.（2022；Zbl 07540355） 全文： 内政部 arXiv公司 参考文献： [1] Bao，G。；叶，X。；臧，Y。；周浩，弱对抗网络反问题的数值解法，反问题。，第36、11条，第115003页（2020年）·Zbl 1452.65308号 [2] Bar-Sinai，Y。；霍耶，S。；希基，J。；Brenner，M.，学习PDE的数据驱动离散化，Bull。美国物理。Soc.，63（2018年） [3] 汉堡，M。；鲁索托，L。；Osher，S.，《深度学习与偏微分方程之间的联系》，《欧洲应用杂志》。数学。，32, 3, 395-396 (2021) ·Zbl 1479.35002号 [4] 蔡，Z。；陈，J。；Liu，M.，线性平流反应方程的最小二乘ReLU神经网络（LSNN）方法，计算。物理。，第110514条pp.（2021）·Zbl 07515414号 [5] 蔡，Z。；陈，J。；刘，M。；Liu，X.，深度最小二乘法：求解椭圆偏微分方程的无监督学习数值方法，J.Compute。物理。，420，第109707条pp.（2020）·Zbl 07506625号 [6] 卡莫纳，R。；Lauriere，M.，平均场控制和博弈数值解的机器学习算法的收敛性分析：I-遍历情况（2019年7月13日） [7] 卡莫纳，R。；Lauriere，M.，平均场控制和博弈数值解机器学习算法的收敛性分析：II-有限水平情况（2019年8月5日） [8] Chen，W。；王，Q。；赫塞文，J。；Zhang，C.，《非线性问题降阶建模的基于物理的机器学习》，J.Compute。物理。，446，第110666条pp.（2021）·Zbl 07516475号 [9] Childress，S。；Gilbert，A.，《拉伸、扭转、折叠：快速发电机》，物理专题讲座笔记，第37卷（1995年），Springer·Zbl 0841.76001号 [10] 科恩，N。；谢里尔，O。；Shashua，A.，《深度学习的表现力：张量分析》，（学习理论会议（2016）），698-728 [11] Cuturi，M.，《Sinkhorn距离：最优传输的光速计算》，高级神经信息处理。系统。，26, 2292-2300 (2013) [12] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统。，2, 4, 303-314 (1989) ·Zbl 0679.94019号 [13] E、 W。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。Stat.，5，4，349-380（2017）·Zbl 1382.65016号 [14] E、 W。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号 [15] Ellacott，S.，《神经网络数值分析的各个方面》，数字学报。，3, 145-202 (1994) ·Zbl 0807.65007号 [16] Freidlin，M.，《函数积分与偏微分方程》（1985），普林斯顿大学出版社·Zbl 0568.60057号 [17] 加洛韦，D。；Proctor，M.，平滑速度场中具有真实扩散的快速发电机的数值计算，《自然》，第356、6371、691-693页（1992年） [18] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，第1卷（2016），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1373.68009号 [19] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，《高级神经信息处理》。系统。，27 (2014) [20] Han，J。；Jentzen，A。；E、 W.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号 [21] He，J。；李，L。；徐，J。；Zheng，C.，Relu深度神经网络和线性有限元，J.Compute。数学。，38, 3, 502-527 (2020) ·Zbl 1463.68072号 [22] He，J。；Xu，J.，Mgnet：多重网格和卷积神经网络的统一框架，科学。中国数学。，62, 7, 1331-1354 (2019) ·Zbl 1476.65026号 [23] 霍尼克，K。；Stinchcombe先生。；White，H.，多层前馈网络是通用逼近器，神经网络。，2, 5, 359-366 (1989) ·Zbl 1383.92015年 [24] 高，C。；Liu，Y.Y。；Xin，J.，通过弹道轨道估计ABC和Kolmogorov流中g方程前沿速度的半拉格朗日计算，SIAM J.多尺度模型。模拟。，20, 1, 107-117 (2022) ·Zbl 1482.76064号 [25] 南卡鲁穆里。；Tripathy，R。；Bilinis，I。；Panchal，J.，使用深层神经网络的高维随机椭圆偏微分方程的无模拟解，J.Compute。物理。，404，第109120条pp.（2020）·Zbl 1453.65021号 [26] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题，专刊3：深度学习和偏微分方程之间的联系。特刊3：深度学习与偏微分方程之间的联系，欧洲期刊应用。数学。，32, 421-435 (2021) ·Zbl 1501.65154号 [27] 科比泽夫，I。；普林斯，S。；Brubaker，M.，《规范化流：当前方法的介绍和回顾》，IEEE Trans。模式分析。机器。智力。（2020年） [28] 科尔莫戈罗夫，A。；彼得罗夫斯基，I。；Piskunov，N.，《结合物质增加的扩散方程的研究及其在生物问题中的应用》，Bull。莫斯科州立大学。A： 数学。机械。，1, 6, 1-25 (1937) [29] 库茨，J.N.，《流体动力学深度学习》，J.流体力学。，814, 1-4 (2017) ·Zbl 1383.76380号 [30] 拉加里斯，I。；利卡斯，A。；Fotiadis，D.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) [31] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436（2015） [32] Lee，H.，求解微分方程的神经算法，J.Compute。物理。，91, 110-131 (1990) ·Zbl 0717.65062号 [33] 李伟（Li，W.）。；尹，P。；Osher，S.，用Fisher信息正则化计算最佳运输距离，科学杂志。计算。，75, 3, 1581-1595 (2018) ·兹伯利1415.49030 [34] Li，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的傅里叶神经算子（2020），arXiv预印本 [35] Lin，A。；冯，S。；李伟（Li，W.）。；Nurbekyana，L。；Osher，S.，《交替使用人口和控制神经网络解决高维随机平均场游戏》，Proc。国家。阿卡德。科学。，第118、31条，第2024713118页（2021） [36] 长，Z。；卢，Y。；Dong，B.，PDE-Net 2.0：使用数字符号混合深度网络从数据中学习PDE，J.Compute。物理。，399，第108925条，第（2019）页·Zbl 1454.65131号 [37] 长，Z。；卢，Y。；马，X。；Dong，B.，PDE-Net:从数据中学习PDE，（机器学习国际会议（2018）），3208-3216 [38] 长，Z。；尹，P。；Xin，J.，分类线性不可分数据的神经网络训练中缓慢到快速权重进化的全局收敛和几何特征，逆问题。成像，15，1，41-62（2021）·Zbl 1469.90113号 [39] 卢，J。；沈，Z。；Yang，H。；Zhang，S.，光滑函数的深度网络近似，SIAM J.Math。分析。，53, 5, 5465-5506 (2021) ·Zbl 07407717号 [40] Lu，L.等人。；Jin，P。；Karniadakis，G.，Deeponet：基于算子的普遍逼近定理学习用于识别微分方程的非线性算子（2019） [41] Lyu，J。；王，Z。；Xin，J。；Zhang，Z.，一种收敛的相互作用粒子方法和混沌流中KPP前沿速度的计算，SIAM J.Numer。分析。（2022），正在出版·Zbl 07538279号 [42] Lyu，J。；Xin，J。；Yu，Y.，通过谱方法通过自适应基学习计算剩余扩散率，Numer。数学。，理论方法应用。，10, 2, 351-372 (2017) ·Zbl 1389.76035号 [43] Lyu，J。；Xin，J。；Yu，Y.，通过超分辨率深度神经网络通过自适应基学习计算剩余扩散率，（Le Thi，H.A.；等，《知识工程的高级计算方法》，知识工程高级计算方法，ICCSAMA 2019。知识工程的高级计算方法。知识工程的先进计算方法，ICCSAMA 2019，智能系统和计算进展，第1121卷（2020年），279-290 [44] 米德，A。；Fernandez，A.，用前馈神经网络求解线性常微分方程，数学。计算。型号。，19, 12, 1-25 (1994) ·Zbl 0807.65079号 [45] Montanelli，H。；Du，Q.，使用稀疏网格的深层ReLU网络的新误差界，SIAM J.Math。数据科学。，1, 1, 78-92 (2019) ·Zbl 1513.68054号 [46] 诺伦，J。；陆克文，M。；Xin，J.，时空周期平流中KPP锋的存在和传播速度的变分原理，Dyn。部分差异。等于。，2, 1, 1-24 (2005) ·兹比尔1179.35166 [47] 佩雷，G。；Cuturi，M.，《计算最优运输》，Found。趋势马赫数。学习。，11, 5-6, 355-607 (2019) [48] Pinkus，A.，神经网络中MLP模型的近似理论，《数值学报》。，8, 143-195 (1999) ·Zbl 0959.68109号 [49] 秦，T。；Wu，K。；Xiu，D.，使用深度神经网络的数据驱动控制方程近似，J.Compute。物理。，395, 620-635 (2019) ·Zbl 1455.65125号 [50] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，非线性动力系统数据驱动发现的多步神经网络（2018） [51] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [52] Rudy，S。；库茨，J.N。；Brunton，S.，具有时间步进约束的动力学和信号噪声分解的深度学习，J.Comput。物理。，396, 483-506 (2019) ·Zbl 1452.68170号 [53] 鲁索托，L。；Osher，S。；李伟（Li，W.）。；Nurbekyan，L。；Fung，S.，《解决高维平均场游戏和平均场控制问题的机器学习框架》，Proc。国家。阿卡德。科学。，117, 17, 9183-9193 (2020) [54] Schrijver，A.，《组合优化：多面体与效率》，第24卷（2003），施普林格科学与商业媒体·Zbl 1041.90001号 [55] 施瓦布，C。；Zech，J.，《高维度深度学习》，Res.Rep.，2017（2017） [56] 沈，L。；Xin，J。；Zhou，A.，三维细胞流和ABC流中KPP波前速度的有限元计算，数学。模型。自然现象。，8, 3, 182-197 (2013) ·Zbl 1416.65465号 [57] 沈，L。；Xin，J。；周，A.，细胞流和猫眼流中KPP波前速度的有限元计算，科学杂志。计算。，55, 2, 455-470 (2013) ·Zbl 1366.76055号 [58] 沈，Z。；Yang，H。；Zhang，S.，近似误差为宽度与深度平方根幂倒数的深度网络，神经计算。，33, 4, 1005-1036 (2021) ·兹比尔1521.41007 [59] Sinkhorn，R.，《任意正矩阵和双随机矩阵之间的关系》，《数学年鉴》。Stat.，第35、2、876-879页（1964年）·Zbl 0134.25302号 [60] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，3751339-1364（2018）·Zbl 1416.65394号 [61] Villani，C.，《最佳交通主题》，第58卷（2021年），美国数学。Soc公司。 [62] 王，Q。；Ripamonti，N。；Hesthaven，J.，基于Mori-Zwanzig形式主义的参数POD-Galerkin降阶模型的递归神经网络闭包，J.Compute。物理。，410，第109402条pp.（2020）·Zbl 1436.65093号 [63] Wang，Y。；张，S。；Chung，E。；尤芬迪耶夫。；Wang，M.，深度多尺度模型学习，J.Compute。物理。，406，第109071条pp.（2020）·Zbl 1454.76008号 [64] 王，Z。；Zhang，《使用深度学习方法解决界面问题的无网格方法》，J.Compute。物理。，400，第108963条pp.（2020）·Zbl 1454.65173号 [65] Wright，S.，《原始-对偶内点方法》（1997），SIAM·Zbl 0863.65031号 [66] Wu，K。；Xiu，D.，模态空间中偏微分方程的数据驱动深度学习，J.Compute。物理。，第109307条pp.（2020）·Zbl 07505629号 [67] Xin，J.，《随机媒体前沿导论》，第5卷（2009），Springer科学与商业媒体·Zbl 1188.35003号 [68] Yang，L。；X孟。；Karniadakis，G.E.，B-PINNS：用于噪声数据的正向和反向PDE问题的贝叶斯物理学神经网络，J.Comput。物理。，425，第109913条pp.（2021）·Zbl 07508507号 [69] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·Zbl 1429.68260号 [70] Yoo，G。；Owhadi，H.，《带核流的神经网络内层的深度正则化和直接训练》（2020年） [71] 臧，Y。；Bao，G。；叶，X。；Zhou，H.，高维偏微分方程的弱对抗网络，J.Compute。物理。，411，第109409条pp.（2020）·Zbl 1436.65156号 [72] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 [73] Zhu，Y。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P。；Perdikaris，P.，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [74] 祖，P。；Chen，L。；Xin，J.，小扩散极限下时间周期细胞流中剩余KPP波前速度的计算研究，Physica D，31137-44（2015）·兹比尔1364.76105 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。