王恒杰;罗伯特·普莱纳斯;阿帕纳州钱德拉莫利什瓦兰;拉明·博斯塔纳巴德 马赛克流：一个可转移的深度学习框架，用于解决不可见域上的PDE。 （英语） Zbl 1507.65215号 计算。方法应用。机械。工程师。 389，文章ID 114424，26 p.（2022）. 摘要：在求解偏微分方程（PDE）时，越来越多地使用基于物理的神经网络（PINN）来取代/增强传统的数值方法。虽然最先进的PINN具有许多吸引人的功能，但它们近似于PDE系统的特定实现，因此是特定于问题的。也就是说，每次边界条件（BC）和域形状/大小发生变化时，都需要对模型进行重新训练。这一限制禁止将PINN应用于实际或大规模工程问题，尤其是因为与培训相关的成本和工作量很大。我们介绍了一种通过深度神经网络求解边值问题（BVP）的可转换框架，该框架可一次性训练，并可用于各种不可见域和BC。我们首先介绍基因组流动网络（GFNet），一种神经网络，可以在一个称为基因组然后，我们提议马赛克流（MF）预测器，这是一种新的迭代算法，在保留解的空间正则性的同时，将GFNet对具有未知大小/形状的大域和BCs上的BVP的推断组合在一起。我们证明，我们的框架可以估计拉普拉斯方程和纳维-斯托克斯方程在不可见形状和BCs域中的解，这些不可见形状和BCs分别是训练域的1200倍和12倍。由于我们的框架消除了对看不见的域和BC重新训练模型的需要，因此与最新技术相比，它显示了多达3个数量级的加速。 引用于8文件 MSC公司： 65M99型 偏微分方程、初值和含时初边值问题的数值方法 68T07型 人工神经网络与深度学习 关键词：神经网络;可转移的深度学习;科学机器学习;产品开发工程师;Navier-Stokes方程 软件：TensorFlow公司;github;亚当;掌中宽带;NSF网络;PIN码NTK码;GPy火炬;PyTorch公司;hp-车辆识别号;XPINN公司;Xception公司;FPIN编号;F3DAM公司;DeepONet（深度网络）;皮亚姆集团;开放式泡沫;PPINN公司;L-BFGS公司;rpart公司 PDF格式BibTeX公司 XML格式引用 \textit{H.Wang}等人，计算。方法应用。机械。工程389，文章ID 114424，26 p.（2022；Zbl 1507.65215） 全文： 内政部 arXiv公司 参考文献： [1] 福克斯·R·W。；麦克唐纳，A.T。；Mitchell，J.W.，Fox和McDonald的《流体力学导论》（2020），John Wiley&Sons [2] Incorpera，F.P。；Lavine，A.S。；Bergman，T.L。；DeWitt，D.P.，《传热传质基础》（2007），威利 [3] Belytschko，T。；刘伟凯。；莫兰，B。；Elkhodary，K.，《连续统和结构的非线性有限元》（2013），John wiley&sons·Zbl 1279.74002号 [4] Kreyszig，E.，《高等工程数学》（2010），John Wiley&Sons [5] J.Slotnick、A.Khodadoust、J.Alonso、D.Darmofal、W.Gropp、E.Lurie、D.Mavrilis，《2030年CFD愿景研究：革命性计算空气科学之路》，技术代表，2014年。 [6] M.C.肯尼迪。；O'Hagan，A.，《当快速近似可用时预测复杂计算机代码的输出》，Biometrika，87，1，1-13（2000）·Zbl 0974.62024号 [7] 普莱纳斯，R。；Oune，N。；Bostanabad，R.，《演化高斯过程》，J.Mech。设计。(2021) [8] Rasmussen，C.E.，机器学习的高斯过程（2006）·Zbl 1177.68165号 [9] Alpaydin，E.，《机器学习导论》（2014），麻省理工学院出版社·Zbl 1298.68002号 [10] 塞尔诺，T。；阿特金森，B。；雷普利，B。；Ripley，M.B.，《Rpart:递归分区和回归树》（2014） [11] Bostanabad，R.，通过传输学习从二维图像重建三维微观结构，计算。辅助设计。，128，第102906条pp.（2020），http://www.sciencedirect.com/science/article/pii/S0010448520900993 [12] Chan，Y.-C。；艾哈迈德·F。；Wang，L。；Chen，W.，Metaset：探索数据驱动超材料设计的形状和属性空间，J.Mech。设计。，143, 3 (2021) [13] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号 [14] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015），https://www.ncbi.nlm.nih.gov/pubmed/26017442网址 [15] 莫扎法尔，M。；博斯塔纳巴德，R。；Chen，W。；Ehmann，K。；曹，J。；Bessa，M.，深度学习预测路径依赖性可塑性，Proc。国家。阿卡德。科学。美国，116，52，26414-26420（2019），https://www.ncbi.nlm.nih.gov/pubmed/31843918 [16] Rasp，S。；普里查德，M.S。；Gentine，P.，《深入学习在气候模型中表示亚网格过程》，Proc。国家。阿卡德。科学。，115, 39, 9684-9689 (2018) [17] 萨哈，S。；甘，Z。；程，L。；高杰。；卡夫卡，O.L。；谢，X。；李，H。；Tajdari，M。；Kim，H.A。；Liu，W.K.，分层深度学习神经网络（hidenn）：计算科学与工程的人工智能（ai）框架，计算。方法应用。机械。工程，373，第113452条pp.（2021），https://www.sciencedirect.com/science/article/pii/S004578252030637X ·Zbl 1506.68110号 [18] Suh，Y。；博斯塔纳巴德，R。；Y.Won，《深度学习预测沸腾传热》，《科学》。众议员，11，1，5622（2021） [19] Wang，L。；Chan，Y.C。；艾哈迈德·F。；刘，Z。；朱，P。；Chen，W.，基于机械的学习和超材料系统设计的深度生成建模，计算。方法应用。机械。工程，372，第113377条pp.（2020）·Zbl 1506.74216号 [20] 你，H。；Yu，Y。；特拉斯克，N。；M.古利安。；D'Elia，M.，从高保真合成数据中进行非局部物理的数据驱动学习，计算。方法应用。机械。工程，374，第113553条pp.（2021），https://www.sciencedirect.com/science/article/pii/S0045782520307386 ·Zbl 1506.74505号 [21] Chollet，F.，《Python深度学习》（2017），曼宁出版公司。 [22] 博斯塔纳巴德，R。；Chan，Y.C。；Wang，L.W。；朱，P。；Chen，W.，《大数据的全球近似高斯过程及其在数据驱动超材料设计中的应用》，J.Mech。设计。，141, 11 (2019) [23] 加德纳，J.R。；普莱斯，G。；宾德尔，D。；温伯格，K.Q。；Wilson，A.G.，Gpytorch：带gpu加速的Blackbox矩阵矩阵高斯过程推理（2018），arXiv预印本arXiv:1809.11115 [24] Paszke，A。；毛重，S。；钦塔拉，S。；查南，G。；杨，E。；德维托，Z。；林，Z。；Desmaison，A。；安提瓜，L。；Lerer，A.，《Pytorch中的自动区分》（2017） [25] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378686-707（2019）·Zbl 1415.68175号 [26] Griewank，A.，《关于自动微分》，数学。掠夺。最新开发应用。，6, 6, 83-107 (1989) ·Zbl 0696.65015号 [27] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《隐藏的流体力学：从流动可视化中学习速度和压力场》，科学，367，6481，1026-1030（2020），https://www.ncbi.nlm.nih.gov/pubmed/32001523 ·Zbl 1478.76057号 [28] 雅格塔普，A.D。；Karniadakis，G.E.，《扩展物理信息神经网络（xpins）：基于广义时空域分解的非线性偏微分方程深度学习框架》，Commun。计算。物理。，28, 5, 2002-2041 (2020) ·Zbl 07419158号 [29] 蒋春明。；Esmaeilzadeh，S。；Azizzadenesheli，K。；Kashinath，K。；穆斯塔法，M。；Tchelepi，H.A。；马库斯，P。；Anandkumar，A.，MeshfreeFlowNet:一个物理约束的深度连续时空超分辨率框架（2020） [30] Kharazmi，E。；张，Z。；Karniadakis，G.E.，Hp-vpinns：具有区域分解的变分物理信息神经网络（2020），arXiv预印本arXiv:.05385·Zbl 1506.68105号 [31] Li，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，《神经运算符：偏微分方程的图形核网络》（2020），arXiv预印本arXiv:2003.03485 [32] X孟。；Li，Z。；张，D。；Karniadakis，G.E.，Ppinn：时间相关pde的准实物理信息神经网络，计算。方法应用。机械。工程，370，第113250条pp.（2020）·Zbl 1506.65181号 [33] Lu，L.等人。；Jin，P。；庞，G。；张，Z。；Karniadakis，G.E.，基于算子的普遍逼近定理，通过deeponet学习非线性算子，Nat.Mach。智力。，3, 3, 218-229 (2021) [34] Schwarz，H.A.，Esammelle Mathematische Abhandlungen，第260卷（1972年），美国数学学会。 [35] 格雷夫，K。；Srivastava，R.K。；Koutník，J。；Steunebrink，B.R。；Schmidhuber，J.，《Lstm:搜索空间探索》，IEEE Trans。神经网络。学习。系统。，28, 10, 2222-2232 (2017), https://www.ncbi.nlm.nih.gov/pubmed/27411231 [36] Hochreiter，J.，Seppassd schmidhuber，长短记忆，神经计算。，1735-1780年（1997年）9月8日，https://www.ncbi.nlm.nih.gov/pubmed/9377276 [37] R.Pascanu，T.Mikolov，Y.Bengio，《关于训练递归神经网络的困难》，载《机器学习国际会议》，第1310-1318页。 [38] 何凯、张旭、任松生、孙振中，图像识别的深度剩余学习，载《IEEE计算机视觉与模式识别会议论文集》，第770-778页。 [39] O.Ronneberger，P.Fischer，T.Brox，《U-net：生物医学图像分割的卷积网络》，收录于：医学图像计算和计算机辅助干预国际会议，Springer，第234-241页。 [40] C.Jiang，K.Kashinath，P.Marcus，通过可微pde层在cnns中实施物理约束，收录于：ICLR 2020深度神经模型和微分方程集成研讨会。 [41] Wu，K。；Xiu，D.，模态空间中偏微分方程的数据驱动深度学习，J.Compute。物理。，408，第109307条，第（2020）页·Zbl 07505629号 [42] X.Guo，W.Li，F.Iorio，用于稳定流近似的卷积神经网络，摘自：第22届ACM SIGKDD国际知识发现和数据挖掘会议论文集，第481-490页。 [43] 巴特纳加，S。；阿夫沙尔，Y。；潘，S。；Duraisamy，K。；Kaushik，S.，使用卷积神经网络预测空气动力流场，计算。机械。，64,2525-545（2019）·Zbl 1468.76051号 [44] Obiols-Sales，O。；毗湿奴，A。；马来亚州。；Chandramowlishwaran，A.，Cfdnet：基于深度学习的流体模拟加速器，（超级计算国际会议论文集（2020）），arXiv:2005.04485 [45] Wandel，N。；Weinmann，M。；Klein，R.，《利用物理知识进行深度学习的3D快速流体模拟》，1-10（2020），arXiv，arXiv:2012.1893 [46] 日内瓦，N。；Zabaras，N.，用物理约束的深度自回归网络建模pde系统的动力学，J.Compute。物理。，403，第109056条pp.（2020）·Zbl 1454.65130号 [47] 莫，S。；Zhu，Y。；扎巴拉斯，北。；施，X。；Wu，J.，非均匀介质中动态多相流不确定性量化的深度卷积编解码网络，水资源。研究，55，1703-728（2019） [48] Zhu，Y。；Zabaras，N.，BayesIan深度卷积编码器-解码器网络，用于代理建模和不确定性量化，J.Compute。物理。，366, 415-447 (2018), http://www.sciencedirect.com/science/article/pii/S0021999118302341 ·Zbl 1407.62091号 [49] W.Dong，J.Liu，Z.Xie，D.Li，基于自适应神经网络的近似加速欧拉流体模拟，载《高性能计算、网络、存储和分析国际会议论文集》，2019年，第1-22页。 [50] F.Cholet，Xception:深度学习与深度可分离卷积，摘自：IEEE计算机视觉和模式识别会议记录，2017年，第1251-1258页。 [51] Simonyan，K。；Zisserman，A.，《用于大规模图像识别的极深卷积网络》（2014），arXiv预印本arXiv:1409.1556 [52] C.Szegedy，V.Vanhoucke，S.Ioffe，J.Shlens，Z.Wojna，《重新思考计算机视觉的初始架构》，收录于：IEEE计算机视觉和模式识别会议记录，第2818-2826页。 [53] 特拉斯克，N。；帕特尔·R·G。；格罗斯，B.J。；Atzberger，P.J.，《Gmls-nets:从非结构化数据学习的框架》（2019），arXiv预印本arXiv:1909.05371 [54] 日内瓦，N。；Zabaras，N.，《利用贝叶斯深度神经网络量化雷诺平均湍流模型中模型的不确定性》，J.Compute。物理。，383, 125-147 (2019) ·Zbl 1451.76059号 [55] Ling，J。；Kurzawski，A。；Templeton，J.，使用嵌入不变性的深度神经网络进行雷诺平均湍流建模，J.流体力学。，807，155-166（2016）·Zbl 1383.76175号 [56] E.渭南。；Yu，B.，The deep ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号 [57] Kharazmi，E。；张，Z。；Karniadakis，G.E.，解偏微分方程的变分物理信息神经网络（2019），arXiv预印本arXiv:.00873 [58] 庞，G。；Lu，L.等人。；Karniadakis，G.E.，Fpinns:分数物理信息神经网络，SIAM J.Sci。计算。，41、4、A2603-A2626（2019）·兹比尔1420.35549 [59] 邓，B。；Shin，Y。；Lu，L.等人。；张，Z。；Karniadakis，G.E.，对流扩散方程产生的学习算子的深网收敛速度（2021），arXiv预印本arXiv:2102.10621 [60] Lanthaler，S。；米什拉，S。；Karniadakis，G.E.，深度网的误差估计：无限维深度学习框架（2021），arXiv预印本arXiv:2102.09618 [61] Chen，T。；Chen，H.，具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用，IEEE Trans。神经网络。，6, 4, 911-917 (1995) [62] 奥兹贝，A.G。；Laizet，S。；Tzirakis，P。；Rizos，G。；Schuller，B.，Poisson CNN:求解具有可变网格和Dirichlet边界条件的Poisson方程的卷积神经网络，1-36（2019），arXiv:1910.08613 [63] Maulik，R。；Sharma，H。；帕特尔，S。；Lusch，B。；Jennings，E.，使用势流和机器学习加速RANS湍流建模，1-21（2019），arXiv:1910.10878 [64] 沙哈内，S。；库马尔，P。；Vanka，S.P.，《任意纵横比和攻角的单柱和串联椭圆柱绕流的卷积神经网络》（2020年），arXiv。arXiv:2012.10768号 [65] J.汤普森。；Schlachter，K。；Sprechmann，P。；Perlin，K.，用卷积网络加速欧拉流体模拟，（第34届国际机器学习会议，2017（2017），ICML），5258-5267，arXiv:1607.03597 [66] Y.Bengio，J.Louradour，R.Collobert，J.Weston，《课程学习》，载于《第26届机器学习国际年会论文集》，第41-48页。 [67] 克鲁格，K.A。；大研，P.，《灵活塑造：小步学习如何帮助》，《认知》，第110、3、380-394页（2009年） [68] 奥尔森，L.N。；Schroder，J.B.，PyAMG：Python V4.0中的代数多重网格解算器（2018），https://github.com/pyamg/pyamg [69] Xu，J.，通过空间分解和子空间校正的迭代方法，SIAM Rev.，34，4，581-613（1992）·Zbl 0788.65037号 [70] 托塞利，A。；Widlund，O.，《区域分解方法——算法和理论》，第34卷（2004年），施普林格科学与商业媒体 [71] Mathew，T.，偏微分方程数值解的区域分解方法，第61卷（2008），施普林格科学与商业媒体·Zbl 1147.65101号 [72] 马丁·阿巴迪，E.B。；阿加瓦尔（Ashish Agarwal）。；保罗·巴勒姆。；陈志峰，A.D。；克雷格·雪铁龙。；Greg S.Corrado，A。；杰弗里·迪恩，I.G。；马蒂厄·德文。；桑杰·盖马瓦特。；安德鲁·哈普，Y.J。；杰弗里·欧文。；迈克尔·伊萨德。；拉斐尔·乔泽福维奇。；Lukasz Kaiser，医学硕士。；曼朱纳特·库德勒。；乔什·利文伯格（Josh Levenberg）。；Dan Mané。；Rajat Monga，J.S。；雪莉·摩尔。；德里克·默里。；克里斯·奥拉。；Benoit Steiner，P.T。；伊利亚·萨茨克弗。；库纳尔·塔尔瓦尔。；文森特·范胡克，F.V。；维贾伊·瓦苏德万。；Oriol Vinyals，M.W。；皮特·典狱长。；马丁·瓦滕伯格（Martin Wattenberg）。；Yu，Yuan。；Zheng，X.，TensorFlow:异构系统上的大规模机器学习（2015），http://tensorflow.org/ [73] D.P.Kingma，J.L.Ba，Adam：《随机优化方法》，载于：第三届国际学习表征会议，ICLR 2015-会议跟踪记录，2015年，第1-15页，arXiv:1412.6980。 [74] 王，S。；Teng，Y。；Perdikaris，P.，《理解和缓解物理信息神经网络中的梯度病理学》，1-28（2020），arXiv:2001.04536 [75] Sobol，I.M.，《关于拟蒙特卡罗积分、模拟中的数学和计算机》，103-112（1998） [76] 金，X。；蔡，S。；李，H。；Karniadakis，G.E.，Nsfnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络，J.Compute。物理。，426，第109951条pp.（2021），arXiv:2003.06496·Zbl 07510065号 [77] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存bfgs方法》，数学。程序。，45, 1, 503-528 (1989) ·兹比尔0696.90048 [78] Fischer，P.F.，《不可压缩navier-stokes方程谱元解的重叠schwarz方法》，J.Compute。物理。，133, 1, 84-101 (1997) ·Zbl 0904.76057号 [79] Brakkee，E。；韦塞林，P。；Kassels，C.，一般坐标下不可压缩navier-stokes方程的Schwarz区域分解，国际。J.数字。液体方法，32，2，141-173（2000）·Zbl 0965.76049号 [80] 菲舍尔，P.F。；Lottes，J.W.，《谱元法的混合schwarz多重网格法：对navier-stokes的扩展》（科学与工程领域分解方法（2005），Springer），35-49·Zbl 1067.65123号 [81] 布莱奥，E。；Cherel，D。；Rousseau，A.，《朝向navier-stokes方程的优化schwarz方法》，J.Sci。计算。，66, 1, 275-295 (2016) ·Zbl 1381.76254号 [82] 贾萨克，H。；杰姆科夫，A。；Z.图科维奇。；其他人，G.E.，OpenFOAM:复杂物理模拟的C++库，（数值动力学耦合方法国际研讨会，第1000卷（2007），IUC Dubrovnik Croatia），1-20 [83] 蔡，S。；王，Z。；王，S。；Paris，P.，《传热问题的物理信息神经网络》，J.heat transfer（2021） [84] 雅格塔普，A.D。；川口，K。；Karniadakis，G.E.，《自适应激活函数加速深度和物理信息神经网络的收敛》，J.Compute。物理。，404，第109136条pp.（2020）·Zbl 1453.68165号 [85] 王，S。；Yu，X。；Perdikaris，P.，《钉无法训练的时间和原因：神经切线内核透视》（2020），arXiv预印本arXiv:2007.14527 [86] L.Bottou，O.Bousquet，《大规模学习的权衡》，载《第20届神经信息处理系统国际会议论文集》，2007年，第161-168页。 [87] Bottou，L.，随机梯度下降的大尺度机器学习，（2010年《COMPSTAT学报》，Springer），177-186·Zbl 1436.68293号 [88] Jin，P。；Lu，L.等人。；Tang，Y。；Karniadakis，G.E.，根据数据分布和神经网络平滑度量化深度学习中的泛化误差，神经网络。，130, 85-99 (2020) ·Zbl 1475.68315号 [89] Hornik，K.，多层神经网络的逼近能力，神经网络。，4, 1991, 251-257 (1991) [90] Debao，C.，σ函数叠加的逼近度，逼近理论应用。，9, 3, 17-28 (1993) ·Zbl 0784.41011号 [91] Li，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查里亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的Fourier神经算子（2020），arXiv预印本arXiv:2010.08895 [92] 伯格，J。；Nyström，K.，《复杂几何中偏微分方程的统一深度人工神经网络方法》，神经计算，31728-41（2018） [93] 北苏库马尔。；Srivastava，A.，《物理信息深度神经网络中距离函数边界条件的精确施加》（2021），arXiv预印本arXiv:2104.08426 [94] Sun，L。；高，H。；潘，S。；Wang，J.-X.，基于物理约束的无模拟数据深度学习的流体流动替代建模，计算。方法应用。机械。工程，361，第112732条pp.（2020）·兹比尔1442.76096 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。