康斯坦丁·格里戈;Koutsourlakis，Phaedon Stelios公司 一种物理感知的概率机器学习框架，用于小数据领域中的粗粒度高维系统。 （英语） Zbl 1453.62414号 J.计算。物理学。 397，文章ID 108842，30 p.（2019）. 概要：粗粒度模型的自动构建是物理系统计算机仿真中的一个关键组件，也是与不确定性量化相关的各种分析和设计任务的关键促成因素。当考虑计算要求较高的正向模型时，参数输入的高维和可生成的训练输入/输出对的有限数量严重抑制了相关方法。在建模过程中经常会遇到这样的情况随机的，随机的异质介质，其中微观结构的规模需要使用高维随机矢量和非常精细的控制方程离散化。本文提出了一种概率机器学习框架，它能够通过利用问题的物理结构以及上下文知识的各个方面，在存在小数据的情况下运行。因此，在外推的条件。它通过一个编码器-解码器方案统一了维度和模型降阶任务，该方案同时识别出一组稀疏的显著低维微观结构特征，并校准一个廉价的粗粒度模型，该模型可以预测输出。信息损失以概率预测估计的形式进行说明和量化。学习引擎基于随机变量推理。我们演示了如何使用变分目标不仅训练粗粒度模型，还可以建议改进预测的细化。 引用于7文件 理学硕士： 2015年1月62日 贝叶斯推断 68T05型 人工智能中的学习和自适应系统 76S05号 多孔介质中的流动；过滤；渗流 关键词：不确定性量化;贝叶斯推断;粗粒度;变分推理;随机介质;多物理模型 软件：FEniCS公司;贝叶斯DA;ImageNet公司;亚当;红色工具箱;AlexNet公司 PDF格式BibTeX公司 XML格式引用 \textit{C.Grigo}和\textit{P.-S.Koutsourelakis}，J.Compute。物理学。397，文章ID 108842，30 p.（2019；Zbl 1453.62414） 全文： 内政部 arXiv公司 参考文献： [1] Ghahramani，Z.，概率机器学习和人工智能，《自然》，521452-459（2015） [2] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015） [3] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号 [4] Koutsourelakis，P.S。；北卡罗来纳州扎巴拉斯。；Girolma，M.，《特刊：大数据和预测计算建模》，J.Compute。物理。，321, 1252-1254 (2016) ·Zbl 1349.00279号 [5] Wiener，N.，《齐次混沌》，美国数学杂志。，60, 897-936 (1938) [6] Ghanem，R.G。；Spanos，P.D.，《随机有限元：谱方法》（1991），Springer:Springer New York，URL:·Zbl 0722.73080号 [7] 秀，D。；Karniadakis，G.，随机微分方程的Wiener-Askey多项式混沌，SIAM J.Sci。计算。，24, 619-644 (2002) ·Zbl 1014.65004号 [8] 秀，D。；Hesthaven，J.，随机输入微分方程的高阶配置方法，SIAM J.Sci。计算。，27, 1118-1139 (2005) ·Zbl 1091.65006号 [9] 马，X。；Zabaras，N.，《求解随机微分方程的自适应分层稀疏网格配置算法》，J.Compute。物理。，2283084-3113（2009年）·Zbl 1161.65006号 [10] 林，G。；Tartakovsky，A.，《随机非均匀多孔介质中三维流动和溶质运移的稀疏网格上的高效高阶概率配置方法》，《多孔介质中的弥散》。多孔介质中的分散，高级水资源。，32, 712-722 (2009) [11] 林·G。；塔塔科夫斯基，A。；Tartakovsky，D.，《通过稀疏网格上的随机域分解和概率配置进行不确定性量化》，J.Compute。物理。，229, 6995-7012 (2010) ·兹比尔1263.65006 [12] 蒂皮雷迪，R。；施蒂尼斯，P。；Tartakovsky，A.，《随机系数稳态偏微分方程的基自适应和区域分解》，J.Compute。物理。，351, 203-215 (2017) ·Zbl 1375.35643号 [13] 蒂皮雷迪，R。；施蒂尼斯，P。；Tartakovsky，A.，随机系数偏微分方程的随机基自适应和空间域分解，SIAM/ASA J.不确定性。量化。，6, 273-301 (2018) ·Zbl 1390.60247号 [14] 托尔夸托，S。；Lu，B.，两相随机介质的弦长分布函数，Phys。E版，472950-2953（1993） [15] Bilinis，I。；北卡罗来纳州扎巴拉斯。；科诺米，学士。；Lin，G.，《多输出可分离高斯过程：实现不确定性量化的高效、完全贝叶斯范式》，J.Compute。物理。，241, 212-239 (2013) ·Zbl 1349.76760号 [16] 阿特金森，S。；Zabaras，N.，结构化贝叶斯-高斯过程潜在变量模型：数据驱动降维和高维反演的应用，J.Compute。物理。，383, 166-195 (2019) ·Zbl 1451.62095号 [17] 莫，S。；Zhu，Y。；北卡罗来纳州扎巴拉斯。；施，X。；Wu，J.，非均匀介质中动态多相流不确定性量化的深度卷积编解码网络，水资源。研究，55，1703-728（2019） [18] 乔维埃，C。；赫塞文，J。；Lurati，L.，时域电磁学中不确定性的计算建模，SIAM J.Sci。计算。，28, 751-775 (2006) ·兹比尔1115.78014 [19] 奥哈根，A。；Kennedy，M.，当快速近似可用时，预测复杂计算机代码的输出，Biometrika，87，1-13（2000）·Zbl 0974.62024号 [20] Koutsourelakis，P.-S.，《使用不准确计算模型进行准确的不确定性量化》，SIAM J.Sci。计算。，31, 3274-3300 (2009) ·Zbl 1200.65002号 [21] 佩迪卡里斯，P。；莱斯，M。；达米亚努，A。；劳伦斯，N.D。；Karniadakis，G.E.，《数据高效多保真建模的非线性信息融合算法》，Proc。R.Soc.A，数学。物理学。工程科学。，473，第20160751条pp.（2017）·Zbl 1407.62252号 [22] 赫塞文，J。；Rozza，G。；Stamm，B.，《参数化偏微分方程的认证简化基方法》，Springer Brief in Mathematics（2016），Springr International Publishing，URL:·Zbl 1329.65203号 [23] Quarteroni，A。；Manzoni，A。；Negri，F.，偏微分方程的约化基方法。简介，La Matematica per il 3+2。92（2016），Springer International Publishing，网址：·Zbl 1337.65113号 [24] 罗利，C.W。；科隆尼乌斯，T。；Murray，R.M.，使用POD和Galerkin投影对可压缩流进行模型简化，Phys。D： 非线性现象。，189, 115-129 (2004) ·Zbl 1098.76602号 [25] 崔，T。；Y.Marzouk。；Willcox，K.，《反问题贝叶斯解的数据驱动模型简化》，国际期刊Numer。方法工程，102，966-990（2015）·Zbl 1352.65445号 [26] Afkham，B。；Hesthaven，J.，参数哈密顿系统的保结构模型约简，SIAM J.Sci。计算。，39，A2616-A2644（2017）·Zbl 1379.78019号 [27] Yu，J。；Hesthaven，J.，使用人工神经网络的流场重建方法，AIAA J.，1-17（2018） [28] 郭，M。；Hesthaven，J.，使用高斯过程回归进行非线性结构分析的降阶建模，计算。方法应用。机械。工程，341807-826（2018）·Zbl 1440.65206号 [29] 赫塞文，J。；Ubbiali，S.，《使用神经网络对非线性问题进行非侵入式降阶建模》，J.Compute。物理。，363，55-78（2018）·兹比尔1398.65330 [30] 拉斯穆森，C。；Williams，C.，《机器学习的高斯过程、自适应计算和机器学习》（2006），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥，美国·Zbl 1177.68165号 [31] Bilinis，I。；Zabaras，N.，《使用高斯过程的贝叶斯不确定性传播》，555-599（2017），Springer International Publishing：Springer国际出版社Cham，URL: [32] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《利用噪声多保真数据推断微分方程解》，J.Compute。物理。，335736-746（2017）·Zbl 1382.65229号 [33] 佩迪卡里斯，P。；文丘里，D。；Royset，J.O。；Karniadakis，G.E.，通过递归协克里金和Gaussian-Markov随机场的多精度建模，Proc。R.Soc.A，数学。物理学。工程科学。，471，第20150018条pp.（2015） [34] 莱斯，M。；Karniadakis，G.E.，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357, 125-141 (2018) ·Zbl 1381.68248号 [35] X.Yang，G.Tartakovsky，A.Tartakowsky，《基于物理的克里金：数据模型收敛的基于物理的高斯过程回归方法》，arxiv e-print（2018）。；X.Yang，G.Tartakovsky，A.Tartakowsky，《基于物理的克里金：一种基于物理的高斯过程回归方法，用于数据模型收敛》，arxiv e-print（2018）。 [36] Lee，S。；迪特里希，F。；卡尼亚达基斯，G。；Kevrekidis，I.，《将高斯过程回归与非线性数据融合的数据驱动流形嵌入相结合》，《界面焦点》，第9期，第20180083页，（2019） [37] R.Tipiredid，A.Tartakovsky，《电网部分观测和未观测状态预测和不确定性量化的基于物理的机器学习方法》，arxiv电子版（2018）。；R.Tipiredid，A.Tartakovsky，《电网部分观测和未观测状态预测和不确定性量化的基于物理的机器学习方法》，arxiv e-print（2018）。 [38] Tripathy，R。；Bilinis，U.，Deep UQ：学习深度神经网络替代模型以进行高维不确定性量化，J.Compute。物理。，375, 565-588 (2018) ·Zbl 1419.68084号 [39] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 [40] Yang，Y。；Perdikaris，P.，随机、高维和多保真系统的条件深度代理模型，计算。机械。，64, 417-434 (2019) ·Zbl 1471.74074号 [41] M.Raissi，P.Perdikaris，G.Karniadakis，《物理知识深度学习（第一部分）：非线性偏微分方程的数据驱动解》，arxiv e-print（2017）。；M.Raissi，P.Perdikaris，G.Karniadakis，《物理学通知的深度学习（第一部分）：非线性偏微分方程的数据驱动解》，arxiv e-print（2017）。 [42] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·兹比尔1415.68175 [43] A.Tartakovsky，C.O.Marrero，P.Perdikaris，G.Tartakovsky，D.Barajas Solano，学习参数和本构关系与物理信息深度神经网络，arxiv电子打印（2018）。；A.Tartakovsky、C.O.Marrero、P.Perdikaris、G.Tartakowsky、D.Barajas-Solano，《学习参数和与基于物理的深层神经网络的本构关系》，arxiv电子版（2018年）。 [44] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理学为基础的深度学习》（第二部分）：非线性偏微分方程的数据驱动发现（2017），arXiv预印本 [45] Zhu，Y。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S。；Perdikaris，P.，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·兹比尔1452.68172 [46] Schöberl，M。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S.，《预测粗粒度》，J.Compute。物理。，333，49-77（2017）·Zbl 1375.82044号 [47] 马，X。；Zabaras，N.，随机输入模型生成的核主成分分析，J.Compute。物理。，230, 7311-7331 (2011) ·Zbl 1252.65014号 [48] Xing，W.W。；Triantafyllidis，V。；沙阿·A·A。；Nair，P.B。；Zabaras，N.，《从计算模型模拟空间场的流形学习》，J.Compute。物理。，326, 666-690 (2016) ·Zbl 1373.68340号 [49] 佩斯利，J。；布莱，D。；Jordan，M.I.，《随机搜索的变分贝叶斯推理》（第29届机器学习国际会议，第29届国际机器学习会议，ICML（2012）） [50] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.，《随机变分推断》，J.马赫。学习。第14号决议，1303-1347（2013）·Zbl 1317.68163号 [51] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），CoRR [52] Bishop，C.M。；Tipping，M.E.，变分相关向量机，（《第十六届人工智能不确定性会议论文集》，UAI'00（2000），Morgan Kaufmann Publishers Inc.：Morgan Koufmann-Publishers Inc.San Francisco，CA，USA），46-53，URL: [53] 蒂什比，N。；佩雷拉，F.C。；Bialek，W.，《信息瓶颈方法》（第37届Allerton通信、控制和计算年会（1999年）会议记录），368-377，URL: [54] Grigo，C。；Koutsourelakis，P.-S.，随机偏微分方程的概率降阶建模，（第二届计算科学与工程不确定性量化国际会议，Eccomas专题会议（2017）），111-129，URL: [55] Grigo，C。；Koutsourelakis，P.，《不确定性传播的贝叶斯模型和降维：在随机介质中的应用》，SIAM/ASA J.《不确定性》。量化。，7, 292-323 (2019) ·Zbl 1422.62377号 [56] 罗格，A。；马尔达尔，K.-A。；Wells，G.N.，《有限元法自动求解微分方程》（2012），施普林格出版社·Zbl 1247.65105号 [57] Sanchez-Palencia，E.，《非均匀介质与振动理论》，《物理学讲义》，第127卷（1980）·Zbl 0432.70002号 [58] L.Tartar，多孔介质中的不可压缩流体流动——均质过程的收敛性，附录[57]；L.Tartar，多孔介质中的不可压缩流体流动-均质过程的收敛性，附录[57] [59] Allaire，G.，连通多孔介质中Stokes流的均匀化，渐近线。分析。，2, 203-222 (1989) ·兹伯利0682.76077 [60] Allaire，G.，多孔介质中非定常Stokes方程的均匀化，《数学系列中的皮特曼研究笔记》，第267卷，第109-123页（1992年），朗曼高等教育：朗曼大学纽约，网址：·Zbl 0801.35103号 [61] Whitaker，S.，《多孔介质中的流动I：达西定律的理论推导》，Transp。多孔介质，1，3-25（1986） [62] 桑德斯特罗姆，C。；Larsson，F。；Runesson，K。；Johansson，H.，多孔介质中Stokes流动的双尺度有限元公式，计算。方法应用。机械。工程，261-262，96-104（2013）·Zbl 1286.76046号 [63] 马尔琴科，V。；Khruslov，E.，偏微分方程的均匀化（2006），Birkhäuser Boston:Birkháuser波士顿，马萨诸塞州，URL:·Zbl 1113.35003号 [64] Tartar，L.，《均质化的一般理论：个性化介绍》（The General Theory of Homogenization:A Personalized Introduction）（2010年），施普林格出版社：施普林格-柏林-海德堡，柏林，海德堡 [65] Fukushima，K.，Neocognitron–一种自组织神经网络模型，用于不受位置变化影响的模式再认知机制，Biol。赛博。，36, 193-202 (1980) ·Zbl 0419.92009号 [66] Lecun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，2278-2324（1998） [67] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，（Pereira，F.；Burges，C.J.C.；Bottou，L.；Weinberger，K.Q.，《神经信息处理系统进展》25（2012），Curran Associates，Inc.），1097-1105，URL: [68] Torquato，S.，《随机异质材料》（2001），Springer [69] 卢，B。；Torquato，S.，随机异质材料的线性路径函数，Phys。修订版A，45922-929（1992） [70] 洛厄尔，S。；Shields，J.E。；托马斯，医学硕士。；Thommes，M.，多孔固体和粉末的表征：表面积、孔径和密度，第1卷（2006年），施普林格 [71] 苏特拉，S.P。；Skalak，R.，《波西维尔定律的历史》，阿诺。流体力学版次。，25, 1-20 (1993) [72] Kozeny，J.，Ueber Kapillare Leitung der Wasser in Boden，（维也纳皇家科学院，一级程序136（1927）），271-306 [73] Carman，P.C.，《颗粒床流体流动》，Trans。仪器化学。工程师，15，150-166（1937） [74] Archie，G.E.，《电阻率对岩芯分析解释的帮助》，美国协会宠物版。地质。公牛。，31, 350 (1947) [75] Soille，P.，《形态图像分析：原理与应用》，89-125（1999），施普林格·弗拉格：施普林格尔·弗拉格-柏林-海德堡，德国柏林·Zbl 0976.68168号 [76] Doersch，C.，变体自动编码器教程（2016） [77] Bruggeman，D.A.G.，Berechnung verschiedener physicalischer Konstanten von heterogenen Substanzen。I.Dielektrizitätskonstanten und Leitfähigkeiten der Mischkörper aus各向同性物质，Ann.Phys。，416, 636-664 (1935) [78] Landauer，R.，《非均匀介质中的电导率》，AIP Conf.Proc。，40, 2-45 (1978) [79] Lawrence，N.D.，高斯过程潜在变量模型的概率非线性主成分分析，J.Mach。学习。研究，61783-1816（2005）·Zbl 1222.68247号 [80] Titsias，M.K。；劳伦斯，N.D.，贝叶斯-高斯过程潜在变量模型，（Teh，Y.W.；Titterington，D。M.，《第十三届国际人工智能与统计会议论文集》。2010年5月13日至15日，意大利撒丁岛Chia Laguna度假村，AISTATS 2010，第十三届国际人工智能与统计会议记录。第十三届国际人工智能与统计会议记录。第十三届国际人工智能与统计会议记录，AISTATS 2010，Chia Laguna Resort，Sardinia，Italy，2010年5月13日至15日，JMLR Proceedings，JMLR.org，vol.9（2010），844-851，URL: [81] 公元前达米亚努。；Titsias，M.K。；劳伦斯，N.D.，高斯过程中潜在变量和不确定输入的变分推断，J.马赫。学习。研究（JMLR），2（2015） [82] Faul，A.C.，稀疏贝叶斯学习分析，高级神经信息处理。系统。（NIPS），14，383-389（2003） [83] Tipping，M.E.，稀疏贝叶斯学习和相关向量机，J.Mach。学习。第1211-244号决议（2001年）·Zbl 0997.68109号 [84] Gelman，A。；Carlin，J。；斯特恩，H。；Rubin，D.，贝叶斯数据分析（2003），Chapman&Hall/CRC [85] 布莱，D.M。；库克尔比尔，A。；麦考利夫，J.D.，《变分推理：统计学家综述》，《美国统计总汇》，112859-877（2017） [86] Beal，M.J。；Ghahramani，Z.，《不完全数据的变分贝叶斯EM算法：应用于图形模型结构评分》，贝叶斯统计，7（2003） [87] Ranganath，R。；Gerrish，S。；布莱，D.，黑箱变分推理，（Kaski，S。；Corander，J.，《第十七届国际人工智能与统计会议论文集》。第十七届国际人工智能与统计会议论文集，冰岛雷克雅未克，PMLR。第十七届国际人工智能与统计会议记录。《第十七届国际人工智能与统计会议论文集》，PMLR，冰岛雷克雅未克，机器学习研究论文集，第33卷（2014年），814-822，网址： [88] Heinkenschloss，M.，隐式约束优化问题的数值解，（莱斯大学计算与应用数学系05（2008）），1-25 [89] 君士坦丁，P。；陶氏（Dow，E.）。；Wang，Q.，《理论和实践中的主动子空间方法：在克里格曲面中的应用》，SIAM J.Sci。计算。，36，A1500-A1524（2014）·Zbl 1311.65008号 [90] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2013），CoRR [91] Zhang，D.，广义线性模型的决定系数，《美国统计》，71，310-316（2017）·Zbl 07687918号 [92] 我·穆雷。；Ghahramani，Z.，《证据和贝叶斯奥卡姆剃刀注释》（2005），技术报告，盖茨比单位技术报告GCNU-TR 2005-003 [93] 拉斯穆森，C。；Ghahramani，Z.，Occam’s Razor，（神经信息处理系统13（2001）），294-300 [94] 加赫拉马尼，Z。；Beal，M.J.，因子分析仪贝叶斯混合变量推断，高级神经信息处理。系统。，12 (2000) 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。