波瓦拉，简;伊娃州卡兹劳斯卡特;埃基·费布里亚托;费赫米，西拉克;马克·吉洛米 使用稀疏精度矩阵的反问题的变分贝叶斯近似。 （英语） Zbl 1507.35343号 计算。方法应用。机械。工程师。 393，文章ID 114712，31 p.（2022）. 摘要：包含偏微分方程（PDE）的反问题在科学和工程中广泛应用。虽然此类问题通常不适用，但已经开发了不同的正则化方法来改善此问题。其中之一是贝叶斯公式，其中对感兴趣的数量进行了先验概率度量。由此产生的后验概率测度通常难以分析。马尔可夫链蒙特卡罗（MCMC）方法是从这些后验测度中进行抽样的方法。MCMC在计算上不适用于工程实践中出现的大规模问题。最近，变分贝叶斯（VB）被认为是一种更易于计算的贝叶斯推理方法，通过求解优化问题，用更简单的试验分布来近似贝叶斯后验分布。在这项工作中，我们通过实证评估认为，对于这类问题，VB方法是MCMC的灵活而有效的替代方法。我们提出了一个由精度矩阵参数化的高斯试验分布族的自然选择，从而利用了有限元离散化中编码的反问题的固有稀疏性。我们利用随机优化有效地估计变分目标，不仅评估解平均值中的误差，还评估量化估计不确定性的能力。我们基于一维和二维泊松方程在偏微分方程上对此进行了测试。GitHub上公开了Tensorflow实现。 引用于4文件 MSC公司： 35兰特 PDE的反问题 60华氏35 随机方程的计算方法（随机分析方面） 35-04 偏微分方程相关问题的软件、源代码等 关键词：反问题;贝叶斯推断;变分贝叶斯;精度矩阵;不确定性量化 软件：GMRF库;PRMLT公司;bip-pde-vi;hIPPY库;静态有限元法;TensorFlow公司;斯坦;亚当;贝叶斯DA PDF格式BibTeX公司 XML格式引用 \textit{J.Povala}等人，计算。方法应用。机械。工程393，文章ID 114712，31 p.（2022；Zbl 1507.35343） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Tarantola，A.，《模型参数估计的反问题理论和方法》（2005年），工业和应用数学学会：宾夕法尼亚州费城，978-0-89871-572-9·Zbl 1074.65013号 [2] 凯皮奥，J。；Somersalo，E.，《统计与计算反问题》（2005），Springer:Springer纽约·兹比尔1068.65022 [3] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号 [4] Tikhonov，A.N。；Arsenin，V.Y.，（不恰当问题的解决方案。不恰当问题解决方案，数学脚本系列（1977），温斯顿）·Zbl 0354.65028号 [5] Bishop，C.M.，（模式识别和机器学习，模式识别与机器学习，信息科学与统计（2006），Springer:Springer New York）·Zbl 1107.68072号 [6] 阿卜杜勒。；Garegnani，G.，基于随机网格的概率有限元方法：后验误差估计和贝叶斯反问题，计算。方法应用。机械。工程，384（2021）·Zbl 1506.65200号 [7] 潘迪塔，P。；齐利维斯，P。；新墨西哥州阿瓦尔冈卡尔。；Bilinis，I。；Panchal，J.，使用非平稳高斯过程的基于代理的序贯贝叶斯实验设计，计算。方法应用。机械。工程，385（2021）·Zbl 1502.62085号 [8] Pyrialakos，S。；卡洛格里斯，I。；Sotiropoulos，G。；Papadopoulos，V.，纳米复合材料多尺度建模的神经网络辅助贝叶斯识别框架，计算。方法应用。机械。工程，384（2021）·Zbl 1506.74500号 [9] 镍、磷。；李，J。；郝，H。；韩，Q。；Du，X.，通过变分贝叶斯推理和自适应高斯过程建模进行概率模型更新，计算。方法应用。机械。工程，383（2021）·兹比尔1506.62268 [10] Sabater，C。；Le Maêtre，O。；康格多，P.M。；Görtz，S.，具有高维不确定性源的分位数优化问题的贝叶斯方法，计算。方法应用。机械。工程，376（2021）·Zbl 1506.74257号 [11] 黄，Y。；Beck，J.L。；李，H。；Ren，Y.，序列稀疏贝叶斯学习及其在损伤评估系统识别和图像序列递归重建中的应用，计算。方法应用。机械。工程，373（2021）·Zbl 1506.62265号 [12] 易卜拉欣贝戈维奇，A。；Matthies，H.G.公司。；Karavelić，E.，通过贝叶斯推断识别宏观随机塑性的简化模型：混凝土准脆性破坏的应用，计算。方法应用。机械。工程，372（2020）·Zbl 1506.74062号 [13] Tarakanov，A。；Elsheikh，A.H.，地下水流问题的最佳贝叶斯实验设计，计算。方法应用。机械。工程师，370（2020）·Zbl 1506.62354号 [14] Michelén Ströfer，C.A。；张，X.-L。；Xiao，H。；Coutier-Delgosha，O.，在贝叶斯反演中对物理场实施边界条件，计算。方法应用。机械。工程，367（2020）·Zbl 1442.76047号 [15] Carlon，A.G。；直径，B.M。；Espath，L。；Lopez，R.H。；Tempone，R.，Nesterov-aided随机梯度法，使用拉普拉斯近似进行贝叶斯设计优化，计算。方法应用。机械。工程，363（2020）·Zbl 1436.62372号 [16] Wu，L。；Zulueta，K。；专业，Z。；阿里亚加，A。；Noels，L.，深度神经网络加速的非线性多尺度模型参数的贝叶斯推断，计算。方法应用。机械。工程，360（2020）·Zbl 1441.74192号 [17] 乌里韦，F。；Papaioannou，I。；Betz，W。；Straub，D.，用Karhunen-Loève展开表示的随机场的贝叶斯推断，计算。方法应用。机械。工程师，358（2020）·Zbl 1441.62080号 [18] Rizzi，F。；哈利勒，M。；Jones，R。；Templeton，J。；奥斯汀，J。；Boyce，B.，材料可变性引起的不一致塑性响应的贝叶斯建模，计算。方法应用。机械。工程，353183-200（2019）·Zbl 1441.74041号 [19] Arnst，M。；Soize，C.，用于计算模型数据驱动更新的高维对称正定矩阵的贝叶斯后验识别和采样，计算。方法应用。机械。工程，352300-323（2019）·Zbl 1441.62076号 [20] 贝克，J。；直径，B.M。；Espath，L.F。；龙，Q。；Tempone，R.，《快速贝叶斯实验设计：基于Laplace的预期信息增益重要性抽样》，计算。方法应用。机械。工程师，334，523-553（2018）·Zbl 1440.62293号 [21] Betz，W。；Papaioannou，I。；Beck，J.L。；斯特劳布，D.，贝叶斯推理与子集模拟：策略和改进，计算。方法应用。机械。工程，331，72-93（2018）·Zbl 1439.62080号 [22] 陈，P。；美国维拉。；Ghattas，O.，基于Hessian的无限维贝叶斯反问题自适应稀疏求积，计算。方法应用。机械。工程，327，147-172（2017）·Zbl 1439.65071号 [23] 阿萨迪，E。；Heyns，P.S.，塑性模型表征中贝叶斯推断的计算框架，计算。方法应用。机械。工程，321455-481（2017）·Zbl 1439.74055号 [24] 黄，Y。；Beck，J.L。；Li，H.，基于分层稀疏贝叶斯学习和吉布斯抽样的贝叶斯系统识别，应用于结构损伤评估，计算。方法应用。机械。工程，318，382-411（2017）·Zbl 1439.65136号 [25] Karathanasopoulos，N。；Angelikopoulos，P。；Papadimitriou，C。；Koumoutsakos，P.，使用螺旋几何有限元模型对肌腱束结构组成进行贝叶斯识别，计算。方法应用。机械。工程，313744-758（2017）·兹比尔1439.74201 [26] 巴布什卡，I。；Z.Sawlan。；斯卡维诺，M。；Szabó，B。；Tempone，R.，金属疲劳数据的贝叶斯推断和模型比较，计算。方法应用。机械。工程，304，171-196（2016）·Zbl 1426.62295号 [27] Girolma，M。；Febrianto，E。；尹，G。；Cirak，F.，观测数据和模型预测相干合成的统计有限元方法（statFEM），计算。方法应用。机械。工程，375（2021）·Zbl 1506.65210号 [28] 卢，C。；Tang，X.，《用高斯脸超越LFW上的人机界面人脸验证性能》，（第二十届AAAI人工智能会议论文集，第二十届人工智能会议文献集，AAAI'15（2015），AAAI出版社），3811-3819 [29] 索林，A。；科尔特斯，S。；Rahtu，E。；Kannala，J.，PIVO：闭塞物导航的概率惯性视觉里程表，（2018年IEEE计算机视觉应用冬季会议（WACV）（2018年），IEEE），616-625 [30] Gelman，A。；卡林，J.B。；斯特恩，H.S。；邓森，D.B。；Vehtari，A。；Rubin，D.B.，贝叶斯数据分析（2013），查普曼和霍尔/CRC [31] 崔，T。；Y.Marzouk。；Willcox，K.，《通过似然参数和状态约简实现大规模贝叶斯逆问题的可缩放后验近似》，J.Compute。物理。，315, 363-387 (2016) ·Zbl 1349.65189号 [32] 美国维拉。；佩特拉，N。；Ghattas，O.，hIPPYlib：由PDE控制的大规模反问题的可扩展软件框架：第一部分：确定性反演和线性贝叶斯推理，ACM Trans。数学。软件，47，2，1-34（2021）·Zbl 07467976号 [33] Bui-Thanh，T。；O.加塔斯。；马丁·J。；Stadler，G.，无限维贝叶斯反问题的计算框架，第一部分：线性化情况，及其在全球地震反演中的应用，SIAM J.Sci。计算。，35、6、A2494-A2523（2013）·Zbl 1287.35087号 [34] 约旦医学院。；加赫拉马尼，Z。；Jaakkola，T.S。；Saul，L.K.，《图形模型变分方法简介》，马赫。学习。，37, 2, 183-233 (1999) ·Zbl 0945.68164号 [35] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，《变分推理：统计学家评论》，J.Amer。统计师。协会，112，518，859-877（2017） [36] 约旦医学院。；温赖特，M.J.，图形模型、指数族和变分推理，Found。趋势马赫。学习。，1, 1-2, 1-305 (2007) ·Zbl 1193.62107号 [37] 威廉姆斯，C。；Seeger，M.，《使用NyströM方法加速内核机器》，（Leen，T.；Dietterich，T.和Tresp，V.，《神经信息处理系统的进展》，第13卷（2001），麻省理工学院出版社） [38] Csató，L.公司。；Opper，M.，稀疏在线高斯过程，神经计算。，14, 3, 641-668 (2002) ·Zbl 0987.62060号 [39] Seeger，M.W。；威廉姆斯，C.K.I。；Lawrence，N.D.，《加快稀疏高斯过程回归的快速向前选择》，（Bishop，C.M.；Frey，B.J.，《第九届人工智能与统计国际研讨会论文集》，第九届国际人工智能与统计学研讨会论文集，《机器学习研究论文集》第卷。R4（2003），PMLR），254-261 [40] Quiñonero-Candela，J。；Rasmussen，C.E.，稀疏近似高斯过程回归的统一观点，J.Mach。学习。1939-1959年第6、65号决议（2005年）·Zbl 1222.68282号 [41] 斯内尔森，E。；Ghahramani，Z.，使用伪输入的稀疏高斯过程，（Weiss，Y.；Schölkopf，B.；Platt，J.，《神经信息处理系统进展》，第18卷（2006年），麻省理工学院出版社） [42] Titsias，M.，稀疏高斯过程中诱导变量的变分学习，（van Dyk，D。；Welling，M.，《第十二届国际人工智能与统计会议论文集》。第十二届国际人工智能与统计会议论文集，机器学习研究论文集，第5卷（2009年），PMLR:PMLR美国佛罗里达州克利尔沃特海滩希尔顿克利尔沃特海滩度假村，567-574 [43] Titsias，M.，稀疏高斯过程回归技术的变分模型选择。代表，20（2008），曼彻斯特大学计算机科学学院 [44] 亨斯曼，J。；托盘，M。；劳伦斯，N.D.，共轭指数族中的快速变分推理，（第25届神经信息处理系统国际会议论文集-第2卷）。第25届神经信息处理系统国际会议记录-第2卷，NIPS’12（2012），Curran Associates Inc.：Curran associatess Inc.，美国纽约州Red Hook，2888-2896 [45] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.，《随机变分推断》，J.马赫。学习。第14号决议，1303-1347（2013）·Zbl 1317.68163号 [46] 亨斯曼，J。；福斯，N。；Lawrence，N.D.，《大数据的高斯过程》，（第二十届人工智能不确定性会议论文集。第二十届人造智能不确定性大会论文集，UAI’13（2013），AUAI出版社：美国弗吉尼亚州阿灵顿AUAI出版公司），282-290 [47] Cheng，C.-A。；Boots，B.，《线性复杂度高斯过程模型的变分推断》（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统的进展》，第30卷（2017），Curran Associates，Inc.） [48] Jankowiak，M。；普莱斯，G。；Gardner，J.，参数高斯过程回归器，（Iii，H.D.；Singh，A.，《第37届机器学习国际会议论文集》，第37届国际机器学习会议论文集，《机器学习研究论文集》第119卷（2020），PMLR，4702-4712 [49] 普莱斯，G。；加德纳，J。；温伯格，K。；Wilson，A.G.，高斯过程的常数时间预测分布，（Dy，J.；Krause，A.，《第35届机器学习国际会议论文集》，第35届国际机器学习会议论文集，《机器学习研究论文集》第80卷（2018），PMLR），4114-4123 [50] Salimbeni，H。；程，C.-A。；Boots，B。；Deisenroth，M.，《正交解耦变分高斯过程》（Bengio，S.；Wallach，H.；Larochelle，H.，Grauman，K.；Cesa-Bianchi，N.；Garnett，R.，《神经信息处理系统进展》，第31卷（2018年），Curran Associates，Inc.） [51] 史J。；提提亚斯，M。；Mnih，A.，高斯过程的稀疏正交变分推理，（Chiappa，S。；Calandra，R.，《第二十三届国际人工智能与统计会议论文集》。第二十三届国际人工智能与统计会议论文集，《机器学习研究论文集》，第108卷（2020），PMLR），1932-1942 [52] Salimbeni，H。；Deisenroth，M.，《深高斯过程的双重随机变分推断》（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统进展》，第30卷（2017），Curran Associates，Inc.） [53] S.Sun、G.Zhang、J.Shi、R.B.Grosse，《函数变分贝叶斯神经网络：第七届学习表征国际会议》，美国洛杉矶新奥尔良，2019年。 [54] 伯特·D·R。；Ober，S.W。；Garriga-Alonso，A。；van der Wilk，M.，理解函数空间中的变分推理，（第三届近似贝叶斯推理进展研讨会（2021）） [55] 齐利维斯，P。；Bilinis，I。；Katsounaros，I。；Zabaras，N.，贝叶斯反问题的计算有效变分近似，J.Verif.Valid。不确定。数量。，1, 3 (2016) [56] 巴拉哈斯·索拉诺，D.A。；Tartakovsky，A.M.，具有异质和状态依赖系数的偏微分方程的近似贝叶斯模型反演，J.Compute。物理。，395, 247-262 (2019) ·Zbl 1453.62410号 [57] Tan，L.S.L。；Nott，D.J.，稀疏精度矩阵的高斯变分近似，统计计算。，28, 2, 259-275 (2018) ·Zbl 1384.62105号 [58] 北卡罗来纳州杜兰德。；V·亚当。；波尔多，L。；Eleftheriadis，S。；Hensman，J.，自动微分时代高斯-马尔可夫模型的带状矩阵算子，（Chaudhuri，K。；Sugiyama，M.，《第二十二届人工智能和统计国际会议论文集》。《第二十二届人工智能与统计国际会议论文集》，《机器学习研究论文集》第89卷（2019年），PMLR），2780-2789 [59] 麦凯，D.J.C.，《信息理论、推理和学习算法》（2003），剑桥大学出版社·Zbl 1055.94001号 [60] 王，B。；Titterington，D.M.，与变分贝叶斯近似相对应的区间估计的不充分性，（Cowell，R.G。；Z.Ghahramani，《第十届人工智能与统计国际研讨会论文集》。第十届人工智能与统计国际研讨会论文集，机器学习研究论文集，第R5卷（2005），PMLR），373-380 [61] 特纳，R.E。；Sahani，M.，时间序列模型的变分期望最大化的两个问题，（Cemgil，A.T.；Barber，D.；Chiappa，S.，贝叶斯时间序列模型（2011），剑桥大学出版社：剑桥大学出版社），104-124·Zbl 1416.62038号 [62] 佐丹奴，R。；布罗德里克，T。；Jordan，M.I.，协方差、稳健性和变分贝叶斯，J.Mach。学习。1981-2029年第19号决议（2018年）·Zbl 1467.62043号 [63] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯，（第二届学习表征国际会议，ICLR 2014，加拿大班夫，AB，2014年4月14日至16日，会议记录（2014）） [64] 公元前达米亚努。；Titsias，M.K。；劳伦斯，N.D.，高斯过程中潜在变量和不确定输入的变分推断，J.马赫。学习。第17、42、1-62号决议（2016年）·Zbl 1360.62373号 [65] 张，C。；Butepage，J。；Kjellstrom，H。；Mandt，S.，《变分推理的进展》，IEEE Trans。模式分析。机器。智力。，41, 8, 2008-2026 (2019) [66] 科特，S.L。；Roberts，G.O。；Stuart，A.M。；White，D.，MCMC函数方法：修改旧算法使其更快，Statist。科学。，28, 3, 424-446 (2013) ·Zbl 1331.62132号 [67] 平斯基，F.J。；辛普森，G。；Stuart，A.M。；Weber，H.，无限维概率测度的Kullback-Leibler近似算法，SIAM J.Sci。计算。，37、6、A2733-A2757（2015）·Zbl 1348.60033号 [68] Beskos，A。；Girolma，M。；兰·S。；法雷尔，体育。；Stuart，A.M.，无限维反问题的几何MCMC，J.Compute。物理。，335, 327-351 (2017) ·Zbl 1375.35627号 [69] Minh，H.Q.，正定迹类算子之间的无穷维对数行列式分歧，线性代数应用。，528, 331-383 (2017) ·Zbl 06950133号 [70] 北卡罗来纳州大都会。；罗森布鲁斯，A.W。；罗森布鲁思，M.N。；出纳员，A.H。；Teller，E.，快速计算机器的状态方程计算，J.Chem。物理。，1087-1092年6月21日（1953年）·Zbl 1431.65006号 [71] Hastings，W.K.，《使用马尔可夫链的蒙特卡罗采样方法及其应用》，《生物统计学》，57，1，97-109（1970）·Zbl 0219.65008号 [72] Duane，S。；A.D.肯尼迪。；彭德尔顿，B.J。；Roweth，D.，混合蒙特卡罗，物理。莱特。B、 195、2、216-222（1987） [73] 约旦共和国。；Kinderlehrer，D。；Otto，F.，Fokker-Planck方程的变分公式，SIAM J.Math。分析。，29, 1, 1-17 (1998) ·兹比尔0915.35120 [74] 卡彭特，B。；Gelman，A。；医学博士霍夫曼。；Lee，D。；古德里奇，B。；贝当古，M。；布鲁贝克，M。；郭杰。；李，P。；Riddell，A.，Stan:概率编程语言，J.Stat.Softw。，76，1，1-32（2017） [75] Bishop，C。；劳伦斯，N。；Jaakkola，T。；Jordan，M.，《使用混合物近似信念网络中的后验分布》（Jordan；M.Kearns；M.Solla，S.，《神经信息处理系统的进展》，第10卷（1998年），麻省理工学院出版社） [76] Tran，D。；布莱，D。；Airoldi，E.M.，Copula变分推理，（Cortes，C.；Lawrence，N.；Lee，D.；Sugiyama，M.；Garnett，R.，《神经信息处理系统进展》，28（2015），Curran Associates，Inc.） [77] Ranganath，R。；Tran，D。；Blei，D.，层次变分模型，（Balcan，M.F.；Weinberger，K.Q.，《第三十三届机器学习国际会议论文集》，《机器学习研究论文集》第48卷（2016），PMLR:PMLR纽约，美国纽约），324-333 [78] H街。；马蒂诺，S。；肖邦，N.，《利用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断》，J.R.Stat.Soc.Ser。B统计方法。，71, 2, 319-392 (2009) ·Zbl 1248.62156号 [79] 卡特希尔，E。；McKee，J.，《减少稀疏对称矩阵的带宽》，（1969年第24届全国会议论文集，1969年《第24届国家会议论文集》，ACM’69（1969），计算机械协会：美国纽约州纽约市计算机械协会），157-172 [80] H街。；Held，L.，（高斯马尔可夫随机场：理论与应用。高斯马尔可夫随机场：原理与应用，统计学与应用概率专著，第104卷（2005年），Chapman&Hall/CRC:Chapman和Hall/CRC Boca Raton）·邮编1093.60003 [81] D.P.Kingma，J.Ba，Adam:A Method for Stochastic Optimization，收录于：Y.Bengio，Y.LeCun（Eds.），国际学习代表大会，加利福尼亚州圣地亚哥，美国，2015年。 [82] S.J.Reddi、S.Kale、S.Kumar，“关于亚当及其后的融合，见：第六届学习代表国际会议，不列颠哥伦比亚省温哥华，2018年。 [83] 亚里士多夫，D。；Bangerth，W.，偏微分方程系数贝叶斯反演的基准（2021），arXiv:2102.07263 [84] 亚伯拉罕·K。；Nickl，R.，《关于统计卡尔德龙问题》，数学。统计学习。，2, 2, 165-216 (2020) ·Zbl 1445.35144号 [85] 莫纳德，F。；尼克，R。；Paternain，G.P.，《高斯过程先验非线性逆问题中贝叶斯不确定性量化的统计保证》（2020年），arXiv:2007.15892 [86] 佐丹奴，M。；Nickl，R.，椭圆反问题中贝叶斯推理与高斯过程先验的一致性，反问题，36，8（2020）·Zbl 1445.35330号 [87] Wang，Y。；Blei，D.M.，变分贝叶斯的频繁一致性，J.Amer。统计师。协会，114，527，1147-1161（2019）·Zbl 1428.62119号 [88] 卢，Y。；Stuart，A。；Weber，H.，R^d上概率测度的高斯近似，SIAM/ASA J.不确定性。数量。，5, 1, 1136-1165 (2017) ·Zbl 1390.60022号 [89] Nagel，J.B。；Sudret，B.，贝叶斯反问题中多级不确定性量化的统一框架，Probab。工程机械。，43, 68-84 (2016) [90] O.加塔斯。；Willcox，K.，《从数据中学习基于物理的模型：从反问题和模型简化的角度》，《数值学报》。，30, 445-554 (2021) ·兹比尔1520.65043 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。