吴克毅;托马斯·奥利里·罗塞伯里;陈鹏;奥马尔·加塔斯 基于衍生信息投影神经网络的大规模贝叶斯优化实验设计。 （英语） Zbl 1519.35348号 科学杂志。计算。 95，第1号，第30号论文，20页（2023年）. 摘要：我们解决了由具有无穷维参数场的偏微分方程（PDE）控制的大规模贝叶斯最优实验设计（OED）问题。OED问题寻求在解决潜在贝叶斯逆问题时，最大化期望信息增益（EIG）的传感器位置。对于基于PDE的OED问题，EIG的计算通常是禁止的。为了使EIG的评估易于处理，我们使用导数知情投影神经网络（DIPNet）代理将（基于PDE的）参数近似为可观察地图，该代理使用少量且与维度无关的PDE解来利用地图的几何性、光滑性和内在的低维性。然后在OED问题的基于贪婪算法的解决方案中部署代理，这样就不需要进一步的PDE解决方案。我们根据DIPNet的泛化误差分析了EIG近似误差，并表明它们具有相同的阶数。最后，通过对由反散射和反反应输运控制的OED问题的数值实验，验证了该方法的效率和准确性，其中包含多达16641个不确定参数和100个实验设计变量，其中，相对于参考双环蒙特卡罗方法，我们观察到高达三个数量级的加速。 引用于6文件 MSC公司： 99年第35季度 数学物理偏微分方程及其他应用领域 2015财年65 矩阵特征值和特征向量的数值计算 68T07型 人工神经网络与深度学习 65米75 涉及偏微分方程的初值和初边值问题的概率方法、粒子方法等 65立方厘米 数值分析中的随机数生成 60G15年 高斯过程 35卢比 积分-部分微分方程 35兰特 PDE的反问题 35卢比60 随机偏微分方程的偏微分方程 关键词：贝叶斯最优实验设计;贝叶斯反问题;预期信息增益;神经网络;代理;贪婪算法 软件：TensorFlow公司;hIPPY库;亚当;hIPPY流量;FEniCS公司;DeepONet（深度网络）;红色工具箱 PDF格式BibTeX公司 XML格式引用 \textit{K.Wu}等人，《科学杂志》。计算。95，第1号，第30号论文，20页（2023年；Zbl 1519.35348） 全文： 内政部 arXiv公司 参考文献： [1] Uciński，D.，分布式参数系统辨识的最佳测量方法（2005），博卡拉顿：CRC出版社，博卡拉顿·Zbl 1155.93003号 [2] Loose，N.，Heimbach，P.：利用不确定性量化设计海洋气候观测系统。J.高级模型。地球系统。，第1-29页（2021年） [3] Ferrolino，A.R.，Lope，J.E.C.，Mendoza，R.G.：用于海啸波早期探测的传感器的最佳位置。摘自：国际计算科学会议，第562-575页（2020年）。施普林格 [4] 欢，X。；Marzouk，YM，非线性系统基于仿真的最佳贝叶斯实验设计，J.Compute。物理。，232, 1, 288-317 (2013) ·doi:10.1016/j.jcp.2012.08.013 [5] 欢，X。；Marzouk，YM，《贝叶斯实验设计中基于梯度的随机优化方法》，《国际不确定性杂志》。数量。，4, 6, 479-510 (2014) ·Zbl 1497.62069号 ·doi:10.1615/国际不确定性定量杂志.2014006730 [6] Huan，X.，Marzouk，Y.M.：通过近似动态规划进行序贯贝叶斯最优实验设计。arXiv预印arXiv:1604.08320（2016） [7] 亚历山大·A。；佩特拉，N。；斯塔德勒，G。；Ghattas，O.，无限维贝叶斯非线性反问题实验的快速可扩展A-最优设计方法，SIAM J.Sci。计算。，38, 1, 243-272 (2016) ·Zbl 06536072号 ·数字对象标识代码：10.1137/140992564 [8] 贝克，J。；直径，BM；Espath，LF；龙，Q。；Tempone，R.，《快速贝叶斯实验设计：基于Laplace的预期信息增益重要性抽样》，计算。方法应用。机械。工程，334523-553（2018）·Zbl 1440.62293号 ·doi:10.1016/j.cma.2018.01.053 [9] 朗，Q。；斯卡维诺，M。；丹蓬，R。；Wang，S.，基于拉普拉斯近似的贝叶斯实验设计预期信息增益的快速估计，计算。方法应用。机械。工程，259，24-39（2013）·Zbl 1286.62068号 ·doi:10.1016/j.cma.2013.02.017 [10] 龙，Q。；莫塔米德，M。；Tempone，R.，地震震源反演的快速贝叶斯优化实验设计，计算。方法应用。机械。工程，291123-145（2015）·兹比尔1423.74006 ·doi:10.1016/j.cma.2015.03.021 [11] 贝克，J。；Mansour Dia，B。；Espath，L。；Tempone，R.，《贝叶斯最优实验设计的多级双环蒙特卡罗和重要抽样随机配置方法》，国际期刊Numer。《工程方法》，121，15，3482-3503（2020）·Zbl 07863289号 ·doi:10.1002/nme.6367 [12] 亚历山大·A。；佩特拉，N。；斯塔德勒，G。；Ghattas，O.，A-具有正则化（ell_0）稀疏化的无限维贝叶斯线性逆问题的最优实验设计，SIAM J.Sci。计算。，36, 5, 2122-2148 (2014) ·Zbl 1314.62163号 ·doi:10.1137/130933381 [13] 亚历山大·A。；格洛尔，PJ；Ghattas，O.，《关于无限维贝叶斯A和D最优实验设计》，贝叶斯分析。，11, 3, 671-695 (2016) ·Zbl 1359.62315号 ·doi:10.1214/15-BA969 [14] 塞巴巴，阿拉斯加州；亚历山大·A。；Ipsen，IC，《随机无矩阵跟踪和对数估计量》，《数值数学》，137，2，353-395（2017）·Zbl 1378.65094号 ·doi:10.1007/s00211-017-0880-z [15] 克雷斯特尔，B。；亚历山大·A。；斯塔德勒，G。；Ghattas，O.，A-非线性逆问题的最佳编码权重，及其在亥姆霍兹逆问题中的应用，逆概率。，33, 7 (2017) ·Zbl 1370.65064号 ·doi:10.1088/1361-6420/aa6d8e [16] Attia，A。；亚历山大·A。；Saibaba，AK，面向目标的大规模贝叶斯线性逆问题实验优化设计，逆概率。，34, 9 (2018) ·Zbl 1475.65037号 ·doi:10.1088/1361-6420/aad210 [17] Wu，K.，Chen，P.，Ghattas，O.：用于大规模高维贝叶斯优化实验设计的快速且可扩展的计算框架。arXiv预印本arXiv:2010.15196，发表于《SIAM科学计算杂志》（2020） [18] Wu，K.，Chen，P.，Ghattas，O.：面向目标的线性贝叶斯最优实验设计的一种有效方法：应用于传感器优化布置。arXiv预印本arXiv:2102.06627，发表于《SIAM/AMS不确定性量化期刊》（2021） [19] Aretz-Nellesen，N.，Chen，P.，Grepl，M.A.，Veroy，K.：超参数线性贝叶斯反问题的最佳实验设计。数字。数学。高级申请。ENUMATH 2020（2020） [20] 阿雷茨，N。；陈，P。；Veroy，K.，超参数线性贝叶斯反问题的传感器选择，PAMM，20，S1，202000357（2021）·doi:10.1002/pamm.202000357 [21] Foster，A.，Jankowiak，M.，Bingham，E.，Horsfall，P.，Teh，Y.W.，Rainforth，T.，Goodman，N.：变分贝叶斯最优实验设计。收录于：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d’Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）《神经信息处理系统进展》，第32卷，第14036-14047页。柯兰联合公司（2019）。https://proceedings.neurips.cc/paper/2019/file/d55cbf210f175f4a37916eafe6c04f0d-paper.pdf [22] Kleinegesse，S.，Gutmann，M.U.：基于互信息神经估计的隐式模型贝叶斯实验设计。摘自：机器学习国际会议，第5316-5326页（2020年）。PMLR公司 [23] Shen，W.，Huan，X.：使用策略梯度强化学习的非线性模型贝叶斯序贯优化实验设计。arXiv预印本arXiv：2110.15335（2021） [24] O'Leary-Roseberry，T。；美国维拉。；陈，P。；Ghattas，O.，偏微分方程控制的高维参数映射的导数信息投影神经网络，计算。方法应用。机械。工程，388（2022）·Zbl 1507.62299号 ·doi:10.1016/j.cma.2021.1141999 [25] O'Leary-Roseberry，T.：神经网络替代构建和训练的高效和维度无关方法。德克萨斯大学奥斯汀分校博士论文（2020年） [26] O'Leary-Roseberry，T.，Du，X.，Chaudhuri，A.，Martins，J.R.，Willcox，K.，Ghattas，O.：用于从稀疏数据学习参数映射的自适应投影残差网络。arXiv预打印arXiv:2112.07096（2021）·Zbl 1507.68273号 [27] 扁平，PH；威尔科克斯，LC；阿克塞利克，V。；希尔，J。；van Bloemen Waanders，B。；Ghattas，O.，基于低阶部分Hessian近似的大规模线性反问题中贝叶斯不确定性量化的快速算法，SIAM J.Sci。计算。，33, 1, 407-432 (2011) ·Zbl 1229.65174号 ·数字对象标识代码：10.1137/090780717 [28] Bui-Thanh，T.，Burstedde，C.，Ghattas，O.，Martin，J.，Stadler，G.，Wilcox，L.C.：由偏微分方程控制的贝叶斯反问题的极值尺度UQ。附：SC12：高性能计算、网络、存储和分析国际会议记录（2012年） [29] Bui-Thanh，T。；O.加塔斯。；马丁，J。；Stadler，G.，无限维贝叶斯反问题的计算框架，第一部分：线性化情况，及其在全球地震反演中的应用，SIAM J.Sci。计算。，35, 6, 2494-2523 (2013) ·Zbl 1287.35087号 ·doi:10.137/12089586X [30] Bui-Thanh，T。；Ghattas，O.，《无限维贝叶斯逆形状声散射及其数值近似分析》，SIAM/ASA J.不确定性。数量。，2, 1, 203-222 (2014) ·Zbl 1306.65270号 ·doi:10.1137/120894877 [31] 股份有限公司卡尔米科夫；Heimbach，P.，《全球海洋状态估计中基于Hessian的不确定性量化方法》，SIAM J.Sci。计算。，36, 5, 267-295 (2014) ·Zbl 1311.35321号 ·doi:10.1137/130925311 [32] 黑塞，M。；Stadler，G.，耦合准静态孔隙弹性的联合反演，J.Geophys。《固体地球研究》，119，21425-1445（2014）·doi:10.1002/2013JB010272 [33] Isaac，T。；佩特拉，N。；斯塔德勒，G。；Ghattas，O.，《通过推理将不确定性从数据传播到大规模问题预测的可扩展高效算法，以及应用于南极冰盖流动》，J.Compute。物理。，296, 348-368 (2015) ·Zbl 1352.86017号 ·doi:10.1016/j.jp.2015.04.047 [34] 崔，T。；法律，KJH；Marzouk，YM，Dimension-independent likelihood知悉MCMC，J.Compute。物理。，304, 109-137 (2016) ·Zbl 1349.65009号 ·doi:10.1016/j.jp.2015.10.008 [35] 陈，P。；美国维拉。；Ghattas，O.，基于Hessian的无限维贝叶斯反问题自适应稀疏求积，计算。方法应用。机械。工程，327，147-172（2017）·Zbl 1439.65071号 ·doi:10.1016/j.cma.2017.08.016 [36] Beskos，A。；Girolma，M。；兰·S。；法雷尔，体育；Stuart，AM，无限维反问题的几何MCMC，J.Compute。物理。，335, 327-351 (2017) ·Zbl 1375.35627号 ·doi:10.1016/j.jcp.2016.12.041 [37] Zahm，O.，Cui，T.，Law，K.，Spantini，A.，Marzouk，Y.：非线性贝叶斯反问题的证明降维。arXiv预印arXiv:1807.03712（2018）·兹伯利07541892 [38] Brennan，M.，Bigoni，D.，Zahm，O.，Spantini，A.，Marzouk，Y.：利用结构扩展惰性映射进行贪婪推理。高级神经信息处理。系统。33 (2020) [39] 陈，P。；Wu，K。；陈，J。；O'Leary-Roseberry，T。；Ghattas，O.，投影Stein变分牛顿：高维快速可扩展贝叶斯推理方法（2019），系统：高级神经信息处理，系统 [40] 陈，P。；Ghattas，O.，预测Stein变分梯度下降（2020），系统：高级神经信息处理，系统 [41] Subramanian，S。；Scheufele，K。；梅尔，M。；Biros，G.，肿瘤是从哪里开始的？肿瘤生长模型的稀疏定位逆解算器inverse Prob。，36, 4 (2020) ·Zbl 1467.92067号 ·doi:10.1088/1361-6420/ab649c [42] 巴巴尼伊，O。；Nicholson，R。；美国维拉。；Petra，N.，在流变不确定性下推断Stokes冰盖模型的基底滑动系数场，Cryosphere，15，4，1731-1750（2021）·doi:10.5194/tc-15-1731-2021 [43] O.加塔斯。；Willcox，K.，《从数据学习基于物理的模型：从反问题和模型简化的角度》，《数值学报》。，30, 445-554 (2021) ·Zbl 1520.65043号 ·doi:10.1017/S0962492921000064 [44] Stuart，AM，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号 ·doi:10.1017/S0962492910000061 [45] Petra，N.，Martin，J.，Stadler，G.，Ghattas，O.：无限维贝叶斯反问题的计算框架：第二部分。随机牛顿MCMC及其在冰盖流动逆问题中的应用。SIAM J.科学。计算。36(4), 1525-1555 (2014) ·Zbl 1303.35110号 [46] Bhattacharya，K.，Hosseini，B.，Kovachki，N.B.，Stuart，A.M.：参数pde的模型简化和神经网络。arXiv预打印arXiv:2005.03180（2020）·兹比尔1481.65260 [47] 弗雷斯卡，S。；Manzoni，A.，POD-DL-ROM：通过适当的正交分解增强基于深度学习的非线性参数化偏微分方程降阶模型，计算。方法应用。机械。工程，388（2022）·Zbl 1507.65181号 ·doi:10.1016/j.cma.2012.114181文件 [48] Kovachki，N.、Li，Z.、Liu，B.、Azizzadenesheli，K.、Bhattacharya，K.，Stuart，A.、Anandkumar，A.：神经运算符：函数空间之间的学习映射。arXiv预打印arXiv:2108.08481（2021） [49] Li，Z.、Kovachki，N.、Azizzadenesheli，K.、Liu，B.、Bhattacharya，K.，Stuart，A.、Anandkumar，A.：神经运算符：偏微分方程的图形核网络。arXiv预打印arXiv:2003.03485（2020） [50] Lu，L.，Jin，P.，Karniadakis，G.E.：Deeponet：基于算子的普遍逼近定理学习非线性算子以识别微分方程。arXiv预印arXiv:1910.03193（2019） [51] O'Leary-Roseberry，T.，Chen，P.，Villa，U.，Ghattas，O.：衍生信息神经算子：高维参数衍生学习的有效框架。arXiv预打印arXiv:2206.10745（2022）·Zbl 1507.62299号 [52] 新罕布什尔州内尔森；Stuart，AM，巴拿赫空间之间输入-输出映射的随机特征模型，SIAM J.Sci。计算。，43, 5, 3212-3243 (2021) ·Zbl 07398767号 ·数字对象标识码：10.1137/20M133957X [53] Nguyen，H.V.，Bui-Thanh，T.：反问题的模型约束深度学习方法。arXiv预打印arXiv:2105.12033（2021） [54] O.扎姆。；康斯坦丁，PG；Prieur，C。；Marzouk，YM，多元向量值函数的基于梯度的降维，SIAM J.Sci。计算。，42, 1, 534-558 (2020) ·Zbl 1433.41007号 ·doi:10.137/18M1221837 [55] Manzoni，A。；Negri，F。；Quarteroni，A.，通过适当的正交分解降低参数相关问题的维数，《数学年鉴》。科学。申请。，1, 2, 341-377 (2016) ·Zbl 1381.65005号 ·doi:10.4310/AMSA.2016.v1.n2.a4 [56] Quarteroni，A.，Manzoni，A.，Negri，F.：偏微分方程的约化基方法：导论第92卷。斯普林格（2015）·Zbl 1337.65113号 [57] Hughes，G.，《关于统计模式识别器的平均准确度》，IEEE Trans。Inf.理论，14，1，55-63（1968）·doi:10.10109/TIT.1968.1054102 [58] Li，Q.，Lin，T.，Shen，Z.：通过动力系统进行深度学习：近似观点。J.Eur，数学，社会学（2022） [59] O'Leary-Roseberry，T.，Alger，N.，Ghattas，O.：低秩无鞍牛顿：随机非凸优化的可扩展方法。arXiv预打印arXiv:2002.02881（2020） [60] 贾加鲁尔·莫汉，J。；Marzouk，Y.，《非子模块函数的批量贪婪最大化：实验设计的保证和应用》，J.Mach。学习。第22、252、1-62号决议（2021年）·Zbl 07626767号 [61] Alns，M.s.，Blechta，J.，Hake，J.、Johansson，A.、Kehlet，B.、Logg，A.、Richardson，C.、Ring，J.和Rognes，M.E.、Wells，G.N.：FEniCS项目版本1.5。数字软件档案3（100）（2015）。doi:10.11588/ans.2015.100.20553 [62] O'Leary-Roseberry，T.，Villa，U.：嬉皮士流：Python中参数化PDE映射的降维代理构造（2021）。doi:10.5281/zenodo.4608729 [63] Villa，U.，Petra，N.，Ghattas，O.：hIPPYlib：由PDE管理的大规模反问题的可扩展软件框架；第一部分：确定性反演和线性化贝叶斯推理。ACM Trans、数学、软件。(2021) ·Zbl 07467976号 [64] Abadi，M.，Barham，P.，Chen，J.，Cheng，Z.，Davis，A.，Dean，J.、Devin，M.、Ghemawat，S.、Irving，G.、Isard，M.等人：张力流：大规模机器学习系统。摘自：第十二届USENIX操作系统设计与实现研讨会（OSDI 16），第265-283页（2016） [65] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。arXiv预印arXiv:1412.6980（2014） [66] O'Leary-Roseberry，T.，Alger，N.，Ghattas，O.：随机非凸优化的非精确牛顿方法及其在神经网络训练中的应用。arXiv预印本arXiv:1905.06738（2019） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。