跳到主要内容
研究论文
免费访问

偏微分方程统计逆问题的变分反演网络

作者信息和声明
机器学习研究杂志第24卷第1期条款编号:201第9597–9656页
出版:2024年3月6日出版历史
跳过抽象节

摘要

为了量化偏微分方程(PDE)反问题中的不确定性,我们使用贝叶斯公式将其表示为统计推断问题。最近,已经开发出了合理的无限维贝叶斯分析方法来构造维度相关算法。然而,这些无限维贝叶斯方法面临三个挑战:先验测度通常充当正则化子,无法有效地合并先验信息;复杂噪声,例如更实用的非i.d.分布噪声,很少被考虑;估计后验统计量需要耗时的前向PDE解算器。为了解决这些问题,基于无限维变分推理方法和深层生成模型,提出了一个无限维推理框架。具体地说,通过引入一些测度等价假设,我们导出了无穷维环境中的证据下限,并提供了可能的参数策略,从而产生一个称为变分反演网络(VINet)的一般推理框架。该推理框架可以对学习示例中的先验信息和噪声信息进行编码。此外,依靠深度神经网络的能力,可以在推理阶段高效、明确地生成后验均值和方差。在数值实验中,我们设计了特定的网络结构,从一般推理框架中生成可计算的VINet。给出了椭圆方程和亥姆霍兹方程线性反问题的数值例子,以说明所提推理框架的有效性。

工具书类

  1. J.Adler和O.Øktem。深度贝叶斯反演。arXiv:1811.059102018年。谷歌学者谷歌学者
  2. S.Agapiou、S.Larsson和A.M.Stuart。线性不适定反问题贝叶斯方法的后验收缩率。斯托克。程序。申请。, 123(10):3828-3860, 2013.谷歌学者谷歌学者
  3. S.Agapiou、J.M.Bardsley、O.Papaspiliopoulos和A.M.Stuart。层次逆问题的吉布斯采样器分析。SIAM/ASA J.不确定性量化, 2: 511-544, 2014.谷歌学者谷歌学者
  4. S.Agapiou、O.Papaspiliopoulos、D.Sanz-Alonso和A.M.Stuart。重要性抽样:内在维度和计算成本。统计科学。,32(3):405-431017。谷歌学者谷歌学者
  5. S.Arridge、P.Maass、O.ktem和C.-B.Schönlieb。使用数据驱动模型解决反问题。Acta Numer公司。, 28:1-174, 2019.谷歌学者谷歌学者
  6. G.Bao、S.N.Chow、P.Li和H.Zhou。随机源介质散射反问题的数值解。反向探测。, 26(7):074014, 2010.谷歌学者谷歌学者
  7. G.Bao、P.Li、J.Lin和F.Triki。多频率逆散射问题。反向探测。, 31(9):093001, 2015.谷歌学者谷歌学者
  8. J.O.Berger。统计决策理论与贝叶斯分析斯普林格出版社,纽约,第二版,1980年。谷歌学者谷歌学者
  9. A.Beskos、G.Roberts、A.Stuart和J.Voss。扩散桥MCMC方法。斯托克。发电机。, 08(03):319-350, 2008.谷歌学者谷歌学者
  10. A.Beskos、A.Jasra、E.A.Muzaffer和A.M.Stuart。贝叶斯椭圆反问题的序贯蒙特卡罗方法。统计计算。, 25:727-737, 2015.谷歌学者谷歌学者
  11. K.Bhattacharya、B.Hosseini、N.B.Kovachki和A.M.Stuart。参数偏微分方程的模型简化和神经网络。SMAI J.计算。数学。, 7:121-157, 2021.谷歌学者谷歌学者
  12. 克里斯托弗·毕晓普(Christopher M.Bishop)。模式识别与机器学习《施普林格》,纽约,2006年。谷歌学者谷歌学者
  13. T.Bui-Thanh和Q.P.Nguyen。基于FEM的PDE约束贝叶斯反问题离散化变MCMC方法。反向探测。伊玛格。, 10(4):943-975, 2016.谷歌学者谷歌学者
  14. T.Bui-Thanh、O.Ghattas、J.Martin和G.Stadler。无限维贝叶斯反问题的计算框架第一部分:线性化情况,及其在全球地震反演中的应用。SIAM J.科学。计算。,35(6):A2494-A25232013年。谷歌学者谷歌学者
  15. D.Calvetti、M.M.Dunlop、E.Somersalo和A.M.Stuart。贝叶斯反演模型误差的迭代更新。反向探测。, 34(2):025008, 2018.谷歌学者谷歌学者
  16. T.Chen和H.Chen。具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用。IEEE T.神经。网络, 6(4):904-917, 1995.谷歌学者谷歌学者
  17. S.L.Cotter、M.Dashti、J.C.Robinson和A.M.Stuart。函数的贝叶斯反问题及其在流体力学中的应用。反向探测。, 25(11):115008, 2009.谷歌学者谷歌学者
  18. S.L.Cotter、G.O.Roberts、A.M.Stuart和D.White。函数的MCMC方法:修改旧算法使其更快。统计科学。, 28(3):424-446, 2013.谷歌学者谷歌学者
  19. F.Cucker和S.Smale。关于学习的数学基础。美国数学学士。Soc公司。, 39(1):1-49, 2001.谷歌学者谷歌学者
  20. T.Cui、K.J.H.Law和Y.M.Marzouk。与尺寸无关,可能会通知MCMC。J.计算。物理学。, 304:109-137, 2016.谷歌学者谷歌学者
  21. M.Dashti和A.M.Stuart。反问题的贝叶斯方法。不确定性量化手册,第311-428页,2017年。谷歌学者谷歌学者
  22. Masoumeh Dashti、Stephen Harris和Andrew Stuart。贝叶斯反问题的贝索夫先验。反向探测。图像。, 6(2):183-200, 2012.谷歌学者谷歌学者
  23. N.Davoudi、X.L.DeáN-Ben和D.Razansky。稀疏数据的深度学习光声层析成像。自然马赫数。因特尔。, 1:453-460, 2019.谷歌学者谷歌学者
  24. M.M.Dunlop、M.A.Iglesias和A.M.Stuart。分层贝叶斯水平集反演。统计计算。, 27:1555-1584, 2017.谷歌学者谷歌学者
  25. M.M.Dunlop、D.Slepčcev、A.M.Stuart和M.Thorpe。基于图形的半监督学习算法的大数据和零噪声限制。申请。计算。哈蒙。答:。, 49(2): 655-697, 2020.谷歌学者谷歌学者
  26. H.W.Engl、M.Hanke和A.Neubauer。反问题的正则化Kluwer学术出版社,荷兰,1996年。谷歌学者谷歌学者
  27. L.C.埃文斯。偏微分方程美国数学学会,普罗维登斯,RI,第二版,2010年。谷歌学者谷歌学者
  28. Z.Veng和J.Li。用于函数贝叶斯推断的自适应独立采样器MCMC算法。SIAM J.科学。计算。,40(3):A1310-A13212018年。谷歌学者谷歌学者
  29. S.Ghosal和A.v.d.Vaart。非参数贝叶斯推理基础《剑桥大学出版社,美利坚合众国》,2017年。谷歌学者谷歌学者
  30. M.Giordano和R.Nickl。椭圆反问题中贝叶斯推理与高斯过程先验的一致性。反向探测。, 36(8):085001, 2020.谷歌学者谷歌学者
  31. E.Haber和L.Tenorio。学习正规化功能——有监督的培训方法。反向探测。, 19(3):611-626, 2003.谷歌学者谷歌学者
  32. N.Halko、P.-G.Martinsson和J.A.Tropp。寻找具有随机性的结构:用于构造近似矩阵分解的概率算法。SIAM审查, 53(2):217-288, 2011.谷歌学者谷歌学者
  33. F.Hoffmann、B.Hosseini、Z.Ren和A.M.Stuart。图上半监督学习算法的一致性:probit和one-hot方法。J.马赫。学习。物件。, 21(186):1-55, 2020.谷歌学者谷歌学者
  34. Bamdad Hosseini和Nilima Nigam。贝叶斯反问题:指数尾先验。SIAM/ASA J.不确定性量化, 5(1):436-465, 2017.谷歌学者谷歌学者
  35. J.Jia、J.Peng和J.Gao。变指数贝索夫先验函数反问题的贝叶斯方法。反向探测。, 32(8):085006, 2016.谷歌学者谷歌学者
  36. J.Jia、S.Yue、J.Peng和J.Gao。分数阶亥姆霍兹方程逆散射问题的无限维贝叶斯方法。J.功能。分析。, 275(9):2299- 2332, 2018.谷歌学者谷歌学者
  37. J.Jia、B.Wu、J.Peng和J.Gao。具有复杂混合高斯误差学习的逆介质散射问题的递推线性化方法。反向探测。, 35(7): 075003, 2019.谷歌学者谷歌学者
  38. J.Jia、J.Peng和J.Gao。非对角假设下反问题经验贝叶斯方法的后验收缩。反向探测。图像。,15(2):201-2282021a。谷歌学者谷歌学者
  39. J.Jia、Q.Zhao、Z.Xu、D.Meng和Y.Leung。函数的变分贝叶斯方法及其在某些反问题中的应用。SIAM J.科学。计算。,43(1):A355-A3832021b。谷歌学者谷歌学者
  40. J.Jia、P.Li和D.Meng。无穷维空间上的Stein变分梯度下降及其在统计反问题中的应用。SIAM J.数字。分析。, 60(4):2225-2252, 2022.谷歌学者谷歌学者
  41. B.Jin和J.Zou。基于变分法的不适定问题的层次贝叶斯推理。J.计算。物理学。, 229(19):7317-7343, 2010.谷歌学者谷歌学者
  42. J.Kaipio和E.Somersalo。统计和计算反问题Springer-Verlag,纽约,2005年。谷歌学者谷歌学者
  43. J.P.Kaipio、T.Huttunen、T.Luostari、T.Lähivaara和P.B.Monk。改进高对比度材料逆散射玻恩近似的贝叶斯方法。反问题, 35(8):084001, 2019.谷歌学者谷歌学者
  44. H.Kekkonen、M.Lassas和S.Siltanen。亚椭圆算子贝叶斯反演的后验一致性和收敛速度。反向探测。, 32(8):085005, 2016.谷歌学者谷歌学者
  45. Y.Khoo和L.Ying。Switchnet:用于前向和反向散射问题的神经网络模型。SIAM J.科学。计算。,(5):A3182-A32012019。谷歌学者谷歌学者
  46. D.P.金马。变分推理与深度学习:一种新的综合阿姆斯特丹大学博士论文,2017年。谷歌学者谷歌学者
  47. B.T.Knapik、A.van Der Vaart和J.H.van Zanten。具有高斯先验的贝叶斯反问题。安。统计师。, 39:2626-2657, 2011.谷歌学者谷歌学者
  48. N.Kovachki、S.Lanthaler和S.Mishra。关于傅里叶神经算子的普遍逼近和误差界。J.马赫。学习。物件。, 22:1-76, 2021.谷歌学者谷歌学者
  49. M.Lassas和S.Siltanen。在保边贝叶斯反演中可以使用总变分先验吗?反向探测。, 20(5):1537, 2004.谷歌学者谷歌学者
  50. 马蒂·拉萨斯(Matti Lassas)、埃罗·萨克斯曼(Eero Saksman)和萨穆利·西尔坦(Samuli Siltanen)。离散化不变贝叶斯反演和besov空间先验。反向探测。图像。, 3(1):87-122, 2009.谷歌学者谷歌学者
  51. J.拉茨。贝叶斯反问题的适定性。SIAM/ASA J.不确定性量化, 8(1):451-482, 2020.谷歌学者谷歌学者
  52. J.Li和Y.M.Marzouk。逆问题贝叶斯解的代用品的自适应构造。SIAM J.科学。计算。,36(3):A1410-A14352014年。谷歌学者谷歌学者
  53. Z.Li、N.Kovachki、K.Azizzadenesheli、B.Liu、K.Bhattacharya、A.M.Stuart和A.Anandkumar。神经运算符:偏微分方程的图形核网络。arXiv:2003.034852020a。谷歌学者谷歌学者
  54. Z.Li、N.B.Kovachki、K.Azizzadenesheli、K.Bhattacharya、A.Stuart和A.Anandkumar。参数偏微分方程的傅里叶神经算子。ICLR公司2020b年。谷歌学者谷歌学者
  55. A.Lischke、G.Pang、M.Gulian、F.Song、C.Glusa、X.Zheng、Z.Mao、W.Cai、M.M.Meerschaert、M.Ainsworth和G.E.Karniadakis。分数拉普拉斯算子是什么?与新结果的比较审查。J.计算。物理学。, 404(1):109009, 2020.谷歌学者谷歌学者
  56. A Logg、K.A.Mardal和G.N.Wells。微分方程的有限元自动求解斯普林格,2012年。谷歌学者谷歌学者
  57. N.H.Nelsen和A.M.Stuart。Banach空间之间输入-输出映射的随机特征模型。SIAM J.科学。计算。,243:A3212-A32432021。谷歌学者谷歌学者
  58. N.Petra、J.Martin、G.Stadler和O.Ghattas。无限维贝叶斯反问题的计算框架,第二部分:随机牛顿MCMC及其在冰盖反问题中的应用。SIAM J.科学。计算。,36(4):A1525-A15552014。谷歌学者谷歌学者
  59. F.J.Pinski、G.Simpson、A.M.Stuart和H.Weber。无限维空间上概率测度的Kullback-Leibler逼近。SIAM J.数学。分析。,47(6):4091-4122,2015年a。谷歌学者谷歌学者
  60. F.J.Pinski、G.Simpson、A.M.Stuart和H.Weber。无限维概率测度的Kullback-Leibler近似算法。SIAM J.科学。计算。,37(6):A2733-A27572015b。谷歌学者谷歌学者
  61. G.D.普拉托。无限维分析导论施普林格出版社,柏林-海德堡,2006年。谷歌学者谷歌学者
  62. G.D.Prato和J.Zabczyk。无穷维随机方程剑桥大学出版社,剑桥,第二版,2014年。谷歌学者谷歌学者
  63. A.M.斯图亚特。反问题:贝叶斯观点。Acta Numer公司。, 19:451-559, 2010.谷歌学者谷歌学者
  64. S.Sun、G.Zhang、J.Shi和R.Grosse。泛函变分贝叶斯神经网络。ICLR公司, 2019.谷歌学者谷歌学者
  65. B.Szabó、A.W.van der Vaart和J.H.van Zanten。自适应非参数贝叶斯可信集的频繁覆盖。安。统计师。, 43(4):1391-1428, 2015.谷歌学者谷歌学者
  66. N.G.Trillos、Z.Kaplan、T.Samakhoana和D.Sanz-Alonso。基于图的贝叶斯半监督学习的一致性和抽样算法的可扩展性。J.马赫。学习。物件。, 21(28):1-47, 2020.谷歌学者谷歌学者
  67. U.Villa、N.Petra和O.Ghattas。HIPPYlib:PDE控制的大规模逆问题的可扩展软件框架:第一部分:确定性反演和线性化贝叶斯推断。ACM事务处理。数学。柔和。, 47(2):1-34, 2021.谷歌学者谷歌学者
  68. 塞巴斯蒂安·J·沃尔默。贝叶斯反问题通过稳定性和回归结果的后验一致性。反向探测。, 29(12):125011, 2013.谷歌学者谷歌学者
  69. K.Wang、T.Bui-Thanh和O.Ghattas。一种用于高维非线性贝叶斯反问题后验抽样的随机最大后验方法。SIAM J.科学。计算。,40(1):A142-A1712018年。谷歌学者谷歌学者
  70. Z.Wang、T.Ren、J.Zhu和B.Zhang。贝叶斯神经网络的函数空间粒子优化。ICLR公司, 2019.谷歌学者谷歌学者
  71. J.Yoo、A.Wahab和J.C.Ye。弹性源成像深度学习的数学框架。SIAM J.应用。数学。, 78(5):2791-2818, 2018.谷歌学者谷歌学者
  72. Z.Yue、H.Yong、Q.Zhao、L.Zhang和D.Meng。变分去噪网络:面向盲噪声建模和去除。NeurIPS公司, 2019.谷歌学者谷歌学者
  73. Z.Yue、H.Yong、Q.Zhao、L.Zhang和D.Meng。变分图像恢复网络。ArXiv公司, 2008.10796, 2020.谷歌学者谷歌学者
  74. C.Zhang、J.Butepage、H.Kjellstrom和S.Mandt。变分推理的进展。IEEE T.模式分析。, 41(8):2008-2026, 2018.谷歌学者谷歌学者
  75. K.Zhang、W.Zuo、Y.Chen、D.Meng和L.Zhang。超越高斯去噪器:深度CNN的残差学习用于图像去噪。IEEE T.图像处理。, 26(7):3142-3155, 2017.谷歌学者谷歌学者
  76. 周勤,余涛,张欣,李杰。利用泊松数据重建医学图像的贝叶斯推断和不确定性量化。SIAM J.成像科学。, 13(1):29-52, 2020.谷歌学者谷歌学者

索引术语

  1. 偏微分方程统计逆问题的变分反演网络
              索引术语已通过自动分类分配给内容。

              建议

              评论

              登录选项

              检查您是否可以通过登录凭据或您的机构访问本文。

              登录

              完全访问权限

              • 文章指标

                • 下载次数(过去12个月)4
                • 下载次数(最近6周)1

                其他指标

              PDF格式

              以PDF文件查看或下载。

              PDF格式

              电子阅读器

              使用eReader联机查看。

              电子阅读器