朱银浩；尼古拉斯·扎巴拉斯 用于代理建模和不确定性量化的贝叶斯深度卷积编解码网络。 （英语） 兹比尔1407.62091 J.计算。物理。 366, 415-447 (2018). 摘要：我们感兴趣的是开发替代模型，用于随机偏微分方程控制的问题中的不确定性量化和传播，该模型使用深度卷积编码器-解码器网络，与图像到图像回归任务的深度学习中考虑的方法类似。由于常规神经网络是数据密集型的，不能提供预测不确定性，我们提出了一种卷积神经网络的贝叶斯方法。最近引入的基于Stein方法的变分梯度下降算法被扩展到深卷积网络，以对数百万个不确定网络参数进行近似贝叶斯推断。与贝叶斯神经网络中的其他方法以及包括高斯过程和集成方法的技术相比，即使在训练数据大小相对较小的情况下，该方法在预测准确性和不确定性量化方面实现了最先进的性能。为了评估该方法的性能，我们考虑了非均质介质中流动的标准不确定性量化任务，使用由渗透率实现以及相应的速度和压力场组成的有限训练数据。虽然输入（渗透率）和输出（流量/压力）字段之间没有共享的基础结构，但所开发的替代模型的性能非常好，这在计算机视觉问题中使用的图像到图像回归模型中通常是如此。在大多数其他不确定性量化方法失败的情况下，使用高达4225的潜在随机输入维度进行研究。考虑了不确定性传播任务，并将预测输出贝叶斯统计与蒙特卡罗估计的结果进行了比较。 引用于110文件 MSC公司： 2015年1月62日 贝叶斯推断 35问题35 与流体力学相关的PDE 76S05号 多孔介质中的流动；过滤；渗流 68T05型 人工智能中的学习和自适应系统 关键词：不确定性量化；贝叶斯神经网络；卷积编解码网络；深度学习；多孔介质流动 软件：西雅娜；FEniCS公司；ImageNet公司；像素x像素；AlexNet公司；CycleGAN公司；SegNet公司；掌中宽带；t-SNE公司；达奇；超波段；亚当 PDF格式BibTeX公司 XML格式引用 \textit{Y.Zhu}和\textit{N.Zabaras}，J.Compute。物理。366415--447（2018；Zbl 1407.62091） 全文： 内政部 arXiv公司 参考文献： [1] Bilinis，I。；Zabaras，N.，使用高斯过程的贝叶斯不确定性传播，（不确定性量化手册（2016）），1-45 [2] Bilinis，I。；北卡罗来纳州扎巴拉斯。；科诺米，学士。；Lin，G.，《多输出可分离高斯过程：实现不确定性量化的高效、完全贝叶斯范式》，J.Compute。物理。，241, 212-239 (2013) ·Zbl 1349.76760号 [3] Bilinis，I。；Zabaras，N.，《多输出局部高斯过程回归：应用于不确定性量化》，J.Compute。物理。，231、17、5718-5746（2012年）·Zbl 1277.60066号 [4] 秀，D。；Karniadakis，G.E.，随机微分方程的Wiener-Askey多项式混沌，SIAM J.Sci。计算。，24, 2, 619-644 (2002) ·Zbl 1014.65004号 [5] Torquato，S.，《随机非均质材料：微观结构和宏观性能》，第16卷（2013年），施普林格科学与商业媒体 [6] van der Maaten，L.J.P。；Postma，E.O。；van den Herik，H.J.，《维度缩减：比较评论》（2009），蒂尔堡大学，技术代表。 [7] Maaten，L.v.d。；Hinton，G.，《使用t-sne可视化数据》，J.Mach。学习。决议，92579-2605（2008年11月）·兹比尔1225.68219 [8] 辛顿，G.E。；Salakhutdinov，R.R.，《用神经网络降低数据的维数》，《科学》，3135786504-507（2006）·Zbl 1226.68083号 [9] 金玛，D.P。；Welling，M.，自动编码变分贝叶斯，CoRR [10] 劳伦斯，N.D.，高维数据可视化的高斯过程潜在变量模型，（神经信息处理系统进展（2004）），329-336 [11] Grigo，C。；Koutsourelakis，P.-S.，贝叶斯模型和不确定性传播的降维：在随机介质中的应用，arXiv预印本·Zbl 1422.62377号 [12] Bengio，Y.，《学习人工智能的深层架构》，Found。趋势马赫数。学习。，2, 1, 1-127 (2009) ·Zbl 1192.68503号 [13] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，（神经信息处理系统进展（2012）），1097-1105 [14] Zeiler，医学博士。；Fergus，R.，《卷积网络的可视化和理解》（欧洲计算机视觉会议（2014），施普林格），818-833 [15] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015） [16] 辛顿，G.E。；Osindero，S。；Teh，Y.-W.，深度信念网络的快速学习算法，神经计算。，18, 7, 1527-1554 (2006) ·Zbl 1106.68094号 [17] 张，C。；Bengio，S。；Hardt，M。；Recht，B。；Vinyals，O.，理解深度学习需要重新思考泛化，CoRR [18] Dziugaite，G.K。；Roy，D.M.，计算比训练数据参数更多的深度（随机）神经网络的非有效泛化界限，arXiv预印本 [19] Arora，S。；Ge，R。；Neyshabur，B。；Zhang，Y.，通过压缩方法实现深网的强泛化界，arXiv预印本 [20] 拉胡，M。；普尔，B。；Kleinberg，J。；神经节，S。；Sohl-Dickstein，J.，关于深度神经网络的表达能力，arXiv预印本 [21] 库茨，J.N.，《流体动力学深度学习》，J.流体力学。，814, 1-4 (2017) ·Zbl 1383.76380号 [22] Marçais，J。；de Dreuzy，J.-R.，深度学习对水文推断的潜在兴趣，地下水，55，5688-692（2017） [23] Chan，S。；Elsheikh，A.H.，《使用多尺度方法进行有效不确定性量化的机器学习方法》，J.Compute。物理。，354，补编C，493-511（2018）·兹比尔1380.65331 [24] 最小值，S。；Lee，B。；Yoon，S.，《生物信息学的深度学习》，简介。生物信息。，18, 5, 851-869 (2017) [25] 巴尔迪，P。；萨多夫斯基，P。；怀特森，D.，《通过深度学习在高能物理中寻找奇异粒子》，《国家通讯》。，5, 4308 (2014) [26] 麦凯，D.J.，《反向传播网络的实用贝叶斯框架》，神经计算。，4, 3, 448-472 (1992) [27] Neal，R.M.，《神经网络贝叶斯学习》，第118卷（2012），施普林格科学与商业媒体 [28] Gal，Y。；Ghahramani，Z.，作为贝叶斯近似的辍学：在深度学习中表示模型不确定性，（机器学习国际会议（2016）），1050-1059 [29] 布伦德尔，C。；科内比斯，J。；Kavukcuoglu，K。；Wierstra，D.，神经网络中的重量不确定性，arXiv预印本 [30] 刘，Q。；Wang，D.，Stein变分梯度下降：通用贝叶斯推理算法，（神经信息处理系统进展（2016）），2378-2386 [31] 金玛，D.P。；Salimans，T。；Welling，M.，变分辍学和局部重新参数化技巧，（神经信息处理系统进展（2015）），2575-2583 [32] Hernández-Lobato，J.M。；Adams，R.，贝叶斯神经网络可扩展学习的概率反向传播，（机器学习国际会议（2015）），1861-1869 [33] 路易斯，C。；Welling，M.，变分贝叶斯神经网络的乘法归一化流，arXiv预印本 [34] 路易斯，C。；Ullrich，K。；Welling，M.，深度学习的贝叶斯压缩，arXiv预印本 [35] 黄，G。；刘，Z。；温伯格，K.Q。；van der Maaten，L.，紧密连接卷积网络，arXiv预印本 [36] Simonyan，K。；Zisserman，A.，用于大规模图像识别的深度卷积网络，arXiv预印本 [37] Szegedy，C.等人。；Vanhoucke，V。；洛夫，S。；Shlens，J。；Wojna，Z.，重新思考计算机视觉的初始体系结构，（IEEE计算机视觉和模式识别会议论文集（2016）），2818-2826 [38] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度剩余学习，（IEEE计算机视觉和模式识别会议论文集（2016）），770-778 [39] O.Ronneberger。；菲舍尔，P。；Brox，T.，《U-net：生物医学图像分割的卷积网络》，（医学图像计算和计算机辅助干预国际会议（2015），施普林格），234-241 [40] 艾根，D。；Puhrsch，C。；Fergus，R.，使用多尺度深度网络从单个图像预测深度图，（神经信息处理系统进展（2014）），2366-2374 [41] Isola，P。；朱，J。；周，T。；Efros，A.A.，使用条件对抗网络进行图像到图像转换，CoRR [42] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，（神经信息处理系统进展（2014）），2672-2680 [43] van den Oord，A。；Kalchbrenner，N。；Espeholt，L。；葡萄酒，O。；Graves，A.，使用pixelcnn解码器生成条件图像，（神经信息处理系统进展（2016）），4790-4798 [44] 奥尔德，A.v.d。；Kalchbrenner，N。；Kavukcuoglu，K.，像素递归神经网络，arXiv预印本 [45] Srivastava，R.K。；格雷夫，K。；Schmidhuber，J.，训练非常深度的网络，（神经信息处理系统进展（2015）），2377-2385 [46] 洛夫，S。；Szegedy，C.，《批量规范化：通过减少内部协变量转移加快深层网络训练》，（机器学习国际会议（2015）），448-456 [47] 格洛洛特，X。；Bordes，A。；Bengio，Y.，深度稀疏整流器神经网络，（第十四届国际人工智能与统计会议论文集（2011）），315-323 [48] Theano：用于快速计算数学表达式的Python框架 [49] Long，J。；谢尔哈默，E。；Darrell，T.，语义分割的完全卷积网络，（IEEE计算机视觉和模式识别会议论文集（2015）），3431-3440 [50] Badrinarayan，V。；肯德尔，A。；Cipolla，R.，Segnet：用于图像分割的深度卷积编解码器架构，arXiv预打印 [51] Jégou，S。；Drozdzal，M。；巴斯克斯，D。；罗梅罗，A。；Bengio，Y.，《一百层提拉米苏：用于语义分割的全卷积密集网》，（2017年IEEE计算机视觉和模式识别会议研讨会。2017年IEEE计算机视觉和模式识别会议研讨会，CVPRW（2017），IEEE），1175-1183 [52] 韩，S。；毛，H。；Dally，W.J.，深度压缩：用剪枝、训练量化和哈夫曼编码压缩深度神经网络，arXiv预打印 [53] A.李。；卡隆，F。；Doucet，A。；Holmes，C.，构建稀疏诱导先验的层次贝叶斯框架，arXiv预印本 [54] Gramacy，R.B。；Lee，H.K.，《计算机实验建模中的金块案例》，Stat.Compute。，22, 3, 713-722 (2012) ·Zbl 1252.62098号 [55] 尼克斯·D.A。；Weigend，A.S.，估计目标概率分布的平均值和方差，（1994年IEEE神经网络国际会议，IEEE计算智能世界大会，第1卷（1994年），IEEE），55-60 [56] Le，Q.V。；Smola，A.J。；Canu，S.，异方差高斯过程回归，（第22届机器学习国际会议论文集（2005），ACM），489-496 [57] 肯德尔，A。；Gal，Y.，在计算机视觉的贝叶斯深度学习中，我们需要哪些不确定性？，arXiv预印本 [58] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，《变分推断：统计学家评论》，J.Am.Stat.Assoc.，112，518，859-877（2017） [59] Liu，Q.，Stein变分梯度下降作为梯度流，（神经信息处理系统进展（2017）），3117-3125 [60] 刘，Q。；Lee，J。；Jordan，M.，《优秀测试的核心Stein差异》（国际机器学习会议（2016）），276-284 [61] 拉斯穆森，C.E。；Williams，C.K.，《机器学习的高斯过程》，第1卷（2006），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1177.68165号 [62] Alns，医学硕士。；布莱希塔，J。；Hake，J。；约翰逊，A。；Kehlet，B。；Logg，A。；Richardson，C。；Ring，J。；罗杰斯，M.E。；Wells，G.N.，FEniCS项目1.5版，Arch。数字。软质。，3, 100 (2015) [63] Lakshminarayanan，B。；Pritzel，A。；Blundell，C.，使用深度集合进行简单且可扩展的预测不确定性估计，arXiv预印本 [64] 李，L。；杰米森，K。；DeSalvo，G。；Rostamizadeh，A。；Talwalkar，A.，Hyperband:一种新的基于土匪的超参数优化方法，arXiv预印本·Zbl 1468.68204号 [65] Kingma，D。；Ba，J.，Adam：一种随机优化方法，arXiv预印本 [66] 戈亚尔，P。；多拉，P。；Girshick，R.B。；Noordhuis，P。；韦索洛夫斯基，L。；Kyrola，A。；Tulloch，A。；贾毅。；He，K.，Accurate，大型小批量SGD：1小时内培训ImageNet，CoRR [67] 金纳罗·坎德拉，J。；拉斯穆森，C。；辛兹，F。；O.布斯克。；Schölkopf，B.，评估预测不确定性挑战，（机器学习挑战：评估预测不确定性、视觉对象分类和识别文本纠缠，Max Planck Gesellschaft（2006），施普林格：德国施普林格柏林），1-27 [68] Poggio，T。；川口，K。；廖琦（Liao，Q.）。；米兰达，B。；Rosasco，L。；博伊克斯，X。；希达里，J。；Mhaskar，H.，《深度学习理论III：解释非过拟合难题》 [69] de Oliveira，L。；帕格尼尼，M。；Nachman，B.，通过示例学习粒子物理：用于物理合成的定位软件生成对抗网络，arXiv预印本 [70] 罗，W。；李毅。；Urtasun，R。；Zemel，R.，《理解深卷积神经网络中的有效感受野》，（神经信息处理系统进展（2016）），4898-4906 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。