×
庞国飞；杨，刘；乔治·埃姆·卡尼亚达基斯

用于函数近似和PDE解的神经网络诱导的高斯过程回归。 （英语） Zbl 1451.68242号

J.计算。物理学。 384, 270-288 (2019).
摘要：神经网络诱导的高斯过程（NNGP）回归既继承了深度神经网络（deep NNs）的高表达性，也继承了高斯过程（GP）的不确定性量化特性。我们将当前的NNGP推广为首先包含更多的超参数，然后通过最大似然估计训练模型。与之前针对分类的NNGP工作不同，这里我们将广义NNGP应用于函数逼近和求解偏微分方程（PDE）。特别地，我们发展了一个解析迭代公式来计算具有误差函数非线性的深度神经网络诱导的广义预测协方差函数。我们将广义NNGP用于函数逼近和PDE解的性能与GP和全连通NN的性能进行了比较。我们发现，对于光滑函数，广义NNGP可以获得与GP相同的精度，而NNGP和GP都优于深度NN。对于非光滑函数，广义NNGP优于GP，并可与深NN媲美或优于深NN。

引用于17文件

MSC公司：

68T07型 人工神经网络与深度学习
35问68 与计算机科学相关的PDE
62M45型 神经网络及从随机过程推断的相关方法

关键词：

神经网络诱导的高斯过程；神经网络；机器学习；偏微分方程；不确定性量化

软件：

乔治；通用公共管理语言
PDF格式BibTeX公司 XML格式引用
\textit{G.Pang}等人，J.Compute。物理学。384270-288（2019年；Zbl 1451.68242）
全文： 内政部 arXiv公司

参考文献：

[1] 本·普尔；苏巴内尔·拉希里；梅特拉·拉胡（Maithra Raghu）；苏尔·迪克斯坦（Jascha Sohl-Dickstein）；Ganguli，Surya，通过瞬态混沌在深层神经网络中的指数表达，（神经信息处理系统进展（2016）），3360-3368
[2] Neal，Radford M.，神经网络贝叶斯学习（1995），多伦多大学博士论文·Zbl 0888.62021号
[3] Williams，Christopher KI，《无限网络计算》（神经信息处理系统进展（1997）），295-301
[4] Lee，Jaehoon；亚萨曼·巴赫里；诺瓦克，罗马人；塞缪尔·肖恩霍尔茨（Samuel S.Schoenholz）。；杰弗里·彭宁顿；Sohl-Dickstein、Jascha、Deep neural networks as Gaussian processes（2017）、预印本
[5] Haim Sompolinsky；安德烈亚·克里斯蒂安；Sommers，Hans-Jurgen，随机神经网络中的混沌，物理学。修订稿。，61, 3, 259 (1988)
[6] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，使用噪声高保真度数据推断微分方程的解，J.Comput。物理。，335, 736-746 (2017) ·Zbl 1382.65229号
[7] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，含时和非线性偏微分方程的数值高斯过程（2017），预印本·Zbl 1380.68339号
[8] 马齐亚·莱斯；Perdikaris，巴黎；Karniadakis，George Em，《物理知识深度学习》（第一部分）：非线性偏微分方程的数据驱动解（2017年），预印本·Zbl 1382.65229号
[9] 庞国飞；巴黎佩迪卡里斯；蔡伟；Karniadakis，George Em，使用高保真度贝叶斯优化从现场数据中发现平流-扩散方程的可变分数阶，J.Comput。物理。，348, 694-714 (2017) ·Zbl 1419.62499号
[10] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348, 683-693 (2017) ·Zbl 1380.68339号
[11] Cho，Youngmin；Saul，Lawrence K.，深度学习的内核方法，（神经信息处理系统进展（2009）），342-350
[12] 卡尔·爱德华·拉斯穆森；Williams，Christopher K.I.，《机器学习的高斯过程》（2006），麻省理工学院出版社·Zbl 1177.68165号
[13] Le Gratiet，Loic，《计算机实验的多维高斯过程回归》（2013），巴黎大学-狄德罗-巴黎第七大学，博士论文
[14] 卡尔·爱德华·拉斯穆森；Nickisch，Hannes，机器学习高斯过程（GPML）工具箱，J.Mach。学习。第11号决议，3011-3015（2010年）·Zbl 1242.68242号
[15] 拉迪斯拉夫·科奇斯；William J.Whiten，低差异序列的计算研究，ACM Trans。数学。软质。，23, 2, 266-294 (1997) ·Zbl 0887.65031号
[16] 泽维尔·格洛洛特；Yoshua Bengio，《理解深度前馈神经网络训练的困难》（第十三届国际人工智能与统计会议论文集（2010）），249-256
[17] Cea Basdevant；德维尔，M。；Haldenwang，P。；Lacroix，J.M。；瓦扎尼，J。；佩雷特，R。；奥兰迪，P。；Patera，A.T.，burgers方程的谱和有限差分解，计算。流体，14，1，23-41（1986）·Zbl 0612.76031号
[18] 尼提什·斯利瓦斯塔瓦；杰弗里·辛顿；Alex Krizhevsky；伊利亚·萨斯科弗；Salakhutdinov，Ruslan，《辍学：防止神经网络过度拟合的简单方法》，J.Mach。学习。第15，1号决议，1929-1958（2014）·Zbl 1318.68153号
[19] 埃里克·布罗丘（Eric Brochu）；弗拉德·M·科拉。；De Freitas，Nando，《昂贵成本函数的贝叶斯优化教程，应用于主动用户建模和分层强化学习》（2010年），预印本
[20] Neal，Radford M.，《神经网络贝叶斯学习》，第118卷（2012年），Springer Science&Business Media·Zbl 0888.62021号
[21] 宋乐；桑托什·万帕拉；约翰·威尔姆斯；谢波，《论学习神经网络的复杂性》（2017），预印本
[22] 詹姆斯·亨斯曼（James Hensman）；福西，尼科洛；Lawrence，Neil D.，《大数据的高斯过程》（2013），预印本
[23] 西瓦拉姆·安比卡萨兰；丹尼尔·马基领班；Leslie Greengard；大卫·W·霍格（David W.Hogg）。；O'Neil，Michael，高斯过程的快速直接方法，IEEE Trans。模式分析。机器。智力。，38, 2, 252-265 (2016)
[24] 亚历山大·利特维年科（Alexander Litvinenko）；孙莹；Marc G.Genton。；Keyes，David，大型空间数据集分层矩阵的似然逼近（2017），预印本
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。