×

高斯过程的有限元表示:平衡数值和统计精度。 (英语) Zbl 1498.62015号

摘要:高斯过程(GPs)的随机偏微分方程方法用稀疏精度矩阵表示有限元基函数和高斯系数方面的Matérn GP先验。这种表示增强了GP回归和分类到大型数据集的可扩展性通过设置\(n\大约n\)并利用稀疏性。本文通过对估计性能的分析,重新考虑了标准选择(n近似n)。我们的理论表明,在一定的光滑性假设下,通过在大的(n)渐近性中设置(n),可以在不影响估计精度的情况下减少计算和存储开销。数值实验证明了我们的理论的适用性以及先验长度尺度在预共鸣状态下的影响。

MSC公司:

62-08 统计问题的计算方法
6220国集团 非参数推理的渐近性质
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bolin,D.和Kirchner,K.,高斯随机场的有理SPDE方法与一般平滑度,J.Compute。图表。统计人员。,29(2020年),第274-285页·Zbl 07499255号
[2] Bolin,D.、Kirchner,K.和Kovács,M.,具有空间白噪声的分数阶椭圆随机偏微分方程的数值解,IMA J.Numer。分析。,40(2020年),第1051-1073页·Zbl 1466.65181号
[3] Bolin,D.和Lindgren,F.,大型空间数据集的马尔可夫近似和其他方法的比较,计算。统计师。数据分析。,61(2013),第7-21页·兹比尔1349.62445
[4] Cameletti,M.、Lindgren,F.、Simpson,D.和Rue,H.,通过SPDE方法对颗粒物浓度进行时空建模,AStA高级统计分析。,97(2013),第109-131页·兹比尔1443.62401
[5] Castillo,I.,Kerkyacharian,G.,和Picard,D.,Thomas Bayes’walk on manifolds,Probab。理论相关性。Fields,158(2014),第665-710页·Zbl 1285.62028号
[6] Cotter,S.、Roberts,G.O.、Stuart,A.M.和White,D.,MCMC函数方法:修改旧算法使其更快,Statist。科学。,28(2013),第424-446页·Zbl 1331.62132号
[7] Cox,S.G.和Kirchner,K.,广义Whittle-Matérn域在Sobolev和Hölder空间中的正则性和收敛性分析,Numer。数学。,146(2020年),第819-873页·Zbl 1455.65210号
[8] Cui,T.、Law,K.J.和Marzouk,Y.M.,《与维度无关的信息》,MCMC,J.Compute。物理。,304(2016),第109-137页·Zbl 1349.65009号
[9] Datta,A.、Banerjee,S.、Finley,A.O.和Gelfand,A.E.,大型地质统计数据集的层次最近邻高斯过程模型,J.Amer。统计师。协会,111(2016),第800-812页。
[10] Davies,E.B.,谱理论和微分算子,剑桥高级数学研究所。42,剑桥大学出版社,英国剑桥,1995年·Zbl 0893.47004号
[11] Du,J.,Zhang,H.,and Mandrekar,V.,锥形极大似然估计量的固定域渐近性质,Ann.Statist。,37(2009),第3330-3361页·Zbl 1369.62248号
[12] Dunker,T.、Lifshits,M.和Linde,W.,独立随机变量和的小偏差概率,《高维概率》,Springer,纽约,1998年,第59-74页·兹比尔0902.60039
[13] Edmunds,D.E.和Triebel,H.,《函数空间,熵数,微分算子》,剑桥数学丛书。120,剑桥大学出版社,英国剑桥,1996年·Zbl 0865.46020号
[14] Furrer,R.、Genton,M.G.和Nychka,D.,大型空间数据集插值协方差锥化,J.Compute。图表。统计人员。,15(2006年),第502-523页。
[15] Trillos,N.Garcia,Kaplan,Z.,Samakhoana,T.和Sanz-Alonso,D.,关于基于图形的贝叶斯半监督学习的一致性和采样算法的可扩展性,J.Mach。学习。研究,21(2020),第1-47页·Zbl 1498.68269号
[16] Gaspari,G.和Cohn,S.E.,二维和三维相关函数的构建,夸特。J.R.Meteorol公司。Soc.,125(1999),第723-757页。
[17] Gelfand,A.E.、Diggle,P.、Guttorp,P.和Fuentes,M.,《空间统计手册》,CRC出版社,佛罗里达州博卡拉顿,2010年·Zbl 0714.65036号
[18] Ghosal,S.、Ghosh,J.K.和Van Der Vaart,A.,后验分布的收敛速度,《统计年鉴》。,28(2000),第500-531页·Zbl 1105.62315号
[19] Giordano,M.和Nickl,R.,椭圆反问题中贝叶斯推断与高斯过程先验的一致性,反问题,36(2020),085001·Zbl 1445.35330号
[20] Greengard,P.和O'Neil,M.,具有特征函数展开的高斯过程的有效降秩方法,预印本,https://arxiv.org/abs/1208.05924, 2021.
[21] Guttorp,P.和Gneiting,T.,《概率统计史研究》,第四十九卷:关于Mátern相关家族,《生物统计学》,93(2006),第989-995页·Zbl 1436.62013年
[22] Heaton,M.J.、Datta,A.、Finley,A.O.、Furrer,R.、Guinness,J.、Guhaniyogi,F.、Gerber,Rand、Gramacy,R.B.、Hammerling,D.、Katzfush,M.等人,大型空间数据分析方法之间的案例研究竞争,J.Agric。生物与环境。《统计》,第24卷(2019年),第398-425页·Zbl 1426.62345号
[23] Houtekamer,P.L.和Mitchell,H.L.,用于大气数据同化的序贯集合卡尔曼滤波器,孟买。《天气评论》,129(2001),第123-137页。
[24] Kang,M.和Katzfush,M.,基于相关性的稀疏逆Cholesky因式分解,用于快速高斯过程推理,预打印,https://arxiv.org/abs/2112.14591, 2021. ·Zbl 1516.62017年
[25] Katzfuss,M.和Guinness,J.,高斯过程的Vecchia近似的一般框架,统计。科学。,36(2021年),第124-141页·Zbl 07368223号
[26] Khristenko,U.,Scarabosio,L.,Swierczynski,P.,Ullmann,E.,and Wohlmuth,B.,《基于PDE的Whittle-Matérn随机场采样的边界效应分析》,SIAM/ASA J.Uncertain。数量。,7(2019),第948-974页,doi:10.1137/18M1215700·Zbl 07118418号
[27] Li,W.V.和Linde,W.,高斯测度的近似、度量熵和小球估计,Ann.Probab。,27(1999),第1556-1578页·Zbl 0983.60026号
[28] Lindgren,F.、Bolin,D.和Rue,H.,高斯和非高斯场的SPDE方法:10年并仍在运行,Spat。《统计》,50(2022),100599。
[29] Lindgren,F.、Rue,H.和Lindström,J.,高斯场和高斯马尔可夫随机场之间的明确联系:随机偏微分方程方法,J.R.Stat.Soc.Ser。《美国统计年鉴》。,73(2011),第423-498页·兹比尔1274.62360
[30] Neal,R.,《使用高斯过程先验的回归和分类》,载于贝叶斯统计6(Alcoceber,1998),牛津大学出版社,纽约,1999年,第475-501页·Zbl 0974.62072号
[31] Nickl,R.、van de Geer,S.和Wang,S.,PDE约束回归问题中惩罚最小二乘估计的收敛速度,SIAM/ASA J.不确定性。数量。,8(2020年),第374-413页,doi:10.1137/18M1236137·Zbl 1436.62163号
[32] Owhadi,H.和Scovel,C.,《算子自适应小波、快速求解器和数值均匀化:从博弈论方法到数值逼近和算法设计》,剑桥大学专著。申请。计算。数学。35,剑桥大学出版社,英国剑桥,2019年·Zbl 1477.65004号
[33] Owhadi,H.、Scovel,C.和Schäfer,F.,《统计数值近似法》,《美国通告》。数学。Soc.,66(2019),第1608-1617页·兹伯利07146568
[34] Quinonero-Candela,J.和Rasmussen,C.E.,稀疏近似高斯过程回归的统一观点,J.Mach。学习。Res.,6(2005),第1939-1959页·兹比尔1222.68282
[35] Rue,H.和Held,L.,《高斯马尔可夫随机场:理论与应用》,查普曼和霍尔/CRC,佛罗里达州博卡拉顿,2005年·邮编1093.60003
[36] Sanz-Alonso,D.、Stuart,A.M.和Taeb,A.,《反问题和数据同化与机器学习的联系》,预印本,https://arxiv.org/abs/1810.06191v4, 2018. ·Zbl 07704049号
[37] Sanz-Alonso,D.和Yang,R.,《马特恩场的SPDE方法:图形表示,统计》。科学。,2022. ·Zbl 07612070号
[38] Sanz-Alonso,D.和Yang,R.,《未标记数据有助于基于图形的半监督学习:贝叶斯非参数视角》,J.Mach。学习。研究,23(2022),第1-28页。
[39] Schäfer,F.、Katzfuss,M.和Owhadi,H.,通过Kullback-Leibler最小化进行稀疏Cholesky因式分解,SIAM J.Sci。计算。,43(2021),第A2019-A2046页,doi:10.1137/20M1336254·Zbl 07364386号
[40] Solin,A.和Särkkä,S.,缩减秩高斯过程回归的希尔伯特空间方法,统计计算。,30(2020年),第419-446页·Zbl 1436.62316号
[41] Stein,M.L.,《使用不正确协方差函数进行线性预测的效率界限》,Ann.Statist。,18(1990年),第1116-1138页·Zbl 0749.62061号
[42] Stein,M.L.,使用不正确的二阶结构的随机场线性预测的一致渐近最优性,Ann.Statist。,18(1990年),第850-872页·兹比尔0716.62099
[43] Stein,M.L.,随机场线性预测渐近最优性的简单条件,统计概率。莱特。,17(1993年),第399-404页·Zbl 0779.62093号
[44] Stein,M.L.,《空间数据插值:克里格的一些理论》,Springer,纽约,1999年·Zbl 0924.62100号
[45] Stein,M.L.,《随着观测密度的增加预测随机场》,Ann.Appl。概率。,9(1999),第242-273页·Zbl 0955.62095号
[46] Stein,M.L.,kriging中的筛选效应,Ann.Statist。,30(2002),第298-323页·Zbl 1012.62102号
[47] Strang,G.和Fix,G.J.,《有限元法分析》,Prentice-Hall,Englewood Cliffs,新泽西州,1973年·Zbl 0356.65096号
[48] Stuart,A.M.,《逆向问题:贝叶斯观点》,《数值学报》。,19(2010),第451-559页·Zbl 1242.65142号
[49] Sullivan,T.J.,《不确定性量化导论》,文本应用。数学。63,Springer,Cham,2015年·兹比尔1336.60002
[50] van der Vaart,A.和van Zanten,H.,基于高斯过程先验的后验分布收缩率,《统计年鉴》。,36(2008),第1435-1463页·Zbl 1141.60018号
[51] van der Vaart,A.和van Zanten,H.,《再现高斯先验的核希尔伯特空间》,摘自《推动当代统计的极限:为纪念Jayanta K.Ghosh的贡献》,数学统计研究所,俄亥俄州比奇伍德,2008年,第200-222页·Zbl 1159.62004号
[52] van der Vaart,A.和van Zanten,H.,非参数高斯过程方法的信息率,J.Mach。学习。研究,12(2011),第2095-2119页·Zbl 1280.68228号
[53] Vecchia,A.V.,《连续空间过程的估计和模型识别》,J.R.Stat.Soc.Ser。《美国统计年鉴》。,50(1988年),第297-312页。
[54] Wang,D.和Loh,W.-L.,关于高斯随机场模型中的固定域渐近性和协方差锥化,电子。《统计杂志》,5(2011),第238-269页·Zbl 1274.62643号
[55] Whittle,P.,《论平面内的静止过程》,《生物统计学》,41(1954),第434-449页·Zbl 0058.35601号
[56] Williams,C.K.I.和Rasmussen,C.E.,《机器学习的高斯过程》,自适应。计算。机器。学习。2,麻省理工学院出版社,马萨诸塞州剑桥,2006年·Zbl 1177.68165号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。