马修·希顿。;阿布鲁普·达塔;安德鲁·芬利。;莱因哈德·福勒;约瑟夫·吉尼斯;拉贾什·古哈尼约吉;弗洛里安·格伯;罗伯特·格拉米奇。;多里特·哈默林;马蒂亚斯·卡兹福斯;芬兰·林格伦;道格拉斯·尼奇卡。;孙芙蓉;安德鲁·扎米特·曼吉 一个案例研究大型空间数据分析方法之间的竞争。 （英语） 兹比尔1426.62345 《农业杂志》。生物与环境。斯达。 24，第3号，398-425（2019）。 摘要：高斯过程是空间数据分析不可或缺的工具。然而，“大数据”时代的到来导致传统的高斯过程在计算上不适用于现代空间数据。因此，已经提出了各种更适合处理大空间数据的替代全高斯过程。这些现代方法通常利用低阶结构和/或多核和多线程计算环境来促进计算。本研究首先概述了分析大型空间数据的几种方法。其次，本研究描述了所述方法之间的预测竞争结果，这些方法由在该方法方面具有强大专业知识的不同小组实施。具体来说，每个研究组都有两个训练数据集（一个是模拟数据集，一个是观察数据集）以及一组预测位置。然后，每组编写自己的方法实现，以在给定位置生成预测，然后在公共计算环境中运行。然后根据各种预测诊断对这些方法进行比较。 引用于90文件 MSC公司： 62页第12页 统计在环境和相关主题中的应用 62立方米 空间过程推断 62-08 统计学相关问题的计算方法 关键词：大数据;高斯过程;并行计算;低阶近似 软件：spBayes公司;垃圾邮件;R-INLA公司;FRK公司;laGP公司;INLA公司;间隙填充;spNNGP公司 PDF格式BibTeX公司 XML格式引用 \textit{M.J.Heaton}等人，J.Agric。生物与环境。Stat.24，No.3，398--425（2019；Zbl 1426.62345） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Anderson，C.、Lee，D.和Dean，N.（2014），“贝叶斯疾病映射中的集群识别”，《生物统计学》，第15期，第457-469页·doi:10.1093/biostatistics/kxu005 [2] Banerjee，S.、Carlin，B.P.和Gelfand，A.E.（2014），空间数据的层次建模和分析，Crc出版社·Zbl 1358.62009号 [3] Banerjee，S.、Gelfand，A.E.、Finley，A.O.和Sang，H.（2008），“大型空间数据集的高斯预测过程模型”，《皇家统计学会杂志：B辑（统计方法）》，70825-848·Zbl 05563371号 ·文件编号：10.1111/j.1467-9868.2008.00663.x [4] Barbian，M.H.和Assunçáo，R.M.（2017），“大型地质统计数据的空间子结构估计”，《空间统计》，22，68-88·doi:10.1016/j.spasta.2017.08.004 [5] Bevilacqua，M.、Faouzi，T.、Furrer，R.和Porcu，E.（2016），“在固定域渐近下使用广义Wendland协方差函数进行估计和预测”，arXiv:1607.06921v2·Zbl 1418.62365号 [6] Bradley，J.R.，Cressie，N.，Shi，T.等人（2016年），“当数据集可能非常大时，空间预测因子的比较”，《统计调查》，第10100-131页·兹比尔1347.62083 ·doi:10.1214/16-SS115 [7] Castrillon-Candás，J.E.、Genton，M.G.和Yokota，R.（2016），“大型非网格空间数据集的多级限制最大似然协方差估计和克立格”，《空间统计》，第18期，第105-124页·doi:10.1016/j.spasta.2015.10.006 [8] Cohn，D.A.（1996），“使用最佳实验设计进行神经网络探索”，摘自《神经信息处理系统进展》，摩根考夫曼出版社，第6卷（9），第679-686页。 [9] Cressie，N.（1993），空间数据统计，John Wiley&Sons·Zbl 1347.62005年 [10] Cressie，N.和Johannesson，G.（2006），“海量数据集的空间预测”，摘自《掌握地球与环境科学中的数据爆炸：澳大利亚科学院会议记录》，澳大利亚堪培拉：澳大利亚科学学院，第1-11页。 [11] -（2008），“超大空间数据集的固定秩克里金”，《皇家统计学会期刊：B辑（统计方法）》，70209-226·Zbl 05563351号 ·文件编号：10.1111/j.1467-9868.2007.00633.x [12] Cressie，N.和Wikle，C.K.（2015），时空数据统计，John Wiley&Sons·Zbl 1273.62017年 [13] Dahlhaus，R.和Künsch，H.（1987），“平稳随机场的边缘效应和有效参数估计”，《生物统计学》，74877-882·兹伯利0633.62094 ·doi:10.1093/biomet/74.4.877 [14] Datta，A.、Banerjee，S.、Finley，A.O.和Gelfand，A.E.（2016a），“大型地质统计数据集的层次最近邻高斯过程模型”，美国统计协会杂志，111800-812·doi:10.1080/01621459.2015.1044091 [15] -（2016b），“关于海量空间数据的最近邻高斯过程模型”，威利跨学科评论：计算统计，8162-171·doi:10.1002/wics.1383 [16] Datta，A.、Banerjee，S.、Finley，A.O.、Hamm，N.A.、Schaap，M.等人（2016c），“大型时空数据的不可分离动态最近邻高斯过程模型及其在颗粒物分析中的应用”，《应用统计年鉴》，第10期，第1286-1316页·Zbl 1391.62269号 ·doi:10.1214/16-AOAS931 [17] Du，J.，Zhang，H.和Mandrekar，V.S.（2009），“锥形最大似然估计量的固定域渐近性质”，《统计年鉴》。，37, 3330-3361. ·Zbl 1369.62248号 ·doi:10.1214/08-AOS676 [18] Eidsvik，J.、Shaby，B.A.、Reich，B.J.、Wheeler，M.和Niemi，J.（2014），“具有块复合可能性的空间模型中的估计和预测”，《计算与图形统计杂志》，23，295-315·doi:10.1080/10618600.2012.760460 [19] Emery，X.（2009），“克里金更新方程及其在邻近数据选择中的应用”，计算地球科学，13，269-280·doi:10.1007/s10596-008-9116-8 [20] Finley，A.、Datta，A.和Banerjee，S.（2017），spNNGP:使用最近邻高斯过程的大型数据集空间回归模型，r包版本0.1.1。 [21] Finley，A.O.、Datta，A.、Cook，B.C.、Morton，D.C.、Andersen，H.E.和Banerjee，S.（2018），“贝叶斯最近邻高斯过程的高效算法”，arXiv:1702.00434·Zbl 07499062号 [22] Finley，A.O.、Sang，H.、Banerjee，S.和Gelfand，A.E.（2009），“提高大型数据集预测过程建模的性能”，计算统计与数据分析，532873-2884·兹比尔1453.62090 ·doi:10.1016/j.csda.2008.09.008 [23] Fuentes，M.（2007），“大型不规则空间数据的近似可能性”，《美国统计协会杂志》，第102期，第321-331页·Zbl 1284.62589号 ·doi:10.19198/016214506000000852 [24] Furrer，R.（2016），垃圾邮件：SPArse Matrix，R包版本1.4-0。 [25] Furrer，R.、Bachoc，F.和Du，J.（2016），“估计和预测的多元递减的渐近性质”，《多元分析杂志》。，149, 177-191. ·Zbl 1341.62263号 ·doi:10.1016/j.jmva.2016.04.006 [26] Furrer，R.、Genton，M.G.和Nychka，D.（2006），“大型空间数据集插值的协方差锥化”，《计算与图形统计杂志》，第15期，第502-523页·doi:10.1198/106186006X132178 [27] Furrer，R.和Sain，S.R.（2010），“垃圾邮件：高斯马尔可夫随机场MCMC方法重点的稀疏矩阵R包”，J.Stat.Softw。，36, 1-25. ·doi:10.18637/jss.v036.i10 [28] Gerber，F.（2017年），gapfill:Fill Missing Values in Satellite Data，r package version 0.9.5。 [29] Gerber，F.、Furrer，R.、Schaepman-Strub，G.、de Jong，R.和Schaepman，M.E.（2018），“预测时空卫星数据中的缺失值”，IEEE地球科学与遥感学报，56，2841-2853·doi:10.1010/TGRS.2017.2785240文件 [30] Gneiting，T.和Katzfush，M.（2014），“概率预测”，《统计及其应用年度回顾》，第112-151页·doi:10.1146/annurev-statistics-062713-085831 [31] Gneiting，T.和Raftery，A.E.（2007），“严格正确的评分规则、预测和估计”，《美国统计协会杂志》，第102期，第359-378页·Zbl 1284.62093号 ·doi:10.1198/0162145000001437 [32] Gramacy，R.和Apley，D.（2015），“大型计算机实验的局部高斯过程近似”，《计算与图形统计杂志》，24561-578·doi:10.1080/10618600.2014.914442 [33] Gramacy，R.、Niemi，J.和Weiss，R.（2014），“大规模并行近似高斯过程回归”，《不确定性量化杂志》，2564-584·Zbl 1308.62159号 ·数字对象标识代码：10.1137/130941912 [34] Gramacy，R.B.（2016），“laGP:通过R中的局部近似高斯过程进行大尺度空间建模”，《统计软件杂志》，72，1-46·doi:10.18637/jss.v072.i01 [35] Gramacy，R.B.和Haaland，B.（2016），“加快局部高斯过程预测中的邻域搜索”，《技术计量学》，58，294-303·doi:10.1080/00401706.2015.1027067 [36] Guhaniyogi，R.和Banerjee，S.（2018），“元克里金：大规模空间数据集的可缩放贝叶斯建模和推理”，技术计量学。 [37] Guhaniyogi，R.、Li，C.、Savitsky，T.D.和Srivastava，S.（2017），“大尺度克里金的分治贝叶斯方法”，arXiv预印本arXiv:1712.09767。 [38] 吉尼斯·J（2017），“通过周期嵌入对随机场的谱密度估计”，arXiv预印本arXiv:1710.08978·Zbl 1435.62122号 [39] Guinness，J.和Fuentes，M.（2017），“在大晶格上利用高斯数据推断近似协方差的循环嵌入”，《计算与图形统计杂志》，26，88-97·doi:10.1080/10618600.2016.1164534 [40] Guyon，X.（1982），“d维晶格上平稳过程的参数估计”，Biometrika，6995-105·Zbl 0485.62107号 ·doi:10.1093/biomet/69.1.95 [41] Heaton，M.J.、Christensen，W.F.和Terres，M.A.（2017），“使用有限差分空间层次聚类的非平稳高斯过程模型”，《技术计量学》，59，93-101·doi:10.1080/0401706.2015.1102763 [42] Higdon，D.（2002），“使用过程卷积的空间和时空建模”，载于《当前环境问题的定量方法》，Springer，第37-56页·Zbl 1255.86016号 [43] Hirano，T.和Yajima，Y.（2013），“用于预测变换随机场中大型空间数据集的协方差减缩”，《统计数学研究所年鉴》，65，913-939·Zbl 1273.62233号 ·doi:10.1007/s10463-013-0399-8 [44] Jurek，M.和Katzfush，M.（2018），“海量时空数据的多分辨率过滤器”，arXiv:1810.04200·Zbl 07499939号 [45] Kang，E.、Liu，D.和Cressie，N.（2009），“基于独立、空间、非层次和层次模型的小面积数据统计分析”，计算统计与数据分析，533016-3032·Zbl 1453.62123号 ·doi:10.1016/j.csda.2008.07.033 [46] Kang，E.L.和Cressie，N.（2011），“空间随机效应模型的贝叶斯推断”，《美国统计协会杂志》，106972-983·Zbl 1229.62008号 ·doi:10.198/jasa/2011.tm09680 [47] Katzfush，M.（2017），“海量空间数据集的多分辨率近似”，《美国统计协会杂志》，第112期，第201-214页·doi:10.1080/01621459.2015.1123632 [48] Katzfush，M.和Cressie，N.（2011），“海量远程数据集的时空平滑和EM估计”，《时间序列分析杂志》，第32期，第430-446页·Zbl 1294.62119号 ·doi:10.1111/j.1467-9892.2011-00732.x [49] Katzfush，M.和Gong，W.（2017），“大型空间数据集高斯过程的多分辨率近似”，arXiv:1710.08976·Zbl 1464.62400号 [50] Katzfush，M.和Hammerling，D.（2017），“使用低阶模型对大规模分布式空间数据进行并行推理”，《统计与计算》，第27期，第363-375页·Zbl 1505.62217号 ·doi:10.1007/s11222-016-9627-4 [51] Kaufman，C.G.、Schervish，M.J.和Nychka，D.W.（2008），“大型空间数据集中基于相似性估计的协方差递减”，《美国统计协会杂志》，第103期，第1545-1555页·Zbl 1286.62072号 ·doi:10.1198/016214500000959 [52] Kim，H.-M.、Mallick，B.K.和Holmes，C.（2005），“使用分段高斯过程分析非平稳空间数据”，美国统计协会杂志，100653-668·Zbl 1117.62368号 ·doi:10.1198/0162145000002014年 [53] Kleiber，W.和Nychka，D.W.（2015），“等效克里金”，《空间统计》，第12期，第31-49页·doi:10.1016/j.spasta.2015.01.004 [54] Knorr-Held，L.和Raßer，G.（2000），“疾病图中簇和不连续性的贝叶斯检测”，《生物计量学》，56，13-21·Zbl 1060.62629号 ·文件编号：10.1111/j.0006-341X.2000.00013.x [55] Konomi，B.A.、Sang，H.和Mallick，B.K.（2014），“使用协方差近似对大型空间数据集进行自适应贝叶斯非平稳建模”，《计算与图形统计学杂志》，23802-829·doi:10.1080/10618600.2013.812872 [56] Lemos，R.T.和Sansó，B.（2009），“北大西洋海面温度平均场、异常场和趋势场的时空模型”，《美国统计协会杂志》，104，5-18·Zbl 1248.62172号 ·doi:10.198/jasa.2009.0018 [57] Liang，F.，Cheng，Y.，Song，Q.，Park，J.，and Yang，P.（2013），“用于分析大型地质统计数据的基于重采样的随机近似方法”，美国统计协会杂志，108325-339·Zbl 06158346号 ·doi:10.1080/01621459.2012.746061 [58] Lindgren，F.、Rue，H.和Lindström，J.（2011），“高斯场和高斯-马尔可夫随机场之间的明确联系：随机偏微分方程方法”，《皇家统计学会杂志：B辑（统计方法）》，73423-498·Zbl 1274.62360号 ·文件编号：10.1111/j.1467-9868.2011.00777.x [59] Litvinenko，A.、Sun，Y.、Genton，M.G.和Keyes，D.（2017），“大型空间数据集层次矩阵的似然逼近”，arXiv预印本arXiv:1709.04419·Zbl 1507.62110号 [60] Liu，H.、Ong，Y.S.、Shen，X.和Cai，J.（2018），“当高斯过程遇到大数据时：可扩展GP的回顾”，arXiv预印本arXiv:1807.01065。 [61] Minsker，S.（2015），“Banach空间中的几何中值和稳健估计”，Bernoulli，212308-2335·Zbl 1348.60041号 ·doi:10.3150/14-BEJ645 [62] Minsker，S.、Srivastava，S.，Lin，L.和Dunson，D.B.（2014），“通过子集后验测度中值实现稳健和可扩展的贝叶斯”，arXiv预印本arXiv:1403.2660·Zbl 1442.62056号 [63] Neelon，B.、Gelfand，A.E.和Miranda，M.L.（2014），“区域数据的多元空间混合模型：检验标准化测试分数的区域差异”，《皇家统计学会期刊：C辑（应用统计学）》，63737-761·doi:10.1111/rssc.12061 [64] Nychka，D.、Bandyopadhyay，S.、Hammerling，D.、Lindgren，F.和Sain，S.（2015），“用于分析大型空间数据集的多分辨率高斯过程模型”，《计算与图形统计杂志》，24579-599·doi:10.1080/10618600.2014.914946 [65] Paciorek，C.J.、Lipshitz，B.、Zhuo，W.、Kaufman，C.G.、Thomas，R.C.等人（2015），“R中的并行高斯过程计算”，《统计软件杂志》，63，1-23·doi:10.18637/jss.v063.i10 [66] Rue，H.、Martino，S.和Chopin，N.（2009），“使用综合嵌套拉普拉斯近似法对潜在高斯模型进行近似贝叶斯推断”，《皇家统计学会杂志：B辑（统计方法）》，第71期，第319-392页·Zbl 1248.62156号 ·doi:10.1111/j.1467-9868.2008.00700.x [67] Rue，H.、Martino，S.、Lindgren，F.、Simpson，D.、Riebler，A.、Krainski，E.T.和Fuglstad，G.-A.（2017），INLA：使用综合嵌套拉普拉斯近似对潜在高斯模型进行贝叶斯分析，r包版本17.06.20。 [68] Sang，H.和Huang，J.Z.（2012），“大型空间数据集协方差函数的全尺度近似”，《皇家统计学会杂志：B辑（统计方法）》，第74期，第111-132页·Zbl 1411.62274号 ·文件编号：10.1111/j.1467-9868.2011.01007.x [69] Sang，H.、Jun，M.和Huang，J.Z.（2011），“大型多元空间数据集的协方差近似与多重气候模型误差的应用”，《应用统计年鉴》，2519-2548·Zbl 1234.62071号 [70] Schabenberger，O.和Gotway，C.A.（2004），空间数据分析的统计方法，CRC出版社·Zbl 1068.6206号 [71] Simpson，D.、Lindgren，F.和Rue，H.（2012），“为了使空间统计在计算上可行，我们需要忘记协方差函数”，环境计量学，23，65-74·doi:10.1002/env.1137 [72] Stein，M.L.（1999），空间数据插值，Springer-Verlag，克里金的一些理论·Zbl 0924.62100号 [73] -（2013），“协方差锥的统计特性”，《计算与图形统计杂志》，22866-885·doi:10.1080/10618600.2012.719844 [74] -（2014），“空间数据协方差矩阵低秩近似的限制”，《空间统计》，第8期，第1-19页·doi:10.1016/j.spasta.2013.06.003 [75] Stein，M.L.，Chen，J.，Anitescu，M.等人（2013），“高斯过程得分函数的随机近似”，《应用统计学年鉴》，71162-1191·Zbl 1454.62283号 ·doi:10.1214/13-AOAS627 [76] Stein，M.L.、Chi，Z.和Welty，L.J.（2004），“大型空间数据集的近似可能性”，《皇家统计学会期刊：B辑（统计方法）》，66，275-296·兹比尔1062.62094 ·doi:10.1046/j.1369-7412.003.05512.x [77] Sun，Y.、Li，B.和Genton，M.G.（2012），“大型数据集的地质统计学”，《自然事件时空建模的进展和挑战》，Springer，第55-77页。 [78] Sun，Y.和Stein，M.L.（2016），“大型空间数据集的统计和计算效率估算方程”，《计算与图形统计杂志》，25187-208·doi:10.1080/10618600.2014.975230 [79] Taylor-Rodriguez，D.、Finley，A.O.、Datta，A.、Babcock，C.、Andersen，H.-E.、Cook，B.D.、Morton，D.C.和Baneerjee，S.（2018），“高维和大空间数据的空间因子模型：在森林变量制图中的应用”，arXiv预印本arXiv:1801.02078·Zbl 1421.62161号 [80] Ton，J.-F.、Flaxman，S.、Sejdinovic，D.和Bhatt，S.（2017），“高斯过程和非平稳傅里叶特征的空间映射”，arXiv预印本arXiv:1711.05615。 [81] Vapnik，V.（1995），《统计学习理论的本质》，纽约：Springer Verlag出版社·Zbl 0833.62008号 ·数字对象标识代码：10.1007/978-1-4757-2440-0 [82] Varin，C.、Reid，N.和Firth，D.（2011），“复合似然方法概述”，《统计》，5-42·Zbl 05849508号 [83] Vecchia，A.V.（1988），“连续空间过程的估计和模型识别”，英国皇家统计学会期刊。B系列（方法学），297-312。 [84] Wang，D.和Loh，W.-L.（2011），“关于高斯随机场模型中的固定域渐近和协方差锥化”，电子。J.统计。，5, 238-269. ·Zbl 1274.62643号 ·doi:10.1214/11-EJS607 [85] Weiss，D.J.、Atkinson，P.M.、Bhatt，S.、Mappin，B.、Hay，S.I.和Gething，P.W.（2014），“填隙大陆尺度遥感时间序列的有效方法”，ISPRS J.Photogram。遥感，98，106-118·doi:10.1016/j.isprsjprs.2014.10.001 [86] Whittle，P.（1954），“关于飞机的静止过程”，《生物特征》，434-449·Zbl 0058.35601号 [87] Wikle，C.K.、Cressie，N.、Zammit-Mangion，A.和Shumack，C.（2017），“空间预测方法客观比较的通用任务框架（CTF）”，统计观点。 [88] Zammit-Mangion，A.和Cressie，N.（2018），“FRK：大数据集空间和时空预测的R包”，arXiv预印本arXiv:1705.08105。 [89] Zammit-Mangion，A.、Cressie，N.和Shumack，C.（2018），“从卫星遥感检索中生成三级产品的统计方法”，遥感，10155·doi:10.3390/rs10010155 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。