×
克里斯托弗·杰加（Christopher J.Geoga）。;奥纳州马林;米歇尔·沙南;迈克尔·L·斯坦。

使用自动微分法拟合Matérn平滑度参数。 （英语） Zbl 1516.62014年

统计计算。 33，第2号，第48号论文，16页（2023年）。
摘要：Matérn协方差函数在高斯过程应用于空间统计及其他领域中无处不在。也许最重要的原因是光滑度参数\（\nu\）完全控制了过程的均方可微性，这对估计量的行为（如插值和预测）具有重要意义。不幸的是，Matérn协方差函数关于（nu）的导数需要修改的第二类Bessel函数的导数{克}_\nu\）相对于\（nu\）。虽然这些导数的封闭形式表达式确实存在，但它们的计算非常困难且昂贵。因此，许多软件包需要修复（nu）而不是进行估计，所有试图提供估计功能的现有软件包都对（partial_nu mathcal）使用有限差分估计{克}_\nu\）。在这项工作中，我们引入了\（\mathcal的一个新实现{克}_\nu）设计用于通过自动微分（AD）提供导数，其结果导数比使用有限差分计算的导数更快、更准确。我们对速度和准确性进行了全面测试，并表明我们的AD解决方案可以用于构建精确的Hessian矩阵，以便在使用有限差分近似构建的Hessians完全失败的情况下进行二阶最大似然估计。

引用于2文件

MSC公司：

62-08 统计问题的计算方法
60G15年 高斯过程
62立方米 空间过程推断
65D25个 数值微分

关键词：

马特恩协方差;贝塞尔函数;高斯过程;最大似然;自动微分

软件：

DLMF公司;转发差异;伊波特;算法644;阿伯;有限差分.jl;GPy火炬;磁粉探伤;朱莉娅;贝塞尔K.jl;链规则.jl
PDF格式BibTeX公司 XML格式引用
\textit｛C.J.Geoga｝等人，Stat.Comput。33，第2号，第48号论文，16页（2023年；Zbl 1516.62014年）
全文： 内政部 arXiv公司

参考文献：

[1] Abramowitz，M.，Stegun，I.A.：数学函数手册，包括公式、图形和数学表。在美国商务部。国家标准局应用数学系列，55（1965）·Zbl 0171.38503号
[2] Amos，D.，《算法644：复参数非负阶贝塞尔函数的便携式软件包》，ACM T数学软件（TOMS），12，3，265-273（1986）·Zbl 0613.65013号 ·doi:10.1145/7921.214331
[3] Beck，T.，《迭代过程的自动微分》，J.Compute。申请。数学。，50, 1-3, 109-118 (1994) ·Zbl 0806.65012号 ·doi:10.1016/0377-0427（94）90293-3
[4] Beck，T.，Fischer，H.：自动微分中的if-problem。J.计算。申请。数学50（1）：119-131（1994）。网址：https://www.sciencedirect.com/science/article/pii/0377042794902941 ·Zbl 0811.65014号
[5] Bezanson，J。；Edelman，A。；卡宾斯基，S。；Shah，VB，Julia:数值计算的新方法，SIAM Rev.，59，1，65-98（2017）·Zbl 1356.68030号 ·数字对象标识代码：10.1137/141000671
[6] 布里奇科夫，YA；Geddes，KO，关于Bessel函数和Struve函数关于阶的导数，积分。Transf公司。规范F，16，3，187-198（2005）·Zbl 1070.33003号 ·doi:10.1080/10652460410001727572
[7] 埃夫隆，B。；DV Hinkley，《评估最大似然估计量的准确性：观察到的与预期的渔民信息》，Biometrika，65，3，457-483（1978）·Zbl 0401.62002号 ·doi:10.1093/biomet/65.3.457
[8] Olver，F.W.J.，Olde Daalhuis，A.B.，Lozier，D.W.，Schneider，B.I.，Boisvert，R.F.，Clark，C.W.，Miller，B.R.，Saunders，B.V.，Cohl，H.S.，McClain，M.A.：NIST数学函数数字图书馆，2021年。2021-06-15年第1.1.2版
[9] Fike，J.A.，Alonso，J.J.：通过对二阶导数使用超双数进行自动微分。《算法微分的最新进展》，第163-173页。施普林格（2012）·Zbl 1251.65026号
[10] Gardner，J.，Pleiss，G.，Weinberger，K.Q.，Bindel，D.，Wilson，A.G.：Gpytorch：黑箱矩阵-矩阵高斯过程推理与gpu加速。神经信息处理系统的进展，31
[11] 吉奥加，CJ；Anitescu，M。；Stein，ML，使用层次矩阵的可缩放高斯过程计算，J.Compute。图表。统计，29，2，227-237（2020）·Zbl 07499251号 ·doi:10.1080/10618600.2019.1652616
[12] González-Santander，JL，贝塞尔函数关于阶导数的闭式表达式，J.Math。分析。申请。，466, 1, 1060-1081 (2018) ·Zbl 1392.33003号 ·doi:10.1016/j.jmaa.2018.06.043
[13] Griewank，A.，Walther，A.：衍生品评估。应用数学的其他标题。SIAM（2008）·Zbl 1159.65026号
[14] Gu，M.，Palomo，J.，Berger，J.O.：《稳健喘息：r中稳健高斯随机过程仿真》（2018）。arXiv预浸料Xiv:1801.01874
[15] Gu，M.，Wang，X.，Berger，J.O.：稳健高斯随机过程仿真。年鉴统计46（6A）：3038-3066（2018）·Zbl 1408.62155号
[16] 吉尼斯，J.，通过韦基亚近似的费希尔评分进行高斯过程学习，统计计算，31，3，25（2021）·Zbl 1475.62033号 ·doi:10.1007/s11222-021-09999-1
[17] Heaton，M.J.、Datta，A.、Finley，A.O.、Furrer，R.、Guinness，J.、Guhaniyogi，R.，Gerber，F.、Gramacy，R.B.、Hammerling，D.、Katzfush，M.等人：大型空间数据分析方法之间的案例研究竞争。《农业杂志》。生物与环境。统计数据24（3）：398-425（2019）·Zbl 1426.62345号
[18] Johansson，F.，Arb：高效任意决策中点半径区间算法，IEEE Trans。计算。，66, 1281-1292 (2017) ·Zbl 1388.65037号 ·doi:10.1109/TC.2017.2690633
[19] Liu，Y.，Marin，O.：特殊函数神经网络（SFNN）模型。2021年IEEE集群计算国际会议（Cluster），第680-685页（2021）
[20] Marin，O.，Geoga，C.，Schanen，M.：关于Matérn协方差的自动微分。在NeurIPS（2021）中。网址：https://papers.nips.cc/paper/2021
[21] Mater，B.：空间变化。瑞典森林研究所的报告（1960年）·Zbl 0608.62122号
[22] Matheron，G.，《估算和选择：实践中的概率论》（1989），查姆：斯普林格·弗拉格，查姆·Zbl 0665.60002号 ·doi:10.1007/978-3-642-48817-7
[23] Minden，V。；Damle，A。；肯尼思，LH；Ying，L.，基于骨架分解的快速空间高斯过程最大似然估计，多尺度模型Sim，15，4，1584-1611（2017）·Zbl 1378.65092号 ·doi:10.1137/17M1116477
[24] Moses，W.S.，Churavy，V.：与其为机器学习重写外国代码，不如自动合成快速梯度。（2020）arXiv预印本Xiv：2010.01709
[25] Neal，RM，MCMC使用哈密顿动力学，马尔可夫链蒙特卡罗手册，2，11，2（2011）·Zbl 1229.65018号
[26] Nemes，G.，Hankel和Bessel函数的大参数渐近展开的误差界，Acta Appl。数学。，150, 1, 141-177 (2017) ·Zbl 1371.41041号 ·doi:10.1007/s10440-017-0099-0
[27] Revels，J.、Lubin，M.、Papamarkou，T.：朱莉娅的前向模式自动区分（2016）。arXiv:1607.07892[cs.MS]
[28] H街。；马蒂诺，S。；肖邦，N.，《利用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断》，J.R.Stat.Soc.Ser。B、 71、2、319-392（2009）·Zbl 1248.62156号 ·doi:10.1111/j.1467-9868.2008.00700.x
[29] W.Squire。；Trapp，G.，《使用复变量估计实函数导数》，SIAM Rev.，40，1，110-112（1998）·Zbl 0913.65014号 ·doi:10.1137/S003614459631241X
[30] Stein，ML，《空间数据插值：克里格的一些理论》（1999），查姆：斯普林格，查姆·Zbl 0924.62100号 ·doi:10.1007/978-1-4612-1494-6
[31] 斯坦因，ML；陈，J。；Anitescu，M.，高斯过程分数函数的随机近似，Ann Appl Stat，7，2，1162-1191（2013）·Zbl 1454.62283号 ·doi:10.1214/13-AOAS627
[32] Temme，NM，关于第三类修正贝塞尔函数的数值计算，J.Compute。物理。，19, 324-337 (1975) ·Zbl 0334.65013 ·doi:10.1016/0021-9991（75）90082-0
[33] 瓦希特，A。；Biegler，L.，《关于大规模非线性规划的点内滤波线性搜索算法的实现》，数学。程序。，106, 25-57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[34] White，L.，Abbott，M.，Zgubic，M.罗，C.、Vogt，C.、Gandhi，D.、Chorney，F.：朱利亚迪夫/chainrules.jl:v1.15.0（2021）。doi:10.5281/zenodo.5750776
[35] White，L.、Tebbutt，W.、Zgubic，M.、Bruinsma，W.、Luo，R.、Robinson，N.、Arslan，A.、Axen，S.、Schaub，S.、Finnegan，R.、Robson，A.、Richard，B.、Vogt，C.、Davies，E.Shah，V.B.:Juliadiff/finitifuferences.jl:v0.12.20，2021。doi:10.5281/zenodo.5724087
[36] Zhang，H.，基于模型的地质统计学中的不一致估计和渐近相等插值，美国统计协会，99，465，250-261（2004）·Zbl 1089.62538号 ·doi:10.1198/016214500000241
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。