×
Manuel Schürch;达里奥·阿齐蒙蒂;阿莱西奥·本纳沃利;马可·扎法隆

稀疏高斯过程回归专家的相关乘积。 （英语） Zbl 07702708号

机器。学习。 112，第5期，1411-1432（2023）.
摘要：高斯过程（GP）是机器学习和统计的重要工具。然而，由于三次计算的复杂性，离线GP推理程序仅限于具有数千个数据点的数据集。由于这个原因，在过去几年中开发了许多稀疏GP技术。本文以GP回归任务为重点，提出了一种新的基于聚集多个本地和相关专家预测的方法。因此，独立专家和完全相关专家之间的相关性程度可能不同。将专家的个别预测进行汇总，并考虑其相关性，从而得出一致的不确定性估计。我们的方法在极限情况下恢复了独立的专家积、稀疏GP和完全GP。该框架可以处理一般的核函数和多个变量，并且具有专家数量和数据样本数量线性的时间和空间复杂性，这使得我们的方法具有高度的可扩展性。对于具有确定性和随机优化的合成数据集以及多个真实世界数据集，我们证明了我们提出的方法在时间与精度方面的优越性能，与最先进的GP近似相比。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

高斯过程;概率回归;专家融合

软件：

预测;GPvecchia公司;fpp2格式;CHOLMOD公司;GPy公司;github;PMTK公司;亚当
PDF格式BibTeX公司 XML格式引用
\文本{M.Schürch}等人，马赫。学习。112，第5号，1411--1432（2023；Zbl 07702708）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Benavoli，A.和Corani，G.（2021）。时间序列预测中高斯过程的状态空间近似。在时间数据高级分析和学习国际研讨会上。查姆施普林格。
[2] Bui，TD；Turner，RE，树结构高斯过程近似，神经信息处理系统进展，272213-2221（2014）
[3] Bui，TD；严，J。；Turner，RE，《使用功率期望传播的稀疏高斯过程近似统一框架》，《机器学习研究杂志》，18，1-72（2017）·Zbl 1443.60037号
[4] Bui，T.D.，Nguyen，C.，Turner，R.E.（2017年）。流稀疏高斯过程近似。《神经信息处理系统进展》（第3301-3309页）。
[5] Buschjäger，S.、Liebig，T.、Morik，K.（2019年）。交通插补的高斯模型树。在ICPRAM中（第243-254页）。
[6] 陈，Y。；TA Davis；黑格，WW；Rajamanickam，S.，算法887:Cholmod，超节点稀疏cholesky因子分解和更新/停机，ACM数学软件事务（TOMS），35，3，1-14（2008）·doi:10.1145/1391989.1391995
[7] Corani，G.，Benavoli，A.，Zaffalon，M.（2021）。高斯过程时间序列预测需要先验知识。在数据库中的机器学习和知识发现欧洲联合会议上（第103-117页）。
[8] Csató，L。；Opper，M.，稀疏在线高斯过程，神经计算，14，3，641-668（2002）·Zbl 0987.62060号 ·网址：10.1162/089976602317250933
[9] Datta，A。；班纳吉，S。；AO芬利；Gelfand，AE，大型地质统计数据集的层次最近邻高斯过程模型，美国统计协会杂志，111，514，800-812（2016）·doi:10.1080/01621459.2015.1044091
[10] Deisenroth，M.P.，Ng，J.W.（2015）。分布式高斯过程。arXiv预打印arXiv:1502.02843。
[11] Durrande，N.、Adam，V.、Bordeaux，L.、Eleftheriadis，S.、Hensman，J.（2019）。自动微分时代高斯马尔可夫模型的带状矩阵算子。第22届国际人工智能与统计会议（第2780-2789页）。PMLR公司
[12] Fleet，Y.C.D.J.（2014）。高斯过程预测自动原则融合专家的广义产品。arXiv预打印arXiv:1410.7827。
[13] GPy（2012年）。GPy：python中的高斯进程框架。http://github.com/ShefeldML/GPy（自2012年起）
[14] Grigorievskiy，A.，Lawrence，N.，Särkkä，S.（2017年）。可并行稀疏逆公式高斯过程（spingp）。2017年IEEE第27届信号处理机器学习国际研讨会（MLSP）（第1-6页）。电气与电子工程师协会。
[15] Hensman，J.、Fusi，N.、Lawrence，N.D.（2013年）。大数据的高斯过程。在人工智能不确定性会议上。
[16] GE Hinton，《通过最小化对比度差异来培训专家产品》，神经计算，14，8，1771-1800（2002）·Zbl 1010.68111号 ·网址：10.1162/089976602760128018
[17] Hyndman，R.（2020年）。Fpp2：《预测：原理与实践》（第二版）的数据。R软件包版本2.4。https://CRAN.R-project.org/package=fpp2
[18] RJ Hyndman；Athanasopoulos，G.，《预测：原则与实践》（2018），OTexts
[19] Julier，S.J.、Uhlmann，J.K.（1997年）。存在未知相关性的非发散估计算法。《1997年美国管制会议记录》（目录号97CH36041）（第4卷，第2369-2373页）。电气与电子工程师协会。
[20] Kania，L.、Schürch，M.、Azzimonti，D.、Benavoli，A.（2021）。快速高斯过程回归的稀疏信息滤波器。在欧洲机器学习和数据库知识发现原理与实践会议上。
[21] Katzfuss，M。；吉尼斯，J.，高斯过程Vecchia近似的一般框架，统计科学，36，1，124-141（2021）·Zbl 07368223号 ·doi:10.1214/19-STS755
[22] Katzfuss，M。；吉尼斯，J。；龚·W。；Zilber，D.，高斯过程预测的Vecchia近似，农业、生物和环境统计杂志，25，3，383-414（2020）·doi:10.1007/s13253-020-00401-7
[23] Kingma，D.P.，Ba，J.（2014）。亚当：一种随机优化方法。arXiv预打印arXiv:1412.6980。
[24] Liu，H.，Cai，J.，Wang，Y.，Ong，Y.S.（2018）。大规模高斯过程回归的广义稳健贝叶斯委员会机。在机器学习国际会议上（第3131-3140页）。PMLR公司。
[25] 刘，H。；Ong，Y-S；沈，X。；Cai，J.，《当高斯过程遇到大数据：可扩展GPS的回顾》，IEEE神经网络和学习系统汇刊，31,114405-4423（2020）·doi:10.1109/TNNLS.2019.2957109
[26] Maneewongvatana，S.，Mount，D.M.（2001年）。低维聚类数据的最近邻搜索效率。在国际计算科学会议上（第842-851页）·兹伯利0982.68868
[27] 马萨诸塞州。；易卜拉欣普尔，R.，《专家混合：文献调查》，《人工智能评论》，42，2，275-293（2014）·doi:10.1007/s10462-012-9338-y
[28] Murphy，KP，《机器学习：概率观点》（2012），麻省理工学院出版社·Zbl 1295.68003号
[29] Nakai-Kasai，A.，Tanaka，T.（2021）。使用近似高斯过程回归的诱导点进行专家嵌套聚合。机器学习，1-24·Zbl 07570140号
[30] Neal，R.M.（1995）。神经网络的贝叶斯学习。加拿大博士论文。AAINN02676号
[31] Quiñonero-Candela，J。；Rasmussen，CE，稀疏近似高斯过程回归的统一观点，机器学习研究杂志，61939-1959（2005）·Zbl 1222.68282号
[32] 拉斯穆森，CE；Williams，CK，机器学习的高斯过程（2006），麻省理工学院出版社·Zbl 1177.68165号
[33] Rullière，D。；北卡罗来纳州杜兰德。；Bachoc，F。；Chevalier，C.，《大量观测数据集的嵌套克里金预测》，《统计与计算》，28，4，849-867（2018）·Zbl 1384.62246号 ·doi:10.1007/s11222-017-9766-2
[34] 萨卡，S。；索林，A。；Hartikainen，J.，《通过无限维贝叶斯滤波和平滑进行时空学习：通过卡尔曼滤波研究高斯过程回归》，IEEE Signal Processing Magazine，30，4，51-61（2013）·doi:10.1109/MSP.2013.2246292
[35] Schürch，M。；阿齐蒙蒂，D。；Benavoli，A。；Zaffalon，M.，稀疏高斯过程回归的递归估计，Automatica，120，109127（2020）·Zbl 1448.93320号 ·doi:10.1016/j.automatica.2020.109127
[36] Seeger，M.，Williams，C.，Lawrence，N.（2003年）。快速前向选择加快稀疏高斯过程回归。在《人工智能与统计学》（第9卷）中。
[37] Snelson，E.，Ghahramani，Z.（2006年）。使用伪输入的稀疏高斯过程。《神经信息处理系统进展》（第1257-1264页）。
[38] 高桥，K.（1973）。稀疏母线阻抗矩阵的形成及其在短路研究中的应用。《PICA会议记录》，1973年6月。
[39] Titsias，M.（2009）。稀疏高斯过程中诱导变量的变分学习。《人工智能与统计》（第567-574页）
[40] Trapp，M.、Peharz，R.、Pernkopf，F.、Rasmussen，C.E.（2020年）。高斯过程的深层结构混合。在国际人工智能和统计会议上（第2251-2261页）。PMLR公司。
[41] Tresp，V.，贝叶斯委员会机器，神经计算，12，11，2719-2741（2000）·doi:10.1162/089976600300014908
[42] 王凯。；普莱斯，G。；加德纳，J。；泰利，S。；KQ温伯格；Wilson，AG，百万数据点上的精确高斯过程，神经信息处理系统进展，3214648-14659（2019）
[43] Wilson，A.、Adams，R.（2013）模式发现和外推的高斯过程核。在机器学习国际会议上（第1067-1075页）。PMLR公司。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。