×

高斯过程令人尴尬的并行推断。 (英语) Zbl 1446.62128号

摘要:基于高斯过程的模型训练通常由于协方差矩阵的反转而涉及到计算瓶颈。克服此矩阵反转问题的常用方法无法充分建模所有类型的潜在函数,并且通常不可并行。然而,明智地选择模型结构可以改善这个问题。使用混合高斯过程的专家混合模型提供了建模灵活性和可扩展推理的机会。我们令人尴尬的并行算法将低维矩阵反演与重要性采样相结合,产生了一个灵活、可扩展的专家混合模型,该模型以低得多的计算成本提供了与高斯过程回归相当的性能。

MSC公司:

62G15年 非参数容差和置信区域
62J10型 方差和协方差分析(ANOVA)
60G05型 随机过程基础
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] Sudipto Banerjee、Alan E.Gelfand、Andrew O.Finley和Huiyan Sang。大型空间数据集的高斯预测过程模型。英国皇家统计学会杂志:系列·Zbl 05563371号
[2] 曹燕帅和大卫·J·弗利特。高斯过程预测自动原则融合专家的广义乘积。InModern Nonparametrics 3:自动化
[3] 戴振文、安德烈亚斯·达米亚努、詹姆斯·亨斯曼和尼尔·D·劳伦斯。具有并行化和GPU加速的高斯过程模型。arXiv预印本arXiv:11410.49842014。
[4] 利桑德罗·达尔克、罗德里戈·帕斯和马里奥·斯托蒂。MPI for Python。并行与分布式计算杂志,65(9):1108-11152005。
[5] Marc P.Deisenroth和Jun Wei Ng。分布式高斯过程。国际机器学习会议,第1481-1490页,2015年。
[6] GPy公司。GPy:Python中的高斯进程框架。http://github.com/SheffieldML/GPy,2012年。
[7] Robert B.Gramacy和Daniel W.Apley。大型计算机实验的局部高斯过程近似。计算与图形统计杂志,24(2):561-5782015。
[8] 罗伯特·B·葛兰西和赫伯特·K·H·李。贝叶斯树高斯过程模型及其在计算机建模中的应用。美国统计协会期刊,103(483):1119-11302008·Zbl 1205.62218号
[9] Robert B.Gramacy、Jarad Niemi和Robin M.Weiss。大规模并行近似高斯过程回归。SIAM/ASA《不确定性量化杂志》,2(1):564-5842014年·Zbl 1308.62159号
[10] 詹姆斯·亨斯曼(James Hensman)、尼科洛·福西(Nicolo Fusi)和尼尔·劳伦斯(Neil D.Lawrence)。大数据的高斯过程。《人工智能的不确定性》,2013年。
[11] 丹尼尔·埃尔南德斯·洛巴托和乔斯·米格尔·埃尔南德斯·洛巴托。基于期望传播的可伸缩高斯过程分类。《人工智能与统计》,第168-176页,2016年。
[12] 马修·D·霍夫曼、大卫·M·布莱、王冲和约翰·佩斯利。随机变分推理。机器学习研究杂志,14(1):1303-13472013·Zbl 1317.68163号
[13] 乔纳森·哈金斯(Jonathan Huggins)、特雷弗·坎贝尔(Trevor Campbell)和塔玛拉·布罗德里克(Tamara Broderick)。可扩展贝叶斯逻辑回归的核心集。《神经信息处理系统进展》,第4080-4088页,2016年。
[14] Robert A.Jacobs、Michael I.Jordan、Steven J.Nowlan和Geoffrey E.Hinton。当地专家的适应性混合。神经计算,3(1):79-871991。
[15] 赫尔曼·卡恩和安迪·马歇尔。蒙特卡罗计算中减少样本量的方法。美国运筹学学会期刊,1(5):263-2781953·Zbl 1414.90373号
[16] Cari G.Kaufman、Mark J.Schervish和Douglas W.Nychka。大空间数据集中基于似然估计的协方差减缩。美国统计杂志·Zbl 1286.62072号
[17] 奥古斯汀·孔(Augustine Kong)。关于使用标准化权重进行重要性抽样的说明。《技术报告348》,芝加哥大学统计系,1992年。
[18] 刘海涛、蔡建飞、王毅和王紫松。大规模高斯过程回归的广义稳健贝叶斯委员会机。国际会议
[19] Kian Xiang Low、Jiangbo Yu、Jie Chen和Patrick Jaillet。大数据的并行高斯过程回归:低秩表示满足马尔可夫近似。InAAAI公司
[20] 马一安、陈田琪和艾米丽·福克斯。随机梯度MCMC的完整配方。《神经信息处理系统进展》,第2917-2925页,2015年。
[21] 爱德华·米兹和西蒙·奥斯宾多。另一种无限混合高斯过程专家。神经信息处理系统,第883-890页,2006年。
[22] Stanislav Minsker、Sanvesh Srivastava、Lizhen Lin和David B.Dunson。通过中位数后验的可伸缩且稳健的贝叶斯推断。国际会议·Zbl 1442.62056号
[23] 吴俊伟和马克·P·戴森罗斯。大规模高斯过程回归的专家层次混合模型。arXiv预印本arXiv:1412.30782014。
[24] 赤宇公园、黄建华和于丁。大空间数据集快速高斯过程回归的区域分解方法。机器学习杂志·Zbl 1280.60026号
[25] 卡尔·拉斯穆森(Carl E.Rasmussen)和佐宾·加拉马尼(Zoubin Ghahramani)。无限混合高斯过程专家。《神经信息处理系统》,第881-888页,2002年。
[26] 卡尔·拉斯穆森(Carl E.Rasmussen)和克里斯托弗·威廉姆斯(Christopher K.I.Williams)。机器学习的高斯过程。机器学习的高斯过程,2006年·兹比尔1177.68165
[27] 马提亚斯·西格(Matthias Seeger)、克里斯托弗·威廉姆斯(Christopher K.I.Williams)和尼尔·劳伦斯(Neil D.Lawrence)。快速前向选择加快稀疏高斯过程回归。《人工智能与统计》,2003年。
[28] Edward Snelson和Zoubin Ghahramani。使用伪输入的稀疏高斯过程。《神经信息处理系统》,第1257-12642005页。
[29] 贾斯珀·斯诺克(Jasper Snoek)、雨果·拉罗谢尔(Hugo Larochelle)和瑞安·亚当斯(Ryan P.Adams)。机器学习算法的实用贝叶斯优化。《神经信息处理系统》,第2951-2959页,2012年·Zbl 1433.68379号
[30] Sanvesh Srivastava、Volkan Cevher、Quoc Dinh和David B.Dunson。WASP:通过子集后验的重心实现可伸缩贝叶斯。《人工智能与统计》,第912-9202015页。
[31] Michalis K.Titsias。稀疏高斯过程中诱导变量的变分学习。《人工智能与统计》,第5卷,第567-574页,2009年。
[32] Volker Tresp.公司。贝叶斯委员会机器。神经计算,12(11):2719-27412000。
[33] Aki Vehtari、Andrew Gelman和Jonah Gabry。帕雷托平滑了重要性抽样。arXiv预印arXiv:1507.026462015。
[34] Jack M.Wang、David J.Fleet和Aaron Hertzmann。高斯过程动力学模型。神经信息处理系统,2005年。
[35] Max Welling和Yee Whye Teh。通过随机梯度Langevin动力学进行贝叶斯学习。2011年,在机器学习国际会议上,第681-688页。
[36] 克里斯托弗·威廉姆斯和大卫·巴伯。高斯过程贝叶斯分类。IEEE模式分析和机器智能汇刊,20(12):1342-13511998。
[37] 赵元和克劳斯·纽鲍尔。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。