×
阿莱西奥·本纳沃利;达里奥·阿齐蒙蒂;达里奥·皮加

闭式非参数回归、分类、偏好和带有斜高斯过程的混合问题的统一框架。 （英语） Zbl 07465776号

机器。学习。 110，编号11-12，3095-3133（2021）.
摘要：偏高斯过程（SkewGP）将有限维向量上的多元统一偏正态分布扩展到函数上的分布。SkewGP比高斯过程更通用、更灵活，因为SkewGPs也可能代表非对称分布。在最近的一篇文章中，我们表明SkewGP和probit似然是共轭的，这允许我们计算非参数二进制分类和偏好学习的精确后验。在本文中，我们推广了先前的结果，并证明了SkewGP与正规概率似然和仿射概率似然都是共轭的，更一般地说，与它们的乘积是共轭的。这使我们能够（i）在统一的框架中处理分类、偏好、数字和顺序回归以及混合问题；（ii）推导出相应后验分布的闭式表达式。实验表明，基于SkewGP的框架在主动学习和贝叶斯（约束）优化方面比高斯过程具有更好的性能。这两项任务是实验设计和数据科学的基础。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

斜高斯过程;回归，回归;分类;偏爱;封闭式

软件：

GLIS公司;github;安全选项;QSIMVN公司;GPy公司;PyMC公司;PRMLT公司;锡
PDF格式BibTeX公司 XML格式引用
\textit{A.Benavoli}等人，马赫。学习。110，编号11--12，3095-3133（2021；Zbl 07465776）
全文： 内政部 arXiv公司

参考文献：

[1] 阿洛达特，M。；Al-Momani，E.，非线性回归的斜高斯过程，统计学中的通信——理论和方法，43，23，4936-4961（2014）·Zbl 1310.60027号 ·doi:10.1080/03610926.2012.737498
[2] 阿洛达特，M。；Al-Rawwash，M.，回归的扩展斜高斯过程，Metron，72，3，317-330（2014）·Zbl 1305.62233号 ·doi:10.1007/s40300-014-0046-z
[3] 阿洛达特，M。；Shakhatreh，MK，带偏误的高斯过程回归，计算与应用数学杂志，370112665（2020）·Zbl 1437.62178号 ·doi:10.1016/j.cam.2019.112665
[4] 阿雷拉诺，RB；阿扎里尼，A.，《关于偏正态分布族的统一》，《斯堪的纳维亚统计杂志》，33，3，561-574（2006）·Zbl 1117.62051号 ·文件编号：10.1111/j.1467-9469.2006.00503.x
[5] Azzalini，A.（2013）。偏态正态及相关族（第3卷）。剑桥大学出版社·Zbl 1091.62046号
[6] 阿齐蒙蒂，D。；Ginsbourger，D.，估计高维高斯向量的正态概率及其在集合估计中的应用，计算与图形统计杂志，27，2，255-267（2018）·兹伯利07498944 ·doi:10.1080/10618600.2017.136781
[7] Bauer，M.、van der Wilk，M.和Rasmussen，C.E.（2016）。了解概率稀疏高斯过程近似。神经信息处理系统的进展（第1533-1541页）。
[8] Bemporad，A。；Piga，D.，基于径向基函数主动偏好学习的全局优化，机器学习，110，2，417-448（2021）·Zbl 07432807号 ·doi:10.1007/s10994-020-05935-y
[9] Benavoli，A。；阿齐蒙蒂，D。；Piga，D.，分类的斜高斯过程，机器学习，1091877-1902（2020）·Zbl 1525.62025号 ·doi:10.1007/s10994-020-05906-3
[10] Benavoli，A.、Azzimonti，D.、Piga，D.和（2021）。斜高斯过程的优先贝叶斯优化。2021年7月10日至14日，法国里尔，纽约州纽约市，遗传与进化计算会议伴侣（GECCO’21伴侣）。ACM公司·Zbl 1525.62025号
[11] Berkenkamp，F.、Krause，A.和Schoellig，A.P.（2016a）。带安全约束的贝叶斯优化：机器人中的安全和自动参数调整。arXiv预打印arXiv:1602.04450。
[12] Berkenkamp，F.、Schoellig，A.P.和Krause，A.（2016b）。高斯过程四旋翼安全控制器优化。2016年IEEE机器人与自动化国际会议（ICRA）（第491-496页）。电气与电子工程师协会。
[13] Bishop，C.M.（2006年）。模式识别和机器学习。斯普林格·Zbl 1107.68072号
[14] Botev，ZI，《线性限制下的正态律：通过极大极小倾斜进行模拟和估计》，《皇家统计学会杂志：B辑（统计方法）》，79，1，125-148（2017）·Zbl 1414.62102号 ·doi:10.1111/rssb.12162
[15] Brochu，E.、de Freitas，N.和Ghosh，A.（2008）。使用离散选择数据进行主动偏好学习。神经信息处理系统的进展（第409-416页）。
[16] Cao，J.、Durante，D.和Genton，M.G.（2020年）。高斯过程先验概率概率模型中预测概率的可缩放计算。arXiv:2009.01471。
[17] 楚·W。；Ghahramani，Z.，有序回归的高斯过程，机器学习研究杂志，61019-1041（2005）·Zbl 1222.68170号
[18] Chu，W.和Ghahramani，Z.（2005年b）。使用高斯过程进行偏好学习。计算机协会·Zbl 1222.68170号
[19] Cunningham，J.P.、Hennig，P.和Lacoste Julien，S.（2013）。高斯概率和期望传播。
[20] Durante，D.，通过统一偏态分布进行概率回归的共轭贝叶斯，Biometrika，106，4，765-779（2019）·Zbl 1435.62107号 ·doi:10.1093/biomet/asz034
[21] Gelman，A。；罗宾，DB，《使用多序列从迭代模拟中进行推断》，《统计科学》，第7、4、457-472页（1992年）·Zbl 1386.65060号
[22] MG杰顿；凯斯，DE；Turkiyyah，G.，高维多元正态概率计算的层次分解，计算与图形统计杂志，27，2，268-277（2018）·Zbl 07498945号 ·doi:10.1080/10618600.2017.1375936
[23] Genz，A.，多元正态概率的数值计算，计算与图形统计杂志，1，2，141-149（1992）
[24] Genz，A.和Bretz，F.（2009年）。多元正态概率和t概率的计算（第195卷）。施普林格科技与商业媒体·Zbl 1204.62088号
[25] Gessner，A.、Kanjilal，O.和Hennig，P.（2020年）。线性域约束下高斯积分。S.Chiappa，&R.Calandra（编辑），《第二十三届国际人工智能与统计会议论文集》（第108卷，第2764-2774页）。PMLR公司。
[26] 明尼苏达州吉布斯；麦凯，DJ，变分高斯过程分类器，IEEE神经网络汇刊，11，6，1458-1464（2000）·doi:10.1109/72.883477
[27] González，J.、Dai，Z.、Damianou，A.和Lawrence，N.D.（2017年）。优先贝叶斯优化。第34届机器学习国际会议论文集（第70卷，第1282-1291页）。JMLR公司。组织。
[28] GPy（2012）。GPy：python中的高斯进程框架。http://github.com/SheffieldML/GPy。
[29] 阿拉斯加州古普塔；马萨诸塞州阿齐兹；Ning，W.，关于统一正态分布的一些性质，《统计理论与实践杂志》，7，3，480-495（2013）·Zbl 1423.62046号 ·doi:10.1080/15598608.2013.790233
[30] Hensman，J.、Fusi，N.和Lawrence，N.D.（2013年）。大数据的高斯过程。《第二十九届人工智能不确定性会议论文集》，UAI'13，美国弗吉尼亚州阿灵顿（第282-290页）。AUAI出版社。
[31] 埃尔南德斯·洛巴托（Hernández-Lobato，D.）和埃尔南德斯·洛巴托，J.M.（Hernandez-Labato，J.M）（2016）。基于期望传播的可伸缩高斯过程分类。人工智能与统计（第168-176页）。
[32] Houlsby，N.、Huszár，F.、Ghahramani，Z.和Lengyel，M.（2011）。贝叶斯主动学习用于分类和偏好学习。arXiv预打印arXiv:1112.5745。
[33] 库斯，M。；Rasmussen，CE，评估二元高斯过程分类的近似推理，机器学习研究杂志，1679-1704（2005）·Zbl 1190.62119号
[34] 麦凯·D·J（1996）。在神经网络模型III。反向传播网络的贝叶斯方法（第211-254页）。斯普林格。
[35] Minka，T.P.（2001）。近似贝叶斯推理的一系列算法。UAI（第362-369页）。摩根·考夫曼。
[36] Murray，I.、Adams，R.和MacKay，D.（2010年）。椭圆切片采样。《第13届人工智能和统计国际会议论文集》，意大利恰（第541-548页）。PMLR公司。
[37] Nickisch，H。；Rasmussen，CE，二元高斯过程分类的近似，机器学习研究杂志，92035-2078（2008）·Zbl 1225.62087号
[38] O'Hagan，A.，预测的曲线拟合和优化设计，《皇家统计学会杂志：B辑（方法学）》，40，1，1-24（1978）·Zbl 0374.62070号
[39] 奥哈根，A。；Leonard，T.，参数约束不确定性下的贝叶斯估计，生物统计学，63，1，201-203（1976）·Zbl 0326.62025号 ·doi:10.1093/biomet/63.1.201
[40] Opper，M。；Archambeau，C.，《重新审视变分高斯近似》，《神经计算》，21，3，786-792（2009）·Zbl 1178.68450号 ·doi:10.1162/neco.2008.08-07-592
[41] Phinikettos，I。；Gandy，A.，高维多元正态概率的快速计算，计算统计与数据分析，55，4，1521-1529（2011）·Zbl 1328.65039号 ·doi:10.1016/j.csda.2010.10.005
[42] Quiñonero-Candela，J。；Rasmussen，CE，稀疏近似高斯过程回归的统一观点，机器学习研究杂志，61939-1959（2005）·Zbl 1222.68282号
[43] Rasmussen，C.E.和Williams，C.K.（2006年）。机器学习的高斯过程。麻省理工学院出版社·Zbl 1177.68165号
[44] Sadigh，D.、Dragan，A.D.、Sastry，S.和Seshia，S.A.（2017年）。基于主动偏好的奖励功能学习。机器人学：科学与系统。
[45] Salvatier，J。；Wiecki，电视；Fonnesbeck，C.，使用pymc3在python中进行概率编程，PeerJ计算机科学，2，e55（2016）·doi:10.7717/peerj-cs.55
[46] 舒尔赫，M。；阿齐蒙蒂，D。；贝纳沃利，A。；Zaffalon，M.，稀疏高斯过程回归的递归估计，Automatica，120，109-127（2020）·Zbl 1448.93320号
[47] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；De Freitas，N.，《将人类从循环中解放出来：贝叶斯优化综述》，《IEEE学报》，104，1148-175（2015）·doi:10.1109/JPROC.2015.2494218
[48] Snelson，E.和Ghahramani，Z.（2006年）。使用伪输入的稀疏高斯过程。神经信息处理系统的进展（第1257-1264页）。
[49] Sui，Y.、Gotovos，A.、Burdick，J.和Krause，A.（2015）。使用高斯过程进行优化的安全探索。在机器学习国际会议上（第997-1005页）。PMLR公司。
[50] Titsias，M.（2009）。稀疏高斯过程中诱导变量的变分学习。D.van Dyk和M.Welling（编辑），《第十二届人工智能和统计国际会议论文集》，机器学习研究论文集第5卷。美国佛罗里达州清水海滩希尔顿清水海滩度假村（第567-574页）。PMLR公司。
[51] Trinh，G。；Genz，A.，多元正态概率的二元条件处理近似，统计与计算，25，5，989-996（2015）·Zbl 1332.62055号 ·doi:10.1007/s11222-014-9468-y
[52] Villacampa-Calvo，C.、Zaldivar，B.、Garrido-Merchán，E.C.和Hernández-Lobato，D.（2020年）。带噪声输入的多类高斯过程分类。arXiv预打印arXiv:20011.0523·Zbl 07370553号
[53] 威廉姆斯，CK；Barber，D.，带高斯过程的贝叶斯分类，IEEE模式分析和机器智能汇刊，20，12，1342-1351（1998）·doi:10.1109/34.735807
[54] Zoghi，M.、Whiteson，S.、Munos，R.和Rijke，M.（2014）。k型武装决斗强盗问题的相对上界。第31届机器学习国际会议论文集，中国北京（第10-18页）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。