×

鲁棒加权高斯过程。 (英语) Zbl 1505.62330号

摘要:本文提出了批处理和在线标准高斯过程(GP)的稳健加权变量,以有效降低相应GP模型中异常值的负面影响。这是通过引入鲁棒数据秤来实现的,该数据秤依赖于来自鲁棒M-估计器的鲁棒和准鲁棒权重函数。我们在四个数据集上将稳健的GP与各种GP模型进行了比较。结果表明,我们的批处理和在线鲁棒加权GP确实对异常值具有鲁棒性,显著优于相应的标准GP和最近提出的异方差GP方法GPz。我们的实验还表明,我们的方法与使用学生-(t)似然的最先进的稳健GP相当,有时甚至更好。

MSC公司:

62-08 统计问题的计算方法
62层35 鲁棒性和自适应程序(参数推断)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Agostinelli,C。;Greco,L.,处理贝叶斯推断中似然不确定性的加权策略,计算统计,28,319-339(2013)·Zbl 1305.65018号 ·doi:10.1007/s00180-011-0301-1
[2] 杏仁糖,IA;贾维斯,MJ;Roberts,SJ,GPz:光度红移异方差不确定性估计的非平稳稀疏高斯过程,Mon Not R Astron Soc,462,1,726-739(2016)·doi:10.1093/mnras/stw1618
[3] Bentley,JL,《多维分治》,Commun ACM,23,4,214-229(1980)·Zbl 0434.68049号 ·数字对象标识代码:10.1145/358841.358850
[4] 伯恩霍尔特,T。;Fischer,P.,计算MCD估计器的复杂性,Theor Compute Sci,326383-398(2004)·Zbl 1054.62028号 ·doi:10.1016/j.tcs.2004.08.005
[5] Bishop,CM,模式识别和机器学习(2006),纽约:Springer,纽约·兹比尔1107.68072
[6] Buta,R.,环形星系的结构和动力学,III:环形非棒旋星系NGC7531的表面光度和运动学,天体物理学J Suppl-Ser,64,1-37(1987)·数字对象标识代码:10.1086/191190
[7] CsatóL(2002)高斯过程-迭代稀疏近似。博士论文。英国伯明翰阿斯顿大学。http://publications.aston.ac.uk/id/eprint/1227/ ·Zbl 0987.62060号
[8] Csató,L.公司。;Opper,M.,稀疏在线高斯过程,神经计算,14,3,641-668(2002)·Zbl 0987.62060号 ·doi:10.11162/089977602317250933
[9] de Boor,CA,花键实用指南。应用数学科学(2001),纽约:施普林格,纽约·兹伯利0987.65015
[10] 小JE丹尼斯;Welsch,RE,非线性最小二乘法和鲁棒回归技术,Commun Stat Simul Comput,7,44345-359(1978)·Zbl 0395.62046号 ·doi:10.1080/03610917808812083
[11] Drucker H、Burges CJ、Kaufman L、Smola AJ、Vapnik V(1997)支持向量回归机。神经信息处理系统进展,pp 155-161
[12] Geweke,J.,独立Student-t线性模型的贝叶斯处理,《应用经济学杂志》,8,S1,S19-S40(1993)·doi:10.1002/jae.3950080504
[13] Girden ER(1992)方差分析:重复测量。Sage大学社会科学定量应用论文系列07-084,加州纽伯里公园Sage大学
[14] 格雷科,L。;西拉古诺。;Ventura,L.,贝叶斯分析中的稳健似然函数,J Stat Plan推断,138,5,1258-1270(2008)·Zbl 1133.62017年 ·doi:10.1016/j.jspi.2007.05.001
[15] 法国汉佩尔;EM Ronchetti;罗素,PJ;华盛顿州斯塔尔,稳健统计。基于影响函数的方法(1986),纽约:威利,纽约·Zbl 0593.62027号
[16] Huber,PJ,位置参数的稳健估计,Ann Stat,53,1,73-101(1964)·Zbl 0136.39805号 ·doi:10.1214/aoms/1177703732
[17] PJ Huber;Ronchetti,EM,稳健统计(1981),纽约:威利,纽约·Zbl 0536.62025号 ·doi:10.1002/0471725250
[18] Jylänki,P。;Vanhatalo,J。;Vehtari,A.,《具有学生t可能性的稳健高斯过程回归》,J Mach Learn Res,12,3227-3257(2011)·Zbl 1280.60025号
[19] Kemmler M、Rodner E、Denzler J(2010)《高斯过程的一类分类》。摘自:亚洲计算机视觉会议论文集。计算机科学课堂讲稿,第6493卷。施普林格,第489-500页
[20] Kuss M(2006)稳健回归、分类和强化学习的高斯过程模型。德国达姆施塔特工业大学博士论文。http://hdl.handle.net/11858/00-001M-0000-0013-D2CD-C
[21] Kuss M,Pfingsten T,CsatóL,Rasmussen CE(2005)稳健高斯过程回归的近似推断。马克斯·普朗克生物控制论研究所,德国图宾根,技术报告136。http://hdl.handle.net/11858/00-001M-0000-0013-D703-4
[22] Le QV,Smola AJ,Canu S(2005)异方差高斯过程回归。摘自:第22届机器学习国际会议论文集。ACM,第489-496页
[23] 麦凯,DJC;Bishop,CM,高斯过程、神经网络和机器学习导论。北约ASI系列,133-165(1998),柏林:施普林格,柏林·Zbl 0936.68081号
[24] 马哈拉诺比斯,PC,《关于统计学中的广义距离》,《印度国家科学院学报》,第2期,第1期,第49-55页(1936年)·Zbl 0015.03302号
[25] 玛丽娜,RA;Martin,DR;尤海,VJ,《稳健统计学:理论和方法》(2006),奇切斯特:威利·邮编1094.62040 ·doi:10.1002/0470010940
[26] Mattos CLC、Santos JDA、Barreto GA(2015)系统辨识稳健高斯过程模型的实证评估。参加:智能数据工程和自动化学习国际会议。查姆施普林格,第172-180页
[27] Minka TP(2001)近似贝叶斯推断的期望传播。摘自:第十七届人工智能不确定性会议论文集。摩根考夫曼出版公司,第362-369页
[28] Murphy L、Martin S和Corke P(2012),根据车辆经验创建和使用概率成本图。收录于:IEEE/RSJ智能机器人和系统、智能机器人与系统(IROS)国际会议论文集。IEEE,第4689-4694页
[29] Neal RM(1997)贝叶斯回归和分类高斯过程模型的蒙特卡罗实现。多伦多大学统计系和计算机科学系9702技术报告。arXiv:物理学/9701026
[30] Opper,M。;Saad,D.,《在线学习的贝叶斯方法》,神经网络在线学习(1998),剑桥:剑桥大学出版社,剑桥·Zbl 0966.68178号
[31] Ramirez-Padron R(2015)批量和在线隐式加权高斯过程,用于鲁棒新颖性检测。中佛罗里达大学博士论文。http://purl.fcla.edu/fcla/etd/CFE0005869
[32] Ramirez-Padron R,Mederos B,Gonzalez AJ(2013)使用稀疏在线高斯过程进行视觉对象识别的新颖性检测。参加:国际FLAIRS会议。美国佛罗里达州圣彼得海滩,第124-129页
[33] Ranjan,R。;黄,B。;Fatehi,A.,使用EM算法的稳健高斯过程建模,《过程控制杂志》,42,125-136(2016)·doi:10.1016/j.jprocont.2016.04.003文件
[34] 拉斯穆森,CE;Williams,C.,机器学习的高斯过程(2006),剑桥:麻省理工学院出版社,剑桥·Zbl 1177.68165号
[35] Rey,WJJ,稳健和准稳健统计方法介绍(1983),柏林:施普林格出版社,柏林·兹比尔0525.62040 ·doi:10.1007/978-3-642-69389-2
[36] Rottmann A,Burgard W(2010)使用高斯过程在线学习非平稳系统动力学。摘自:第32届DAGM研讨会论文集,德国达姆施塔特,第192-201页
[37] Rousseeuw,PJ,最小二乘回归,美国统计协会,79388871-880(1984)·Zbl 0547.62046号 ·doi:10.1080/01621459.1984.10477105
[38] Schmidt G、Mattern R、Schüler F(1981)《生物力学研究》,以确定头部和脊柱在撞击作用下的最大承载能力的物理和创伤区分标准,包括有无防护头盔。EEC冲击生物力学研究计划,最终报告第三阶段,项目65,德国海德堡大学fur Rechtsmedizin研究所
[39] Seeger,M.,机器学习的高斯过程,国际神经系统杂志,14,2,69-106(2004)·doi:10.1142/S0129065704001899
[40] 肖-泰勒,J。;Cristianini,N.,《模式分析的内核方法》(2004),剑桥:剑桥大学出版社,剑桥·doi:10.1017/CBO9780511809682
[41] Silverman,BW,非参数曲线拟合的样条平滑方法的某些方面,J R Stat Soc Ser B(Methodol),47,1,1-52(1985)·Zbl 0606.62038号
[42] 杉山,M。;Krauledat,M。;Müller,KR,通过重要性加权交叉验证进行协变量移位适应,J Mach Learn Res,8,985-1005(2007)·Zbl 1222.68313号
[43] Tipping ME(2000)相关向量机。主题:神经信息处理系统的进展,第652-658页
[44] 小费,ME;劳伦斯,ND,《学生t模型的变分推理:稳健贝叶斯插值和广义成分分析》,神经计算,69,1-3,123-141(2005)·doi:10.1016/j.neucom.2005.02.016
[45] Verboven,S。;Hubert,M.,LIBRA:稳健分析的MATLAB库,化学计量学智能实验室系统,75,127-136(2005)·doi:10.1016/j.chemolab.2004.06.003
[46] Wald I,Havran V(2006),关于构建用于光线跟踪的快速kd-tree,以及在O(N log N)中实现这一点。摘自:2006年IEEE交互式射线追踪研讨会论文集,第61-69页
[47] 王,B。;Mao,Z.,基于高斯过程的离群点检测及其在工业过程中的应用,应用软计算J,76,505-516(2019)·doi:10.1016/j.asoc.2018年12月29日
[48] West,M.,贝叶斯线性回归中的离群模型和先验分布,J R Stat Soc(Ser B),46,3,431-439(1984)·Zbl 0567.62022号
[49] CKI威廉姆斯;Barber,D.,用高斯过程进行贝叶斯分类,IEEE Trans-Pattern Ana Mach Intell,12,20,1342-1351(1998)·doi:10.1109/34.735807
[50] Yeh,C.,使用人工神经网络的高性能混凝土强度建模,Cem Concr Res,28,12,1797-1808(1998)·doi:10.1016/S0008-8846(98)00165-3
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。