×

基于变分推理的鲁棒相关向量机分类。 (英语) Zbl 1478.62168号

摘要:相关向量机(RVM)是一种广泛应用的分类统计方法,它提供了概率输出和稀疏解。然而,RVM对远离区分两类的决策边界的异常值非常敏感。在本文中,我们提出了基于加权方案的鲁棒RVM,该方案对异常值不敏感,同时保持了原始RVM的优点。给定权重的先验分布,权重值以概率方式确定,并在训练期间自动计算。我们的理论结果表明,异常值的影响通过概率权重是有界的。此外,还讨论了确定支配先验的超参数的准则。合成数据集和实际数据集的实验结果表明,如果训练数据集受到异常值的污染,该方法的性能始终优于RVM。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
62G35型 非参数稳健性
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 安,LTH;Tao,PD,用D.C.算法求解一类线性约束的不定二次型问题,全局优化杂志,11,253-285,(1997)·Zbl 0905.90131号 ·doi:10.1023/A:1008288411710
[2] Bishop,C.M.和Tipping,M.E.(2000),变分相关向量机。第16届人工智能不确定性会议记录(第46-53页)·Zbl 1381.62179号
[3] Burges,CJC,模式识别、数据挖掘和知识发现支持向量机教程,212-167,(1998)·doi:10.1023/A:1009715923555
[4] Caruana,R.和Niculescu-Mizil,A.(2004)。度量空间中的数据挖掘:监督学习绩效标准的实证分析第十届知识发现和数据挖掘国际会议论文集(第69-78页)·Zbl 1469.62293号
[5] Chang,CC;Lin,C-J,LIBSVM:支持向量机库,ACM智能系统与技术汇刊,2,27:21-27:27,(2011)·数字对象标识代码:10.1145/1961189.1961199
[6] Christmann,A;Steinwart,I,关于模式识别凸风险最小化方法的稳健性,机器学习研究杂志,51007-1034,(2004)·Zbl 1222.68348号
[7] 德布鲁因,M;Serneels,S;Verdonck,T,稳健最小二乘支持向量分类,化学计量学杂志,23479-486,(2009)·doi:10.1002/厘米1241
[8] Demsar,J,多数据集分类器的统计比较,机器学习研究杂志,7,1-30,(2006)·Zbl 1222.68184号
[9] 方,Y;Jeong,MK,稳健概率多元校准模型,技术计量学,50305-316,(2008)·doi:10.1198/004017008000000073
[10] Frank,A.和Asuncion,A.(2010年)。UCI机器学习库加利福尼亚州欧文:加利福尼亚大学信息与计算机科学学院。
[11] 黄,S;百胜,B;Jeong,MK,用于提高虚拟计量精度的稳健相关向量机,IEEE半导体制造交易,27,1-12,(2014)·doi:10.1109/TSM.2013.2286498
[12] Hwang,S.、Kim,N.、Jeong,M.K.和Yum,B.(2015)。对离群值有界影响的稳健核回归。运筹学会杂志(出现)·Zbl 1105.62358号
[13] Jaakkola,T.S.(2000年)。变分近似方法教程麻省理工学院人工智能实验室技术报告。
[14] Jaakkola,TS;Jordan,MI,通过变分方法进行贝叶斯参数估计,统计与计算,10,25-37,(2000)·doi:10.1023/A:1008932416310
[15] 李,K;Kim,N;Jeong,MK,分类和回归的稀疏符号模型,运筹学年鉴,216257-286,(2014)·Zbl 1381.62179号 ·doi:10.1007/s10479-012-1198-y
[16] 林,XW;瓦赫巴,G;向,D;高,FY;克莱因,R;Klein,B,具有Bernoulli观测值和随机GACV的大数据集的平滑样条方差分析模型,统计年鉴,281570-1600,(2000)·Zbl 1105.62358号 ·doi:10.1214/aos/1015957471
[17] Ling,C.X.、Huang,J.和Zhang,H.(2003)。AUC:在比较学习算法时,这是一个比准确性更好的衡量标准。2003年加拿大人工智能会议记录(第329-341页)。
[18] 马,Z;Leijon,A,具有变分推理的贝塔混合模型的贝叶斯估计,IEEE模式分析和机器智能汇刊,332160-2173,(2011)·doi:10.1109/TPAMI.2011.63
[19] Mackay,DJC,《应用于分类网络的证据框架》,神经计算,4720-736,(1992)·doi:10.1116/neco.1992.4.5.720
[20] Neal,R.M.(1996)。神经网络的贝叶斯学习纽约:Springer·Zbl 0888.62021号 ·doi:10.1007/978-1-4612-0745-0
[21] JT奥尔默罗德;Wand,MP,解释变分近似,美国统计学家,64,140-153,(2010)·Zbl 1200.65007号 ·doi:10.1198/tast.2010.09058
[22] 公园,悉尼;Liu,Y,带截断损失函数的稳健惩罚logistic回归,加拿大统计杂志,39,300-323,(2011)·Zbl 1219.62105号 ·doi:10.1002/cjs.10105
[23] Ratsch,G;Onoda,T;KR Muller,adaboost的软边距,机器学习,42,287-320,(2001)·Zbl 0969.68128号 ·doi:10.1023/A:1007618119488
[24] 宋,Q;胡,W;Xie,W,带弹孔图像分类的鲁棒支持向量机,IEEE Transactions on Systems Man and Control netics Part C Applications and Reviews,32,440-448,(2002)·doi:10.1109/TSMCC.2002.807277
[25] Tipping,ME,稀疏贝叶斯学习和相关向量机,机器学习研究杂志,1211-244,(2001)·Zbl 0997.68109号
[26] 吴,Y;Liu,Y,鲁棒截断铰链损失支持向量机,美国统计协会杂志,102974-983,(2007)·Zbl 1469.62293号 ·doi:10.1198/0162145000000617
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。