×

贝叶斯加性机器:使用半参数判别函数进行分类。 (英语) Zbl 1510.62047号

摘要:在本文中,我们提出了一种新的基于经典支持向量机传统铰链损失的贝叶斯推理分类方法,我们称之为贝叶斯加性机器(BAM)。与现有方法不同,新模型具有一个半参数判别函数,其中一些特征效应是非线性的,另一些是线性的。这种特征分离是在模型拟合期间自动实现的,无需用户预先指定。根据有关高维模型稀疏回归的文献,我们还可以识别不相关的特征。通过引入使用两组指标变量的尖峰和平谷先验,这些多个目标可以同时自动实现,无需任何参数调整,例如交叉验证。基于铰链损失的数据增强方案,提出了一种有效的部分折叠马尔可夫链蒙特卡罗算法用于后验探索。我们的仿真和三个实际数据示例表明,新方法与最近提出的一些处理高维分类示例的方法相比是一个强大的竞争对手。

MSC公司:

62-08 统计问题的计算方法
2015年1月62日 贝叶斯推断
62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统

软件:

塞米帕尔
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Guyon I,Weston J,Barnhill S,Vapnik V.使用支持向量机进行癌症分类的基因选择。马赫学习。2002;46(1):389-422。doi:10.1023/A:1012487302797[Crossref],[Web of Science®],[Google学者]·Zbl 0998.68111号
[2] Steinwart I.支持向量机和其他正则化核分类器的一致性。IEEE传输信息理论。2005;51(1):128-142. doi:10.1109/TIT.2004.839514[Crossref],[Web of Science®],[Google学者]·Zbl 1304.62090号
[3] Vapnik V.统计学习理论的本质。纽约州纽约市:斯普林格;1999.[谷歌学者]·Zbl 0928.68093号
[4] Hastie T、Friedman J、Tibshirani R。统计学习的要素。第二版,纽约州纽约市:施普林格;2009.【Crossref】,【谷歌学者】·Zbl 1273.62005年
[5] Ravikumar P,Lafferty J,Liu H,Wasserman L.稀疏加性模型。罗伊统计学会J Roy Statist Soc:Ser B.2009;71(5):1009-1030. doi:10.1111/j.1467-9868.2009.00718.x[交叉引用],[谷歌学者]·Zbl 1411.62107号
[6] Bradley PS,Mangasarian OL公司。通过凹极小化和支持向量机进行特征选择。参加:威斯康星州麦迪逊国际机器学习会议;1998.[谷歌学者]
[7] Wang L,Shen X.论##img####img####img##L1-形式多类支持向量机:方法论和理论。美国统计协会杂志,2007年;102(478):583-594. doi:10.1198/0162145000001383[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1172.62317号
[8] Zhu J,Rosset S,Hastie T,Tibshirani R.1-范数支持向量机。高级神经信息处理系统。2004;16(1):49-56. [谷歌学者]
[9] 张浩。基于平滑样条方差分析的支持向量机变量选择。中央统计局。2006;16(2):659-674. [Web of Science®],[Google学者]·Zbl 1096.62072号
[10] Zhao T,Liu H.稀疏添加剂机。参加:加那利群岛拉帕尔马人工智能和统计国际会议;2012.[谷歌学者]
[11] 支持向量机的Sollich P.Bayesian方法:证据和预测类概率。马赫学习。2002;46(1):21-52. doi:10.1023/A:1012489924661[Crossref],[Web of Science®],[Google学者]·Zbl 0998.68098号
[12] 给我小费。稀疏贝叶斯学习和相关向量机。J Mach Learn Res.2001;1:211-244. [Crossref]、[Web of Science®]、[Google学者]·Zbl 0997.68109号
[13] Gold C,Holub A,Sollich P.支持向量机分类器特征选择和参数调整的贝叶斯方法。神经网络。2005;18(5):693-701. doi:10.1016/j.neuet.2005.06.044[Crosref],[PubMed],[Web of Science®],[谷歌学者]·Zbl 1077.68762号
[14] Polson NG,Scott SL.支持向量机的数据增强。贝叶斯分析。2011;6(1):1-23. doi:10.1214/11-BA601[Crossref],[PubMed],[Web of Science®],[Google学者]·Zbl 1330.62258号
[15] Lazar NA。贝叶斯经验似然。生物特征。2003;90:319-326. doi:10.1093/biomet/90.2.319[Crossref],[Web of Science®],[Google学者]·兹比尔1034.62020
[16] Lin L.几乎是贝叶斯概率。统计方法。2006;3:444-455. doi:10.1016/j.stamet.2005.12.002[交叉引用],[谷歌学者]·Zbl 1248.62078号
[17] Ventura L、Cabras S、Racugno W。在存在干扰参数的情况下,伪似然物的先验分布。美国统计学会杂志,2009年;104:768-774. doi:10.1198/jasa.2009.0133[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1388.62060号
[18] Racugno W,Salvan A,Ventura L.贝叶斯回归模型中的伪似然分析。通信统计理论方法。2010;第39:3444-3455页。doi:10.1080/03610920903277866[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1202.62040
[19] Pauli F,Racugno W,Ventura L.Bayesian复合边际可能性。中央统计局。2011;21:149-164. [Web of Science®],[Google学者]·Zbl 1206.62039号
[20] Agostinelli C,Greco L.贝叶斯推理中处理似然不确定性的加权策略。2013年计算统计;28:319-339. doi:10.1007/s00180-011-0301-1[Crossref],[Web of Science®],[Google学者]·Zbl 1305.65018号
[21] George EI,McCulloch RE。吉布斯抽样变量选择。美国统计学会杂志,1993年;88(423):881-889。doi:10.1080/01621459.1993.10476353[Taylor&Francis Online],[Web of Science®],[Google学者]
[22] George EI,McCulloch RE。贝叶斯变量选择方法。中央统计局。1997;7:339-374. [Web of Science®],[Google学者]·Zbl 0884.62031号
[23] Ishwaran H,Rao JS。尖峰和平板变量选择:频率和贝叶斯策略。Ann Stat.2005;33(2):730-773。doi:10.1214/009053604000001147[Crossref],[Web of Science®],[Google学者]·Zbl 1068.62079号
[24] 张HH,程刚,刘毅。线性还是非线性?部分线性模型的自动结构发现。美国统计师协会2011年;106(495):1099-1112. doi:10.1198/jasa.2011.tm10281[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1229.62051号
[25] Scheipl F,Fahrmeira L,Kneib T.结构化加性回归模型中函数选择的Spike和slab先验。美国统计学会杂志,2012年;107(500):1518-1532. doi:10.1080/01621459.2012.737742[Taylor&Francis Online],[Web of Science®],[Google学者]·兹比尔1258.62082
[26] Hu Y,Zhao K,Lian H.部分线性可加模型的贝叶斯分位数回归。统计计算。2014年即将到来。[谷歌学者]·Zbl 1331.62143号
[27] Ruppert D,Wand M,Carroll RJ。半参数回归。剑桥:剑桥大学出版社;2003.【Crossref】,【谷歌学者】·Zbl 1038.62042号
[28] Goldstein M,Smith AFM。回归分析的岭型估计量。J Roy Statist Soc Ser B.1974年;32:284-291. [谷歌学者]·Zbl 0287.62036号
[29] Panagiotelis A,Smith M.高维可加模型中半参数函数的贝叶斯识别、选择和估计。《经济学杂志》。2008;143(2):291-316。doi:10.1016/j.jeconom.2007.10.03[Crossref],[Web of Science®],[Google学者]·Zbl 1418.62166号
[30] Kinney SK,Dunson DB。线性和逻辑模型中的固定效应和随机效应选择。生物计量学。2007;63(3):690-698. doi:10.1111/j.1541-0420.2007.00771.x[Crossref],[PubMed],[Web of Science®],[Google学者]·Zbl 1147.62022号
[31] van Dyk DA,Park T。吉布斯采样器部分倒塌。美国统计协会杂志,2008年;103(482):790-796. doi:10.1198/01621450000000409[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1471.62198号
[32] Barndorff-Nielsen OE、Shephard N.非高斯Ornstein-Uhlenbeck模型及其在金融经济学中的一些应用。罗伊统计学会J Roy Statist Soc:Ser B.2001;63(2):167-241. doi:10.1111/1467-9868.00282[交叉引用],[谷歌学者]·Zbl 0983.60028号
[33] Rosenwald A、Wright G、Chan WC、Connors JM、Campo E、Fisher RI、Gascoyne RD、Muller-Hermelink HK、Smeland EB、Giltnane JM、Hurt EM、Zhao H、Averett L、Yang L、Wilson WH、Jaffe ES、Simon R、Klausner RD、Powell J、Duffey PL、Longo DL、Greiner TC、Weisenburger DD、Sanger WG、Dave BJ、Lynch JC、Vose J、Armitage JO、Montserrat E、López-Guillermo A、,Grogan TM、Miller TP、LeBlanc M、Ott G、Kvaloy S、Delabie J、Holte H、Krajci P、Stokke T、Staudt LM。应用分子分析预测弥漫性大B细胞淋巴瘤化疗后的生存率。美国统计学会杂志,2002年;346(25):1937-1947. [谷歌学者]
[34] 赵SD,李毅。超高维协变量Cox模型的确定独立性筛选原则。《多元分析杂志》。2012;105(1):397-411。doi:10.1016/j.jmva.2011.08.002[Crossref],[PubMed],[Web of Science®],[Google学者]·Zbl 1233.62173号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。