×

具有收缩和扩散先验的贝叶斯变量选择。 (英语) Zbl 1302.62158号

作者使用高维协变量的线性回归设置,其中协变量的数量相对于样本大小可能较大。只有少数被称为活性协变量的协变量具有非零系数。本文的目的是开发一种新的贝叶斯方法,用于选择渐近一致且计算方便的活动协变量。贝叶斯变量选择的一致性的一个常见概念是根据两两贝叶斯因子定义的。频率学家和贝叶斯方法一致性的另一个概念是,所选模型等于真实模型,概率收敛到一。结果表明,即使协变量的数量几乎随样本大小呈指数增长,该方法在真实模型的后验概率收敛到1的意义上仍然具有很强的选择一致性。我们在本文中发现了对变量选择的重要贡献。给出了先验参数的条件和这些条件的动机。
论文的最后一部分讨论了证明上述结果所需的条件。文中介绍了该方法的一些计算方面,以及与现有方法进行比较的仿真研究。在这篇重要论文的末尾,我们还找到了35篇参考文献。

MSC公司:

62J05型 线性回归;混合模型
2012年12月62日 参数估计量的渐近性质
2015年1月62日 贝叶斯推断
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Barbieri,M.M.和Berger,J.O.(2004)。最佳预测模型选择。Ann.Statist公司。32 870-897. ·Zbl 1092.62033号 ·doi:10.1214/00905360400000023
[2] Bondell,H.D.和Reich,B.J.(2008)。OSCAR预测因子的同步回归收缩、变量选择和监督聚类。生物统计学64 115-123,322-323·Zbl 1146.62051号 ·doi:10.1111/j.1541-0420.2007.00843.x
[3] Bondell,H.D.和Reich,B.J.(2012年)。通过惩罚可信区域进行一致的高维贝叶斯变量选择。J.Amer。统计师。协会107 1610-1624·Zbl 1258.62026号 ·doi:10.1080/01621459.2012.716344
[4] Candes,E.和Tao,T.(2007)。Dantzig选择器:当\(p)远大于\(n)时的统计估计。Ann.Statist公司。35 2313-2351. ·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[5] Dey,T.、Ishwaran,H.和Rao,J.S.(2008)。深入了解最高后部模型选择。计量经济学理论24 377-403·Zbl 1284.62086号 ·网址:10.1017/S026646660808016X
[6] Dicker,L.、Huang,B.和Lin,X.(2013)。使用无缝-\(L_0)惩罚进行变量选择和估计。统计师。中国23 929-962·Zbl 1433.62068号
[7] Fan,J.和Li,R.(2001)。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348-1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[8] Fan,J.和Lv,J.(2008)。确保超高维特征空间的独立筛选。J.R.Stat.Soc.系列。B统计方法。70 849-911. ·doi:10.1111/j.1467-9868.2008.00674.x
[9] Fan,J.和Lv,J.(2010)。高维特征空间中变量选择的选择性概述。统计师。Sinica 20 101-148号·Zbl 1180.62080号
[10] Fan,J.和Peng,H.(2004)。具有发散参数数的非凹陷惩罚似然。Ann.Statist公司。32 928-961. ·Zbl 1092.62031号 ·doi:10.1214/009053604000000256
[11] George,E.I.和Foster,D.P.(2000)。校准和经验贝叶斯变量选择。生物特征87 731-747·Zbl 1029.62008号 ·doi:10.1093/biomet/87.4.731
[12] George,E.I.和McCulloch,R.E.(1993)。通过吉布斯采样选择变量。J.Amer。统计师。协会88 881-889。
[13] Hsu,D.、Kakade,S.M.和Zhang,T.(2012)。亚高斯随机向量二次型的尾不等式。电子。Commun公司。普罗巴伯。17 6. ·Zbl 1309.60017号
[14] Huang,J.和Xie,H.(2007)。SCAD惩罚最小二乘估计量的渐近预言性质。在渐近:粒子,过程和反问题。数理统计研究所讲稿——专著系列55 149-166。俄亥俄州比奇伍德IMS·Zbl 1176.62066号 ·doi:10.1214/0749217070000337
[15] Ishwaran,H.、Kogalur,U.B.和Rao,J.S.(2010年)。spiceslab:使用spike和slab回归进行预测和变量选择。R期刊2 68-73。
[16] Ishwaran,H.和Rao,J.S.(2005年)。尖峰和平板变量选择:频繁和贝叶斯策略。Ann.Statist公司。33 730-773·Zbl 1068.62079号 ·doi:10.1214/009053604000001147
[17] Ishwaran,H.和Rao,J.S.(2011年)。穗板回归的一致性。统计师。普罗巴伯。莱特。81 1920-1928. ·Zbl 1225.6206号 ·doi:10.1016/j.spl.2011.08.005
[18] James,G.M.、Radchenko,P.和Lv,J.(2009年)。DASSO:Dantzig选择器和套索之间的连接。J.R.Stat.Soc.系列。B统计方法。71 127-142. ·兹比尔1231.62129 ·文件编号:10.1111/j.1467-9868.2008.00668.x
[19] 姜伟(2007)。高维广义线性模型的贝叶斯变量选择:拟合密度的收敛速度。Ann.Statist公司。35 1487-1511. ·Zbl 1123.62026号 ·doi:10.1214/00905360000000019
[20] Johnson,V.E.和Rossell,D.(2012年)。高维环境中的贝叶斯模型选择。J.Amer。统计师。协会107 649-660·Zbl 1261.62024号 ·doi:10.1080/01621459.2012.682536
[21] Kim,Y.、Kwon,S.和Choi,H.(2012)。高维度上一致的模型选择标准。J.马赫。学习。第13号决议1037-1057·Zbl 1283.62143号
[22] Lan,H.,Chen,M.,Flowers,J.B.,Yandell,B.S.,Stapleton,D.S.,Mata,C.M.,Mui,E.T.,Floverss,M.T.,Schueler,K.L.,Manly,K.F.,Williams,R.W.,Kendziorski,K.和Attie,A.D.(2006年)。组合表达-性状相关性和表达-数量性状位点定位。公共科学图书馆遗传学2 e6。
[23] Liang,F.、Song,Q.和Yu,K.(2013)。高维广义线性模型的贝叶斯子集建模。J.Amer。统计师。协会108 589-606·Zbl 06195963号 ·doi:10.1080/01621459.2012.761942
[24] Liu,Y.和Wu,Y.(2007)。通过\(L_0\)和\(L_1\)惩罚组合选择变量。J.计算。图表。统计师。16 782-798.
[25] Mitchell,T.J.和Beauchamp,J.J.(1988)。线性回归中的贝叶斯变量选择。J.Amer。统计师。协会83 1023-1036·Zbl 0673.62051号 ·doi:10.2307/2290129
[26] Moreno,E.、Girón,F.J.和Casella,G.(2010年)。随着模型维度的增长,客观贝叶斯因子的一致性。Ann.Statist公司。38 1937-1952. ·Zbl 1323.62024号 ·doi:10.1214/09-AOS754
[27] Narisetty,N.N.和He,X.(2014)。补充“具有收缩和扩散先验的贝叶斯变量选择”·Zbl 1302.62158号
[28] Schwarz,G.(1978年)。估算模型的维度。Ann.Statist公司。6 461-464. ·兹伯利0379.62005 ·doi:10.1214/aos/1176344136
[29] Shen,X.、Pan,W.和Zhu,Y.(2012)。基于似然的选择和尖锐参数估计。J.Amer。统计师。协会107 223-232·Zbl 1261.62020年 ·doi:10.1080/01621459.2011.645783
[30] Tibshirani,R.(1996)。通过套索回归收缩和选择。J.R.Stat.Soc.系列。B统计方法。58 267-288. ·Zbl 0850.62538号
[31] Vershynin,R.(2012)。介绍随机矩阵的非渐近分析。在压缩传感210-268中。剑桥大学出版社,剑桥。 ·doi:10.1017/CBO9780511794308.006
[32] Yang,Y.和He,X.(2012)。分位数回归的贝叶斯经验似然。Ann.Statist公司。40 1102-1131·Zbl 1274.62458号 ·doi:10.1214/12-AOS1005
[33] Yuan,M.和Lin,Y.(2005)。线性模型中有效的经验贝叶斯变量选择和估计。J.Amer。统计师。协会100 1215-1225·Zbl 1117.62453号 ·doi:10.1198/0162145005000367
[34] Zhang,D.、Lin,Y.和Zhang、M.(2009)。大(p)小(n)数据的惩罚正交分量回归。电子。《美国法律总汇》第3卷第781-796页·Zbl 1326.62149号 ·doi:10.1214/09-EJS354
[35] 邹华(2006)。自适应套索及其oracle属性。J.Amer。统计师。协会101 1418-1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。