×

稀疏先验贝叶斯线性回归。 (英语) Zbl 1486.62197号

摘要:我们研究了稀疏约束下高维线性回归的完全贝叶斯过程。先验分布是零分布和连续分布的点质量的混合。在设计矩阵的相容条件下,证明了后验分布以最佳速率收缩以恢复未知稀疏向量,并给出响应向量的最佳预测。它还显示了选择正确的稀疏模型,或至少选择与零显著不同的系数。描述了后验分布的渐近形状,并将其用于构建和研究用于不确定性量化的可信集。

MSC公司:

62J05型 线性回归;混合模型
2015年1月62日 贝叶斯推断
62G05型 非参数估计
62克20 非参数推理的渐近性质

关键词:

贝叶斯推断;稀疏
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abramovich,F.、Benjamini,Y.、Donoho,D.L.和Johnstone,I.M.(2006)。通过控制错误发现率来适应未知稀疏性。安。统计师。34 584-653. ·Zbl 1092.62005年 ·doi:10.1214/00905360000000074
[2] Abramovich,F.和Grinshtein,V.(2010年)。高斯回归中的MAP模型选择。电子。《美国联邦法律大全》第4卷第932-949页·Zbl 1329.62051号 ·doi:10.1214/10-EJS573
[3] Arias Castro,E.和Lounici,K.(2014)。指数权重的估计和变量选择。电子。《美国联邦法律大全》第8卷第328-354页·Zbl 1294.62164号 ·doi:10.1214/14-EJS883
[4] Babenko,A.和Belitser,E.(2010年)。投影先验和贝叶斯模型选择下的后验Oracle收敛速度。数学。方法统计。19 219-245. ·兹比尔1282.62125 ·doi:10.3103/S1066530710030026
[5] Belitser,E.个人沟通。
[6] Bickel,P.J.、Ritov,Y.和Tsybakov,A.B.(2009年)。同时分析套索和Dantzig选择器。安。统计师。37 1705-1732. ·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[7] Bottolo,L.、Chadeau-Hyam,M.、Hastie,D.I.、Langley,S.R.、Petretto,E.、Tiret,L.,Tregouet,D.和Richardson,S.(2011年)。Ess++:一种面向C++对象的贝叶斯随机搜索模型探索算法。生物信息学27 587-588。
[8] Bottolo,L.和Richardson,S.(2010年)。贝叶斯模型探索的进化随机搜索。贝叶斯分析。5 583-618. ·Zbl 1330.90042号 ·doi:10.1214/10-BA523
[9] Bühlmann,P.、Rütimann,P.、van de Geer,S.和Zhang,C.-H.(2013)。回归中的相关变量:聚类和稀疏估计。J.统计。计划。推论143 1835-1858·Zbl 1278.62103号 ·doi:10.1016/j.jspi.2013.05.019
[10] Bühlmann,P.和van de Geer,S.(2011)。高维数据统计:方法、理论和应用。海德堡施普林格·Zbl 1273.62015年 ·doi:10.1007/978-3-642-20192-9
[11] Bunea,F.、Tsybakov,A.和Wegkamp,M.(2007年)。拉索的稀疏预言不等式。电子。《美国联邦法律大全》第1卷第169-194页·Zbl 1146.62028号 ·doi:10.1214/07-EJS008
[12] Cai,T.T.和Jiang,T.(2011)。随机矩阵相干性的限制律及其在协方差结构测试和压缩传感矩阵构造中的应用。安。统计师。39 1496-1525. ·Zbl 1220.62066号 ·doi:10.1214/11-AOS879
[13] Candes,E.和Tao,T.(2007)。Dantzig选择器:当\(p)远大于\(n)时的统计估计。安。统计师。35 2313-2351. ·Zbl 1139.62019号 ·doi:10.1214/09053606000001523
[14] Carvalho,C.M.、Polson,N.G.和Scott,J.G.(2010年)。稀疏信号的马蹄形估计器。生物特征97 465-480·Zbl 1406.62021号 ·doi:10.1093/biomet/asq017
[15] Castillo,I.、Schmidt-Hieber,J.和van der Vaart,A.(2015)。补充“具有稀疏先验的贝叶斯线性回归”·Zbl 1486.62197号 ·doi:10.1214/15-AOS1334
[16] Castillo,I.和van der Vaart,A.(2012年)。大海捞针:可能稀疏序列的后向集中。安。统计师。40 2069-2101·Zbl 1257.62025号 ·doi:10.1214/12-AOS1029
[17] Dalalyan,A.S.和Tsybakov,A.B.(2007)。通过指数加权和尖锐的预言不等式进行聚合。学习理论。计算机科学课堂讲稿4539 97-111。柏林施普林格·兹比尔1203.62063 ·doi:10.1007/978-3-540-72927-39
[18] Dellaportas,P.、Forster,J.和Ntzoufras,I.(2002年)。贝叶斯模型与mcmc变量选择。统计计算。12 27-36. ·Zbl 1247.62086号 ·doi:10.1023/A:1013164120801
[19] Donoho,D.L.、Elad,M.和Temlyakov,V.N.(2006)。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52 6-18·Zbl 1288.94017号 ·doi:10.1109/TIT.2005.860430
[20] George,E.I.(2000)。变量选择问题。J.Amer。统计师。协会95 1304-1308·Zbl 1018.62050号 ·doi:10.2307/2669776
[21] George,E.I.和Foster,D.P.(2000)。校准和经验贝叶斯变量选择。生物特征87 731-747·Zbl 1029.62008号 ·doi:10.1093/biomet/87.4.731
[22] Ghosal,S.、Ghosh,J.K.和van der Vaart,A.W.(2000)。后验分布的收敛速度。安。统计师。28 500-531. ·Zbl 1105.62315号 ·doi:10.1214/aos/1016218228
[23] Griffin,J.E.和Brown,P.J.(2010)。回归问题中正态伽马先验分布的推断。贝叶斯分析。5 171-188. ·Zbl 1330.62128号 ·doi:10.1214/10-BA507
[24] Hans,C.(2009年)。贝叶斯套索回归。生物特征96 835-845·兹比尔1179.62038 ·doi:10.1093/biomet/asp047
[25] Hans,C.、Dobra,A.和West,M.(2007年)。霰弹枪随机搜索“大”回归。J.Amer。统计师。协会102 507-516·Zbl 1134.62398号 ·doi:10.1198/0162145000000121
[26] Ishwaran,H.和Rao,J.S.(2005年)。尖峰和平板变量选择:频繁和贝叶斯策略。安。统计师。33 730-773. ·Zbl 1068.62079号 ·doi:10.1214/009053604000001147
[27] Ji,C.和Schmidler,S.C.(2013)。用于贝叶斯变量选择的自适应马尔可夫链蒙特卡罗。J.计算。图表。统计师。22 708-728. ·doi:10.1080/10618600.2013.819178
[28] Johnstone,I.M.和Silverman,B.W.(2004)。干草堆中的针和稻草:可能稀疏序列的经验Bayes估计。安。统计师。32 1594-1649. ·Zbl 1047.62008年 ·数字对象标识代码:10.1214/00905360400000030
[29] Koltchinskii,V.、Lounici,K.和Tsybakov,A.B.(2011年)。噪声低秩矩阵补全的核形式惩罚和最优速率。安。统计师。39 2302-2329. ·Zbl 1231.62097号 ·doi:10.1214/11-AOS894
[30] Leung,G.和Barron,A.R.(2006年)。信息理论和混合最小二乘回归。IEEE传输。通知。理论52 3396-3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172
[31] Li,F.和Zhang,N.R.(2010年)。结构化高维协变量空间中的贝叶斯变量选择及其在基因组学中的应用。J.Amer。统计师。协会105 1202-1214·Zbl 1390.62027号 ·doi:10.1198/jasa.2010.tm08177
[32] Lounici,K.(2008)。Lasso和Dantzig估计的超形式收敛速度和符号集中性质。电子。《美国联邦法律大全》第2卷第90-102页·Zbl 1306.62155号 ·doi:10.1214/08-EJS177
[33] Martin,R.,Mess,R.和Walker,S.G.(2014)。稀疏高维线性模型中的经验Bayes后验浓度。可从获取。arXiv公司:1406.7718·Zbl 1302.62015年 ·doi:10.1214/14-EJS949
[34] Mitchell,T.J.和Beauchamp,J.J.(1988)。线性回归中的贝叶斯变量选择。J.Amer。统计师。协会83 1023-1036·Zbl 0673.62051号 ·doi:10.2307/2290129
[35] Richardson,S.、Bottolo,L.和Rosenthal,J.S.(2011年)。高维数据稀疏回归分析的贝叶斯模型。贝叶斯统计9 539-568。牛津大学出版社,牛津。 ·doi:10.1093/acprof:oso/9780199694587.003.0018
[36] Rigollet,P.和Tsybakov,A.(2011年)。稀疏估计的指数筛选和最优速率。安。统计师。39 731-771. ·兹比尔1215.62043 ·doi:10.1214/10-AOS854
[37] Rigollet,P.和Tsybakov,A.B.(2012年)。指数加权稀疏估计。统计师。科学。27 558-575. ·Zbl 1331.62351号 ·doi:10.1214/12-STS393
[38] Ročková,V.和George,E.I.(2014)。EMVS:贝叶斯变量选择的EM方法。J.Amer。统计师。协会109 828-846·Zbl 1367.62049号 ·doi:10.1080/01621459.2013.869223
[39] Schäfer,C.和Chopin,N.(2013年)。大型二进制采样空间上的序贯蒙特卡罗。统计计算。23 163-184. ·Zbl 1322.62035号 ·doi:10.1007/s11222-011-9299-z
[40] Schreck,A.、Fort,G.、Le Corff,S.和Moulines,E.(2013)。贝叶斯变量选择的收缩阈值Metropolis调整Langevin算法。可从获取。arXiv:1312.5658
[41] Scott,J.G.和Berger,J.O.(2010年)。变量选择问题中的贝叶斯和经验贝叶斯多重性调整。安。统计师。38 2587-2619. ·Zbl 1200.62020年 ·doi:10.1214/10-AOS792
[42] Shi,M.和Dunson,D.B.(2011年)。基于粒子随机搜索的贝叶斯变量选择。统计师。普罗巴伯。莱特。81 283-291. ·兹比尔1205.62029 ·doi:10.1016/j.spl.2010.10.011
[43] Stingo,F.C.和Vannucci,M.(2011年)。用马尔可夫随机场先验进行判别分析的变量选择,用于微阵列数据分析。生物信息学27 495-501。
[44] Tibshirani,R.(1996)。通过套索回归收缩和选择。J.R.统计社会服务。B.统计方法。58 267-288之间·Zbl 0850.62538号
[45] van de Geer,S.和Muro,A.(2014)。关于稀疏二次型的高阶各向同性条件和下界。电子。《美国法律总汇》第8卷第3031-3061页·Zbl 1308.62148号 ·doi:10.1214/15-EJS983
[46] van de Geer,S.A.和Bühlmann,P.(2009)。根据用于证明拉索预言结果的条件。电子。《美国联邦法律大全》第3卷第1360-1392页·Zbl 1327.62425号 ·doi:10.1214/09-EJS506
[47] You,C.、Ormerod,J.T.和Müller,S.(2014)。线性回归模型的变分Bayes估计和变分信息准则。澳大利亚。N.Z.J.统计56 73-87·Zbl 1334.62123号 ·doi:10.1111/anzs.12063
[48] Yuan,M.和Lin,Y.(2005)。线性模型中有效的经验贝叶斯变量选择和估计。J.Amer。统计师。协会100 1215-1225·Zbl 1117.62453号 ·doi:10.1198/0162145005000367
[49] Zhang,C.-H.(2010)。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[50] Zhang,C.-H.和Huang,J.(2008)。高维线性回归中LASSO选择的稀疏性和偏差。安。统计师。36 1567-1594. ·Zbl 1142.62044号 ·doi:10.1214/07-AOS520
[51] Zhao,P.和Yu,B.(2006)。关于拉索模型选择的一致性。J.马赫。学习。第7号决议2541-2563·Zbl 1222.62008年
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。