×

Skinny Gibbs:用于模型选择的一致且可扩展的Gibbs采样器。 (英语) Zbl 1428.62116号

摘要:我们考虑了高斯尖峰和平板先验下高维贝叶斯模型选择的计算和统计问题。为了避免标准Gibbs采样器中需要进行大量的矩阵计算,我们提出了一种新型Gibbs取样器,称为“Skinny Gibbs”,它在内存和计算效率方面对高维问题具有更大的可扩展性。特别是,它的计算复杂度仅在预测因子数量(p,)中线性增长,同时即使(p)远大于样本量(n),也保持了强模型选择一致性的特性。由于逻辑回归作为广义线性模型的一个代表性成员具有广泛的适用性,因此本文重点讨论它。通过仿真研究,我们将我们提出的方法与几种主要的变量选择方法进行了比较,结果表明Skinny Gibbs具有我们的理论工作所表明的强大性能。

理学硕士:

2015年1月62日 贝叶斯推断
62J12型 广义线性模型(逻辑模型)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 艾伯特·J·H。;Chib,S.,二元和多光子响应数据的贝叶斯分析,美国统计协会杂志,88,669-679(1993)·Zbl 0774.62031号
[2] Barbieri,M.M。;Berger,J.O.,最佳预测模型选择,《统计年鉴》,32870-897(2004)·Zbl 1092.62033号
[3] Bhattacharya,A。;Chakraborty,A。;Mallick,B.,《高维回归中高斯尺度混合先验的快速采样》,生物特征分析,103,985-991(2016)
[4] Bhattacharya,A。;帕蒂,D。;新南威尔士州皮莱。;Dunson,D.B.,Dirichlet Laplace最优收缩率先验,美国统计协会杂志,110,1479-1490(2015)·兹比尔1373.62368
[5] Bondell,医学博士。;Reich,B.J.,通过惩罚可信区域进行一致的高维贝叶斯变量选择,美国统计协会杂志,1071610-1624(2012)·Zbl 1258.62026号
[6] Breheny,P。;Huang,J.,非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用,应用统计学年鉴,5232-253(2011)·Zbl 1220.62095号
[7] Bühlmann,P.和van de Geer,S.(2011),高维数据统计,柏林,海德堡:施普林格-弗拉格出版社·Zbl 1273.62015年
[8] Carbonetto,P。;Stephens,M.,回归中贝叶斯变量选择的可缩放变量推断及其在遗传关联研究中的准确性,贝叶斯分析,773-108(2012)·Zbl 1330.62089号
[9] 卡斯蒂略,I。;Van Der Vaart,A.,《干草堆中的针和稻草:可能稀疏序列的后向浓度》,《统计年鉴》,第40期,2069-2101页(2012年)·兹比尔1257.62025
[10] 陈,J。;Chen,Z.,《小n大P稀疏GLM的扩展BIC》,《中国统计》,第22期,第555-574页(2012年)·兹比尔1238.62080
[11] Chen,M.H。;黄,L。;易卜拉欣,J.G。;Kim,S.,带共轭先验的广义线性模型的贝叶斯变量选择和计算,贝叶斯分析,3585-614(2008)·Zbl 1330.62298号
[12] 范,J。;Li,R.,《基于非关联惩罚可能性的变量选择及其Oracle属性》,美国统计协会杂志,96,1348-1360(2001)·Zbl 1073.62547号
[13] 范,J。;Peng,H.,参数个数不同的非冲突惩罚似然,《统计年鉴》,32928-961(2004)·Zbl 1092.62031号
[14] Friedman,J.H.、Hastie,T.和Tibshirani,R.(2008),“通过坐标下降的广义线性模型的正则化路径”统计软件杂志, 33, 1-22.
[15] Gelman,A。;雅库林,A。;Pittau,M。;Su,Y.,Logistic和其他回归模型的弱信息缺省先验分布,应用统计年鉴,41360-1383(2008)·Zbl 1156.62017年
[16] E.I.乔治。;Mcculloch,R.E.,《通过吉布斯抽样进行变量选择》,美国统计协会杂志,88,881-889(1993)
[17] Geweke,J.(1996),“回归中的变量选择和模型比较”,in贝叶斯统计学J.M.Bernardo、J.O.Berger、A.P.Dawid和A.F.M.Smith编辑,牛津:牛津大学出版社,第609-620页·Zbl 0324.62004号
[18] 关,Y。;Stephens,M.,《全基因组关联研究和其他大规模问题的贝叶斯变量选择回归》,《应用统计学年鉴》,51780-1815(2011)·Zbl 1229.62145号
[19] 汉斯,C。;多布拉,A。;West,M.,霰弹枪随机搜索“大型第页“回归,美国统计协会杂志,102507-516(2007)·Zbl 1134.62398号
[20] C.C.福尔摩斯。;Held,L.,二元和多项式回归的贝叶斯辅助变量模型,贝叶斯分析,1145-168(2006)·Zbl 1331.62142号
[21] 黄,J。;Zhang,C.H.,通过绝对惩罚凸极小化的估计和选择及其多阶段自适应应用,机器学习研究杂志,13,1839-1864(2012)·Zbl 1435.62091号
[22] 伊迈,Y。;帕特尔,H.R。;新墨西哥州多利巴。;马特辛斯基,F.M。;托拜厄斯,J.W。;Ahima,R.S.,饮食诱导肥胖小鼠胰岛基因表达分析,生理基因组学,36,43-51(2008)
[23] Ishwaran,H。;Rao,J.S.,《尖峰和板形变量选择:频繁性和贝叶斯策略》,《统计年鉴》,第33期,第730-773页(2005年)·Zbl 1068.62079号
[24] 约翰逊,V.E。;Rossell,D.,《高维环境下的贝叶斯模型选择》,《美国统计协会杂志》,107649-660(2012)·Zbl 1261.62024号
[25] 兰·H。;陈,M。;弗劳尔斯,J.B。;Yandell,B.S。;斯台普顿,D.S。;马塔,C.M。;梅,E.T。;Flowers,麻省理工学院。;舒勒,K.L。;曼利,K.F。;威廉姆斯,R.W。;Kendziorski,K。;Attie,A.D.,联合表达性状相关性和表达定量性状位点定位,公共科学图书馆遗传学,2,e6(2006)
[26] 梁,F。;刘,C。;Carroll,R.,蒙特卡洛计算中的随机逼近,美国统计协会杂志,102305-320(2007)·Zbl 1226.65002号
[27] 梁,F。;宋,Q。;Yu,K.,高维广义线性模型的贝叶斯子集建模,美国统计协会杂志,108,589-606(2013)·Zbl 06195963号
[28] Narisetty,N.N。;He,X.,具有收缩和扩散先验的贝叶斯变量选择,《统计年鉴》,42,789-817(2014)·Zbl 1302.62158号
[29] O'Brien,S.M。;邓森,D.B.,贝叶斯多元Logistic回归,生物统计学,60739-746(2004)·Zbl 1274.62375号
[30] 帕克,T。;Casella,G.,贝叶斯LASSO,《美国统计协会杂志》,103,681-686(2008)·Zbl 1330.62292号
[31] Polson,N。;斯科特·J·G。;Windle,J.,使用Pólya Gamma潜在变量的Logistic模型的贝叶斯推断,美国统计协会杂志,1081339-1349(2013)·Zbl 1283.62055号
[32] Ročková,V。;George,E.I.,EMVS:贝叶斯变量选择的EM方法,美国统计协会杂志,109,828-846(2014)·Zbl 1367.62049号
[33] 斯科特·G。;Berger,J.,《变量选择问题中的贝叶斯和经验贝叶斯多重性调整》,《统计年鉴》,38,2587-2619(2010)·Zbl 1200.62020年
[34] 沈,X。;潘·W。;Zhu,Y.,基于似然的选择和尖锐参数估计,美国统计协会杂志,107,223-232(2012)·Zbl 1261.62020年
[35] Stefanski,L.A.,Logistic分布、统计和概率字母的正态混合表示法,11,69-70(1991)·Zbl 0712.62010号
[36] Tibshirani,R.(1996),“通过套索进行回归收缩和选择”英国皇家统计学会杂志,B系列,58,267-288·Zbl 0850.62538号
[37] Geer,S.A.,《高维广义线性模型和拉索》,《统计年鉴》,36614-645(2008)·Zbl 1138.62323号
[38] 温德尔,A.A。;Li,L.O。;克莱恩,G.W。;舒尔曼,G.I。;Coleman,R.A.,《ob/ob小鼠甘油-3-磷酸酰基转移酶1缺乏可减轻肝脏脂肪变性但不能防止胰岛素抵抗或肥胖》,《糖尿病》,59,1321-1329(2010)
[39] Zhang,C.H.,Minimax凹形惩罚下的几乎无偏变量选择,《统计年鉴》,38894-942(2010)·兹比尔1183.62120
[40] 赵,P。;Yu,B.,关于Lasso的模型选择一致性,线性模型中的有效经验Bayes变量选择和估计,72541-2563(2006)·Zbl 1222.62008年
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不声称其完整性或完全匹配。