×

关于高维贝叶斯回归模型中尺度参数的贝塔素数先验。 (英语) Zbl 1470.62103号

摘要:我们研究了一个高维贝叶斯线性回归模型,其中尺度参数遵循一般贝塔素数分布。在稀疏性假设下,我们证明了在β素数先验中适当选择超参数会导致当(p\ggn)时的(近)极小极大后验收缩率。对于有限样本,我们提出了一种基于边际最大似然(MML)的数据自适应超参数估计方法。这使得我们的先验能够适应稀疏和稠密设置,并且在我们提出的经验贝叶斯程序下,MML估计永远不会崩溃为零。我们为我们的模型推导了一个有效的蒙特卡罗期望最大化(EM)和变分EM算法,可在包裹普通BetaPrime对基因表达数据集的模拟和分析表明,我们的模型对不同程度的稀疏性和信号强度具有自适应性。

MSC公司:

62J05型 线性回归;混合模型
2015年1月62日 贝叶斯推断
62页第10页 统计学在生物学和医学中的应用;元分析
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Armagan,A.、Clyde,M.和Dunson,D.B.(2011年)。高斯广义β混合物。神经信息处理系统进展24,523-531。
[2] Armagan,A.、Clyde,M.和Dunson,D.B.(2013年)。广义双帕累托收缩率。中国统计23,119-143·Zbl 1259.62061号
[3] Bai,R.和Ghosh,M.(2019年)。正态beta素数先验的大尺度多重假设检验。统计53,1210-1233·Zbl 1435.62267号
[4] Bhattacharya,A.、Chakraborty,A.和Mallick,B.K.(2016)。高维回归中高斯混合先验的快速采样。生物特征103,985-991。
[5] Bhattacharya,A.、Pati,D.、Pillai,N.S.和Dunson,D.B.(2015)。Dirichlet-Laplace优先考虑最佳收缩。《美国统计协会杂志》110,1479-1490·Zbl 1373.62368号
[6] Carvalho,C.M.、Polson,N.G.和Scott,J.G.(2009年)。通过马蹄铁处理稀疏。第十二届国际人工智能与统计会议论文集,PMLR 5,73-80。
[7] Carvalho,C.M.、Polson,N.G.和Scott,J.G.(2010年)。稀疏信号的马蹄形估计器。生物特征97,465-480·Zbl 1406.62021号
[8] Casella,G.(2001年)。经验贝叶斯-吉布斯抽样。生物统计学2485-500·兹比尔1097.62505
[9] Castillo,I.、Schmidt-Hieber,J.和van der Vaart,A.(2015)。稀疏先验贝叶斯线性回归。《统计年鉴》第43期,1986-2018年·Zbl 1486.62197号
[10] Datta,J.和Ghosh,J.K.(2013)。马蹄形先验贝叶斯风险的渐近性质。贝叶斯分析8111-132·Zbl 1329.62122号
[11] Dobriban,E.和Fan,J.(2016)。稀疏回归的正则性。数学与统计传播4,1-19·Zbl 1341.62212号
[12] Fan,J.和Li,R.(2001)。通过非冲突惩罚似然及其oracle属性进行变量选择。《美国统计协会杂志》96,1348-1360·Zbl 1073.62547号
[13] Friedman,J.、Hastie,T.和Tibshirani,R.(2010)。广义线性模型的坐标下降正则化路径。《统计软件杂志》33,1-22。
[14] George,E.和Foster,D.P.(2000年)。校准和经验贝叶斯变量选择。生物特征87,731-747·Zbl 1029.62008号
[15] Ghosal,S.、Ghosh,J.K.和van der Vaart,A.W.(2000)。后验分布的收敛速度。统计年鉴28500-531·兹比尔1105.62315
[16] Griffin,J.E.和Brown,P.J.(2010)。回归问题中正态伽马先验分布的推断。贝叶斯分析5171-188·Zbl 1330.62128号
[17] Hahn,P.R.和Carvalho,C.M.(2015)。贝叶斯线性模型中的解耦收缩和选择:后验总结视角。美国统计协会杂志110,435-448·Zbl 1373.62036号
[18] Johndrow,J.、Orenstein,P.和Bhattacharya,A.(2020年)。马蹄形先验的可缩放近似MCMC算法。机器学习研究杂志21,1-61·Zbl 1499.62244号
[19] Johnson,V.E.和Rossell,D.(2012年)。高维环境中的贝叶斯模型选择。美国统计协会杂志107,649-660·Zbl 1261.62024号
[20] Johnstone,I.M.和Silverman,B.W.(2004)。干草堆中的针和稻草:可能稀疏序列的经验Bayes估计。《统计年鉴》32,1594-1649·兹比尔1047.62008
[21] Leday,G.G.R.、de Gunst,M.C.M.、Kpogbezan,G.B.、van der Vaart,A.W.、van Wieringen,W.N.和van de Wiel,M.A.(2017)。使用全局局部收缩先验重建基因网络。应用统计年鉴11,41-68·Zbl 1366.62227号
[22] Martin,R.,Mess,R.和Walker,S.G.(2017年)。稀疏高维线性模型中的经验Bayes后验浓度。伯努利231822-1847·Zbl 1450.62085号
[23] Narisetty,N.N.和He,X.(2014)。具有收缩和扩散先验的贝叶斯变量选择。《统计年鉴》42789-817·Zbl 1302.62158号
[24] Park,T.和Casella,G.(2008)。贝叶斯拉索。《美国统计协会杂志》103,681-686·兹比尔1330.62292
[25] 佩雷斯,M.-E.,佩里奇,L.R.和拉米雷斯,I.C.(2017)。标度beta2分布作为标度的稳健先验。贝叶斯分析12615-637·Zbl 1384.62048号
[26] Polson,N.G.和Scott,J.G.(2010年)。全球收缩,局部行动:稀疏贝叶斯正则化和预测。贝叶斯统计9,501-538。
[27] Polson,N.G.和Scott,J.G.(2012年)。关于全局尺度参数的半柯西先验。贝叶斯分析7887-902·Zbl 1330.62148号
[28] Raskutti,G.、Wainwright,M.J.和Yu,B.(2011年)。q球上高维线性回归的最小极大估计率。IEEE信息理论汇刊57,6976-6994·Zbl 1365.62276号
[29] Rocková,V.和George,E.I.(2018年)。尖刺拉索。《美国统计协会杂志》113,431-444·Zbl 1398.62186号
[30] Rossell,D.和Telesca,D.(2017年)。高维估计的非局部先验。《美国统计协会杂志》112,254-265。
[31] Rousseau,J.和Szabó,B.(2017)。与最大边际似然估计相关的经验Bayes后验函数的渐近行为。《统计年鉴》45,833-865·Zbl 1371.62048号
[32] Scheetz,T.E.、Kim,K.-Y.A.、Swiderski,R.E.、Philp,A.R.、Braun,T.A.、Kudtson,K.L.、Dorrance,A.M.、DiBona,G.F.、Huang,J.、Casavant,T.L.、Sheffield,V.C.和Stone,E.M.(2006)。哺乳动物眼睛中基因表达的调节及其与眼病的相关性。《美国国家科学院院刊》103,14429-14434。
[33] Scott,J.G.和Berger,J.O.(2010年)。变量选择问题中的贝叶斯和经验贝叶斯多重性调整。《统计年鉴》38,2587-2619·Zbl 1200.62020年
[34] Shin,M.、Bhattacharya,A.和Johnson,V.E.(2018年)。超高维设置中使用非局部先验密度的可缩放贝叶斯变量选择。中国统计局281053-1078·Zbl 1390.62125号
[35] Song,Q.和Liang,F.(2017)。高维回归的近似最优贝叶斯收缩。ArXiv预打印ArXiv:1712.08964。
[36] Sparks,D.K.、Khare,K.和Ghosh,M.(2015)。g-priors下高维后验一致性的充要条件。贝叶斯分析10627-664·Zbl 1335.62066号
[37] Spiegelhalter,D.J.、Best,N.G.、Carlin,B.P.和van der Linde,A.(2002)。模型复杂性和拟合的贝叶斯度量。《皇家统计学会杂志:B辑(统计方法)》64,583-639·Zbl 1067.62010年
[38] Tiao,G.C.和Tan,W.Y.(1965年)。贝叶斯分析中随机效应模型的方差分析。I.方差分量的后验分布。生物特征52、37-54·Zbl 0144.42204号
[39] Tibshirani,R.(1996)。通过拉索回归收缩和选择。英国皇家统计学会杂志:B辑(统计方法)58,267-288·Zbl 0850.62538号
[40] van der Pas,S.、Salomond,J.-B.和Schmidt-Hieber,J.(2016)。稀疏正态均值问题的后验压缩条件。电子统计杂志10,976-1000·Zbl 1343.62012年
[41] van der Pas,S.、Szabó,B.和van der Vaart,A.(2017年)。马蹄铁的自适应后收缩率。《电子统计杂志》11,3196-3225·Zbl 1373.62140号
[42] Yang,Y.,Wainwright,M.J.和Jordan,M.I.(2016)。关于高维贝叶斯变量选择的计算复杂性。《统计年鉴》44,2497-2532·Zbl 1359.62088号
[43] Zhang,C.-H.(2010)。极小极大凹惩罚下的几乎无偏变量选择。《统计年鉴》38,894-942·Zbl 1183.62120号
[44] 邹华(2006)。自适应Lasso及其oracle属性。美国统计协会期刊101,1418-1429·Zbl 1171.62326号
[45] Zou,H.和Hastie,T.(2005)。通过弹性网进行规则化和变量选择。英国皇家统计学会杂志:B辑(统计方法)67,301-320。雷·白·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。