×

贝叶斯回归使用模型拟合的先验:R2-D2收缩先验。 (英语) Zbl 1507.62266号

摘要:高维线性回归的先前分布要求为未观察到的回归系数指定联合分布,这在本质上是很困难的。相反,我们提出了一类新的线性回归收缩先验,方法是在模型拟合上指定先验先验,特别是确定系数,然后以新的方式分布到系数。与之前的方法相比,该方法在原点附近的浓度和尾部行为方面都有优势,从而提高了后收缩性能和经验性能。提出的先验函数在原点和尾部的极限行为均为(1/x)。这种行为是最优的,因为它同时位于尾部和原点周围不适当先验的边界上。在这两个区域中,现有的收缩先验都没有同时获得此行为。我们还证明了我们提出的先验导致与尖峰-斜峰先验相同的近最小最大后收缩率。

MSC公司:

62J05型 线性回归;混合模型
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿玛根。;克莱德,M。;邓森,D.B.,高斯广义贝塔混合,神经信息处理系统进展,523-531(2011)
[2] 阿玛根。;邓森,D.B。;Lee,J.,“广义双帕累托收缩,中国统计,23,119(2013)·Zbl 1259.62061号
[3] Bai,R。;Ghosh,M.,“具有正态贝塔素数先验的大尺度多重假设检验,统计学,531210-1233(2019)·Zbl 1435.62267号
[4] Bhadra,A。;达塔,J。;新几内亚波尔森。;Willard,B.,“超解析信号的马蹄形+估计器”,贝叶斯分析,121105-1131(2017)·Zbl 1384.62079号
[5] 巴塔查里亚,A。;查克拉博蒂,A。;Mallick,B.,“高维回归中高斯尺度混合先验的快速采样,生物特征,103,985-991(2016)·doi:10.1093/biomet/asw042
[6] Bhattacharya,A。;帕蒂,D。;新南威尔士州皮莱。;Dunson,D.B.,“最佳收缩率的Dirichlet-Laplace先验,美国统计协会杂志,110,1479-1490(2015)·兹比尔1373.62368 ·doi:10.1080/01621459.2014.960967
[7] 宾厄姆,C.,“球面上的反足对称分布,统计年鉴,21201-225(1974)·Zbl 0297.62010
[8] 邦德尔·H·D。;Reich,B.J.,“通过惩罚可信区域进行一致的高维贝叶斯变量选择,美国统计协会杂志,107,1610-1624(2012)·Zbl 1258.62026号 ·doi:10.1080/01621459.2012.716344
[9] Brown,P.J。;Fearn,T。;Vannucci,M.,“曲线上的贝叶斯小波回归及其在光谱校准问题中的应用,美国统计协会杂志,96,398-408(2001)·Zbl 1022.62027
[10] Carbonetto,P。;Stephens,M.,“回归中贝叶斯变量选择的可缩放变量推断及其在遗传关联研究中的准确性,贝叶斯分析,773-107(2012)·Zbl 1330.62089号
[11] 卡瓦略,C.M。;新几内亚波尔森。;Scott,J.G.,73-80(2009年)
[12] “马蹄形稀疏信号估计器,生物统计学,97,465-480(2010)·Zbl 1406.62021号
[13] 卡斯蒂略,I。;施密特·希伯(Schmidt-Hieber),J。;van der Vaart,A.,“具有稀疏先验的贝叶斯线性回归,《统计年鉴》,1986-2018年第43期(2015年)·Zbl 1486.62197号
[14] 法莱泽,C.J。;Kypraios,T.,“宾厄姆分布、统计和计算的精确贝叶斯推断,26,349-360(2016)·Zbl 1342.62031号
[15] E.I.乔治。;McCulloch,R.E.,“通过吉布斯抽样进行变量选择,美国统计协会杂志,88,881-889(1993)
[16] Ghosh,J。;Ghattas,A.E.,“共线性下的贝叶斯变量选择,美国统计学家,69,165-173(2015)·Zbl 07671727号
[17] 格里芬,J.E。;Brown,P.J.,“回归问题中正态伽马先验分布的推断,贝叶斯分析,5171-188(2010)·Zbl 1330.62128号
[18] “稀疏回归建模的一些先验知识,贝叶斯分析,8691-702(2013)·Zbl 1329.62132号
[19] Haario,H。;Saksman,E。;Tamminen,J.,“自适应都市算法”,伯努利,7,223-242(2001)·Zbl 0989.65004号
[20] 汉斯,C。;多布拉,A。;West,M.,“用枪随机搜索‘大p’回归,美国统计协会杂志,102507-516(2007)·兹比尔1134.62398
[21] Ishwaran,H。;Rao,J.S.,“尖峰和板形变量选择:频繁性和贝叶斯策略”,《统计年鉴》,第33期,第730-773页(2005年)·Zbl 1068.62079号
[22] Johndrow,J。;奥伦斯坦,P。;Bhattacharya,A.,“马蹄形先验的可缩放近似MCMC算法”,《机器学习研究杂志》,21,1-61(2020)·Zbl 1499.62244号
[23] 约翰逊,N。;科茨,S。;Balakrishnan,N.,《连续单变量分布》,2(1995),纽约:威利出版社,纽约·Zbl 0821.62001号
[24] Kent,J.T.,“球体上的Fisher-Bingham分布,皇家统计学会期刊,B辑,44,71-80(1982)·Zbl 0485.62015.中
[25] Kent,J.T.、Ganeiber,A.M.和Mardia,K.V.(2013),“应用程序模拟定向数据分析中宾厄姆和相关分布的新方法”,arXiv编号1310.8110。
[26] Logsdon,B。;霍夫曼,G。;Mezey,J.,“快速准确多基因座全基因组关联分析的变分贝叶斯算法,BMC生物信息学,11,58(2010)·doi:10.1186/1471-2105-11-58
[27] 米切尔·T·J。;Beauchamp,J.J.,“线性回归中的贝叶斯变量选择,美国统计协会杂志,83,1023-1032(1988)·Zbl 0673.62051号
[28] 我·穆雷。;加赫拉马尼,Z。;麦凯,D.,359-366(2006),AUAI出版社
[29] Narisetty,N.N。;He,X.,“具有收缩和扩散先验的贝叶斯变量选择,统计年鉴,42,789-817(2014)·Zbl 1302.62158号
[30] 奥斯本,B.G。;Fearn,T。;Miller,A.R。;Douglas,S.,“近红外反射光谱法在饼干和饼干面团成分分析中的应用”,《食品与农业科学杂志》,35,99-105(1984)
[31] 新几内亚波尔森。;Scott,J.G.,“全球收缩,局部行动:稀疏贝叶斯正则化和预测”,贝叶斯统计,9501-538(2010)
[32] “局部收缩规则、Lévy过程和正则回归,皇家统计学会期刊,B辑,74287-311(2012)·Zbl 1411.62209号
[33] Raskutti,G。;Wainwright,M.J。;Yu,B.,“球上高维线性回归的最小最大估计率”,IEEE信息理论汇刊,576976-9994(2011)·Zbl 1365.62276号
[34] Ray,K.和Szabó,B.(2019),“稀疏先验高维线性回归的变分贝叶斯”,未出版手稿,arXiv编号1904.07150。
[35] 罗奇科娃,V。;George,E.I.,“EMVS:贝叶斯变量选择的EM方法,美国统计协会期刊,109,828-846(2014)·Zbl 1367.62049号
[36] “The Spike and Slab Lasso,《美国统计协会杂志》,113,431-444(2018)·Zbl 1398.62186号
[37] 斯科特·S·L。;Varian,H.R.,“用贝叶斯结构时间序列预测当前”,国际数学建模与数值优化杂志,5,4-23(2014)·Zbl 1302.62289号
[38] 塞沙德里,V。;科茨,S。;里德,C.B。;Banks,D.L.,《统计科学百科全书》,《哈尔芬定律》,302-306(1997),纽约:威利出版社,纽约·Zbl 0897.62001号
[39] Song,Q.和Liang,F.(2017),“高维回归的近似最优贝叶斯收缩”,arXiv编号1712.08964。
[40] Szakács,G。;Annereau,J.-P。;拉巴比迪,S。;美国Shankavaram。;Arciello,A。;Bussey,K.J。;Reinhold,W。;郭毅。;Kruh,G.D。;Reimers,M.,“预测药物敏感性和耐药性:分析癌细胞中的ABC转运蛋白基因,癌细胞,6,129-137(2004)·doi:10.1016/j.ccr.2004.06.026
[41] 范德帕斯,S.L。;Kleijn,B.J。;van der Vaart,A.W.,“马蹄形估计器:近黑色向量周围的后验浓度”,《电子统计杂志》,第8期,第2585-2618页(2014年)·Zbl 1309.62060号
[42] 范德帕斯,S。;Szabó,B。;van der Vaart,A.,“马蹄的自适应后收缩率,电子统计杂志,11,3196-3225(2017)·Zbl 1373.62140号
[43] “马蹄的不确定性量化”(含讨论),贝叶斯分析,1221-1274(2017)·Zbl 1384.62155号
[44] Zellner,A。;Siow,A.,“选定回归假设的后验概率比,Trabajos de Estadística y de Investigacionón Operativa,31585-603(1980)·兹比尔0457.62004
[45] Zhang,Y。;Bondell,H.D.,“利用Dirichlet-Laplace全局局部收缩先验通过惩罚可信区域进行变量选择,贝叶斯分析,13823-844(2018)·Zbl 1407.62272号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。