×
皮埃尔·拉图什;Pierre-Alexandre马泰;查尔斯·布维伦;朱利安·奇奎特

将放松EM算法与Occam剃刀相结合，用于高维回归中的贝叶斯变量选择。 （英语） Zbl 1334.62114号

《多元分析杂志》。 146, 177-190 (2016).
摘要：我们解决了高维线性回归的贝叶斯变量选择问题。我们考虑一个生成模型，该模型使用一个尖峰和标签状的先验分布，该先验分布是通过将一个确定的二元向量与一个随机高斯参数向量相乘而获得的，这将导致问题的稀疏性。这项工作的创意在于通过放松模型并使用基于EM算法的II型对数似然最大化来考虑推理。模型选择随后依靠奥卡姆剃刀和EM算法找到的模型路径来执行。本文报告了我们的spinyReg方法与最先进的高维变量选择算法（如套索、自适应套索、稳定性选择或spike-and-slab程序）之间的数值比较。在模拟和实际基准数据集上都获得了竞争变量选择结果和预测性能。还介绍了一个原始回归数据集，该数据集使用自行车共享系统数据预测巴黎奥赛博物馆的游客数量，说明了该方法的效率。实现本文提出的方法的R包spinyReg在CRAN上可用。

引用于3文件

MSC公司：

62J05型 线性回归；混合模型
2015年1月62日 贝叶斯推断
62-07 数据分析（统计）（MSC2010）
62甲12 多元分析中的估计
62H30型 分类和区分；聚类分析（统计方面）

关键词：

EM算法;高维数据;线性回归;奥卡姆剃刀;钉子和实验室;变量选择

软件：

R（右）;PDCO公司;CRAN（起重机）;LBFGS-B型;fda（右）;尖刺实验室;自旋Reg;博拉索;EMVS公司
PDF格式BibTeX公司 XML格式引用
\textit{P.Latouche}等人，《多元分析杂志》。146177-190（2016年；Zbl 1334.62114）
全文： 内政部

参考文献：

[1] Akaike，H.，《信息理论与最大似然原理的扩展》（Kiado.，Akademia；Petrov，B.N.；Csaki，F.，第二届信息理论国际研讨会（1973）），267-281·Zbl 0283.62006号
[2] 阿尔基尔，P。；Lounici，K.，指数权重稀疏回归估计的Pac-Bayesian界，Electron。J.Stat.，5127-145（2011）·Zbl 1274.62463号
[3] Celeux，G。；El Anbari，M。；马林·J·M。；Robert，C.，《回归中的正则化：在信息量不足的情况下比较贝叶斯方法和频率分析方法》，贝叶斯分析。，7, 2, 477-502 (2012) ·Zbl 1330.62284号
[4] Aneiros，G。；Vieu，P.，无限维问题中的变量选择，统计学。普罗巴伯。莱特。，94, 12-20 (2014) ·Zbl 1320.62163号
[5] Bach，F.，Bolasso:通过bootstrap进行模型一致性套索估计，（第25届机器学习国际会议论文集（2008），ACM），33-40
[6] 巴赫，F。；Jenatton，R。；Mairal，J。；Obozinski，G.，《发现稀疏诱导惩罚的优化》。趋势马赫数。学习。，4, 1, 1-106 (2012) ·Zbl 06064248号
[7] 巴拉加蒂，M。；Pommeret，D.，使用带岭参数的g-先验分布进行变量选择的研究，计算。统计师。数据分析。，56, 6, 1920-1934 (2012) ·Zbl 1368.62190号
[8] Bongiorno，E.G.公司。；Salinelli，E。；戈亚，A。；Vieu，P.，《无限维统计和相关主题的贡献》（2014），Societa Editrice Esculapio·Zbl 1377.62023号
[9] Bouveyron，C。；科特迪瓦。；Jacques，J.，《自行车共享系统对比分析的区分功能混合模型》，Ann.Appl。Stat.（2015），出版中·Zbl 1397.62511号
[10] 布雷曼，L。；Friedman，J.，《估计多元回归和相关性的最佳转换》，J.Amer。统计师。协会，803391580-598（1985年）·Zbl 0594.62044号
[11] 布尼亚，F。；Tsybakov，A。；Wegkamp，M.，《高斯回归的聚合》，《统计年鉴》。，35, 4, 1674-1697 (2007) ·Zbl 1209.62065号
[12] 伯德·R。；卢，P。；Nocedal，J。；Zhu，C.，边界约束优化的有限内存算法，J.Sci。统计计算。，16, 1190-1208 (1995) ·Zbl 0836.65080号
[14] 坎迪斯，E。；Tao，T.，Dantzig选择器：当p远大于n时的统计估计，Ann.Statist。，35, 6, 2313-2351 (2007) ·Zbl 1139.62019号
[15] 陈，S。；多诺霍，D。；桑德斯，M.，《基追踪的原子分解》，SIAM J.Sci。计算。，20, 33-61 (1998) ·Zbl 0919.94002号
[16] Dempster，A。；莱尔德，N。；Rubin，D.，《通过EM算法实现不完整数据的最大可能性》，J.R.Stat.Soc.Ser。B统计方法。，B39，1-38（1977）·Zbl 0364.62022号
[17] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，最小角回归，Ann.Statist。，32, 2, 407-499 (2004) ·Zbl 1091.62054号
[18] 范，J。；Lv，J.，超高维特征空间的确定独立筛选，J.R.Stat.Soc.Ser。B统计方法。，70, 5, 849-911 (2008) ·Zbl 1411.62187号
[19] 费拉蒂，F。；Vieu，P.，《非参数函数数据分析：理论与实践》（2006），Springer Science&Business Media·Zbl 1119.62046号
[20] 乔治·E。；Foster，D.，校准和经验贝叶斯变量选择，生物特征，87，4，731-747（2000）·Zbl 1029.62008号
[21] 乔治·E。；McCulloch，R.，《通过吉布斯抽样选择变量》，J.Amer。统计师。协会，88，423，881-889（1993）
[23] 盖恩，I。；Saffari，A。；Dror，G。；Cawley，G.，《模型选择：超越贝叶斯/频率划分》，J.Mach。学习。决议，11，61-87（2010年）·Zbl 1242.62008年
[24] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习：套索和泛化》（2015），CRC出版社·Zbl 1319.68003号
[25] 埃尔南德斯·洛巴托（Hernández-Lobato），D。；埃尔南德斯·洛巴托，J。；Dupont，P.，《使用期望传播进行贝叶斯群特征选择的广义尖峰和单峰先验》，J.Mach。学习。1891-1945年第14号决议（2013年）·Zbl 1318.62229号
[26] Ishwaran，H。；美国科加勒尔。；Rao，J.，spikeslab：使用尖峰和平板回归的预测和变量选择，R.J.，2，2（2010）
[27] Ishwaran，H。；Rao，J.，针对多组微阵列数据的Spike和slab基因选择，J.Amer。统计师。协会，100471764-780（2005）·Zbl 1117.62363号
[28] Ishwaran，H。；Rao，J.，Spike和slab变量选择：频率学家和贝叶斯策略，Ann.Statist。，730-773 (2005) ·Zbl 1068.62079号
[29] 约翰逊，V。；Rossell，D.，高维环境中的贝叶斯模型选择，J.Amer。统计师。协会，107，498，649-660（2012）·Zbl 1261.62024号
[30] Kass，R。；Raftery，A.，Bayes factors，J.Amer。统计师。协会，90，430，773-795（1995）·Zbl 0846.62028号
[31] 克莱默，N。；谢弗，J。；Boulesteix，A.-L.，使用高斯图形模型对大规模基因调控网络进行正则化估计，BMC Bioninform。，10, 384 (2009)
[32] 梁，F。；保罗，R。；莫利纳，G。；克莱德，M。；Berger，J.，Bayesian变量选择的g-priors混合，J.Amer。统计师。协会，103481（2008）·Zbl 1335.62026号
[33] 麦凯，D.，处理超参数的近似方法比较，神经计算。，11, 5, 1035-1068 (1999)
[34] 麦凯博士，《信息理论、推理和学习算法》（2003），剑桥大学出版社·Zbl 1055.94001号
[35] 麦克拉克伦，G。；Krishnan，T.，《EM算法和扩展》（2008），John Wiley&Sons：John Willey&Sons纽约·Zbl 1165.62019号
[36] 明绍森，N。；Bühlmann，P.，稳定性选择，J.R.Stat.Soc.Ser。B统计方法。，27 (2010)
[37] 米切尔，T。；Beauchamp，J.，线性回归中的贝叶斯变量选择（含讨论），J.Amer。统计师。协会，83，1023-1036（1988）·Zbl 0673.62051号
[38] Narisetty，N。；He，X.，具有收缩和扩散先验的贝叶斯变量选择，Ann.Statist。，42, 2, 789-817 (2014) ·Zbl 1302.62158号
[39] Natarajan，B.，线性系统的稀疏近似解，SIAM J.Compute。，24, 2, 227-234 (1995) ·兹伯利0827.68054
[40] 奥哈拉，R。；Sillanpää，M.，《贝叶斯变量选择方法综述：什么、如何以及是什么，贝叶斯分析》。，4, 1, 85-117 (2009) ·Zbl 1330.62291号
[41] Petrone，S.公司。；卢梭，J。；Scricciolo，C.，贝叶斯和经验贝叶斯：它们合并了吗？，生物特征（2014）·兹比尔1452.62148
[42] Pötscher，B。；Leeb，H.，《关于惩罚最大似然估计量的分布：套索、scad和阈值法》，《多元分析杂志》。，100, 9, 2065-2082 (2009) ·Zbl 1170.62046号
[43] Njato Randriamanamihaga，A。；科特迪瓦，E。；Oukhellou，L。；Govaert，G.，使用泊松混合模型族聚类vélib的动态源/目的地流，神经计算（2014）
[44] Rigollet，P。；Tsybakov，A.，指数筛选和稀疏估计的最佳速率，Ann.Statist。，39, 2, 731-771 (2011) ·Zbl 1215.62043号
[45] 罗伯特·C。；Casella，G.，《蒙特卡罗统计方法》，第319卷（2004年），施普林格出版社·Zbl 1096.62003年
[46] 罗奇科娃，V。；George，E.I.，EMVS:贝叶斯变量选择的EM方法，J.Amer。统计师。协会，109506828-846（2014）·Zbl 1367.62049号
[47] Scheetz，T。；Kim，K.-Y。；斯威德斯基，R。；Phillp，A。；Braun，T。；Knudtson，K。；Dorrance，A。；DiBona，G。；黄，J。；Casavant，T.，哺乳动物眼睛中基因表达的调节及其与眼病的相关性，Proc。国家。阿卡德。科学。，103, 39, 14429-14434 (2006)
[48] 斯科特·J。；Berger，J.，《变量选择问题中的贝叶斯和经验贝叶斯多重性调整》，《统计年鉴》。，38, 5, 2587-2619 (2010) ·Zbl 1200.62020年
[49] 西尔弗曼，B。；Ramsay，J.，功能数据分析（2005），Springer·Zbl 1079.62006号
[50] Skeggs，T.，《2013年特别报道，游客数据》，《艺术报》，23256（2014）
[51] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B统计方法。，58, 1, 267-288 (1996) ·Zbl 0850.62538号
[52] Tipping，M.，稀疏贝叶斯学习和相关向量机，J.Mach。学习。第1211-244号决议（2001年）·Zbl 0997.68109号
[53] 维普夫·D。；Nagarajan，S.，《自动相关性确定的新观点》，高级神经信息处理。系统。，1625-1632 (2008)
[54] Wu，C.，关于EM算法的收敛性，Ann.Statist。，95-103 (1983) ·Zbl 0517.62035号
[55] 徐，L。；Jordan，M.，关于高斯混合的EM算法的收敛性，神经计算。，1129-151（1996年）
[56] Yen，T.-J.，使用尖峰和平谷先验的变量选择优化方法，《统计年鉴》。，1748-1775 (2011) ·Zbl 1220.62065号
[57] Yengo，L。；雅克，J。；Biernacki，C.，《高维线性回归模型中的变量聚类》，J.Soc.Fr.Stat.，155，2，38-56（2014）·Zbl 1316.62104号
[58] 赵，P。；Yu，B.，关于套索的模型选择一致性，J.Mach。学习。第72541-2563号决议（2006年）·Zbl 1222.62008年
[59] Zou，H.，《自适应套索及其预言属性》，J.Amer。统计师。协会，101，476，1418-1429（2006）·Zbl 1171.62326号
[60] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，J.R.Stat.Soc.Ser。B统计方法。，67, 2, 301-320 (2005) ·兹比尔1069.62054
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。