宋启凡;梁法明 高维回归的近似最优贝叶斯收缩。 （英语） Zbl 07649255号 科学。中国，数学。 66，编号2，409-442（2023）. 摘要：在过去十年中，收缩先验在高维数据的贝叶斯分析中受到了广泛关注。本文建立了具有一类收缩先验函数的高维线性回归的后验一致性，该收缩先验向量具有沉重而平坦的尾部，并且在非常小的零邻域中分配了足够大的概率质量。在后验模拟中，收缩先验可以获得近似最优的后验收缩率，并且与尖峰和斜峰先验一样具有可变的选择一致性。数值结果表明，在后验一致性条件下，贝叶斯方法在变量选择方面比LASSO和SCAD等正则化方法有更好的结果。本文还建立了BvM型结果，为回归系数估计的不确定性量化提供了一种方便的方法。 引用于9文件 MSC公司： 62J07型 岭回归；收缩估计器（拉索） 2015年1月62日 贝叶斯推断 关键词：贝叶斯变量选择;绝对连续收缩;沉重的尾巴;后部一致性;高维推理 软件：cov测试;格尔姆奈特 PDF格式BibTeX公司 XML格式引用 \textit{Q.Song}和\textit{F.Liang}，科学。中国，数学。66，编号2，409--442（2023；Zbl 07649255） 全文： 内政部 arXiv公司 参考文献： [1] 阿玛根。；邓森，D.B。；Clyde，M.，广义高斯β混合物，高级神经信息处理系统，24523-531（2011） [2] 阿玛根。；邓森，D.B。；Lee，J.，《广义双帕累托收缩》，中国统计局，23，119-143（2013）·Zbl 1259.62061号 [3] 阿玛根，A。；邓森，D.B。；Lee，J.，收缩前期线性模型的后验一致性，Biometrika，1001011-1018（2013）·Zbl 1279.62139号 ·doi:10.1093/biomet/ast028 [4] Bai，R。；Ghosh，M.，《关于高维贝叶斯回归模型中尺度参数的贝塔素数先验》，统计Sinica，31843-865（2021）·Zbl 1470.62103号 [5] Barron，A.R.，《贝叶斯性能的信息论表征和参数和非参数问题中先验值的选择》，27-52（1999），牛津：克拉伦登出版社，牛津·Zbl 0974.62020号 [6] Belitser，E。；Ghosal，S.，回归的经验贝叶斯预言不确定性量化，Ann Statist，483113-1337（2020）·Zbl 1461.62120号 ·doi:10.1214/19-AOS1845 [7] 巴德拉，A。；Datta，J。；Li，Y.，马蹄回归的预测风险，J Mach Learn Res，20，1-39（2019）·Zbl 1489.62196号 [8] Bhattacharya，A。；帕蒂，D。；Pillai，N.S.，Dirichlet-Laplace优化收缩的先验，J Amer Statist Assoc，110，1479-1490（2015）·Zbl 1373.62368号 ·doi:10.1080/01621459.2014.960967 [9] Bontemps，D.，关于回归变量数量增加的高斯回归的Bernstein-von Mises定理，Ann Statist，39，2557-2584（2011）·兹比尔1231.62061 ·doi:10.1214/11-AOS912 [10] 布雷尼，P。；Huang，J.，非凸惩罚回归的坐标下降算法，及其在生物特征选择中的应用，Ann Appl Stat，5232-253（2011）·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388 [11] 卡瓦略，C.M。；新几内亚波尔森。；Scott，J.G.，《稀疏信号的马蹄形估计器》，Biometrika，97，465-480（2010）·Zbl 1406.62021号 ·doi:10.1093/biomet/asq017 [12] 卡斯蒂略，I。；施密特·希伯（Schmidt-Hieber），J。；van der Vaart，A.，具有稀疏先验的贝叶斯线性回归，Ann Statist，431986-2018（2015）·Zbl 1486.62197号 ·doi:10.1214/15-AOS1334 [13] 卡斯蒂略，I。；van der Vaart，A.，《干草堆中的针和稻草：可能稀疏序列的后向浓度》，《Ann Statist》，第40期，2069-2101页（2012年）·Zbl 1257.62025号 ·doi:10.1214/12-AOS1029 [14] Chen，J.H。；Chen，Z.H.，大模型空间模型选择的扩展贝叶斯信息准则，生物特征，95759-771（2008）·Zbl 1437.62415号 ·doi:10.1093/biomet/asn034 [15] Chen，T.Q。；福克斯·E·B。；Guestrin，C.，随机梯度哈密尔顿蒙特卡罗，J Mach Learn Res，15，1683-1691（2014） [16] 蒋，A.P。；贝克，J.S。；Yen，H.J.，利用SNP阵列进行纯合度映射，将E3泛素连接酶TRIM32识别为Bardet-Biedl综合征基因（BBS11），美国国家科学院院刊，103，6287-6292（2006）·doi:10.1073/pnas.0600158103 [17] Dezeure，R。；Bühlmann，P。；Meier，L.，《高维推断：置信区间、p值和R软件hdi》，《统计科学》，第30期，第533-558页（2015年）·Zbl 1426.62183号 ·doi:10.1214/15-STS527 [18] Duane，S。；A.D.肯尼迪。；彭德尔顿，B.J.，《混合蒙特卡罗》，《物理快报》B，195，216-222（1987）·doi:10.1016/0370-2693（87）91197-X [19] Efron，B.，《大尺度同时假设检验：无效假设的选择》，J Amer Statist Assoc，99，96-104（2004）·Zbl 1089.62502号 ·doi:10.1198/0162145000000089 [20] 范建清。；Li，R.Z.，通过非一致惩罚似然进行变量选择及其预言性质，J Amer Statist Assoc，96，1348-1360（2001）·兹比尔1073.62547 ·doi:10.1198/016214501753382273 [21] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，通过坐标下降的广义线性模型的正则化路径，J Statist Softw，33，1-22（2010）·doi:10.18637/jss.v033.i01 [22] 高，C。；艾达·W。；van der Vaart，A.W.，贝叶斯结构线性模型的一般框架，Ann Statist，482848-2878（2020）·Zbl 1471.62241号 ·doi:10.1214/19-AOS1909 [23] E.I.乔治。；McCulloch，R.E.，《通过吉布斯抽样选择变量》，J Amer Statist Assoc，88，881-889（1993）·doi:10.1080/01621459.1993.10476353 [24] Ghosal，S.，高维线性模型中后验分布的渐近正态性，Bernoulli，5315-331（1999）·Zbl 0948.62007号 ·doi:10.2307/3318438 [25] Ghosal，S。；Ghosh，J.K。；van der Vaart，A.W.，后验分布的收敛率，《统计年鉴》，第28期，第500-531页（2000年）·Zbl 1105.62315号 ·doi:10.1214/aos/1016218228 [26] 戈萨尔，S。；van der Vaart，A.W.，非理想观测的后验分布收敛率，Ann Statist，35192-223（2007）·Zbl 1114.62060号 ·doi:10.1214/009053606000001172 [27] Ghosh P，Chakrabarti A.关于近黑向量的一般收缩先验的后验浓度特性。arXiv:1412.81612014年 [28] Girolma，M。；Galderhead，B.，Riemann流形Langevin和Hamilton Monte Carlo方法，J R Stat Soc Ser B Stat Methodol，73，123-214（2011）·Zbl 1411.62071号 ·文件编号：10.1111/j.1467-9868.2010.00765.x [29] 格里芬，J.E。；Brown，P.J.，Bayesian hyper-Lassos with non-凸惩罚，Aust N Z J Stat，53，423-442（2011）·Zbl 1335.62047号 ·doi:10.1111/j.1467-842X.2011.00641.x [30] 格里芬，J.E。；Brown，P.J.，《结构收缩：回归的一些相关先验》，Biometrika，99，481-487（2012）·Zbl 1239.62084号 ·doi:10.1093/biomet/asr082 [31] 哈恩，P.R。；Carvalho，C.M.，《贝叶斯线性模型中的解耦收缩和选择：后验总结视角》，J Amer Statist Assoc，110，435-448（2015）·Zbl 1373.62036号 ·doi:10.1080/01621459.2014.993077 [32] Hans，C.，贝叶斯套索回归，生物统计学，96835-845（2009）·Zbl 1179.62038号 ·doi:10.1093/biomet/asp047 [33] Inglot，T.，齐方分布分位数不等式，概率统计，30339-351（2010）·兹比尔1231.62092 [34] Ishwaran，H。；Rao，J.S.，Spike and slab variable selection:Frequencist and Bayesian strategies，Ann Statist，33730-7773（2005），尖峰和板变量选择：频率学家和贝叶斯策略，Ann Statist，33730-7773（2005）·Zbl 1068.62079号 ·doi:10.1214/009053604000001147 [35] 蒋伟新，高维广义线性模型的贝叶斯变量选择：拟合密度的收敛速度，安统计量，351487-1511（2007）·Zbl 1123.62026号 ·doi:10.1214/00905360000000019 [36] 约翰逊，V.E。；Rossel，D.，高维环境中的贝叶斯模型选择，J Amer Statist Assoc，107，649-660（2012）·Zbl 1261.62024号 ·doi:10.1080/01621459.2012.682536 [37] Kleijn，B.J K。；van der Vaart，A.W.，《无限维贝叶斯统计中的错误规范》，《统计年鉴》，34837-877（2006）·Zbl 1095.62031号 ·doi:10.1214/00905360000000029 [38] Li，H.N。；Pati，D.，《使用收缩率优先选择变量》，《计算统计数据分析》，107，107-119（2017）·Zbl 1466.62135号 ·doi:10.1016/j.csda.2016.10.008 [39] 李晓刚。；Zhao，T。；Yuan，X.M.，R中高维线性回归和精确矩阵估计的flare包，J Mach Learn Res，16553-557（2015）·Zbl 1337.62007号 [40] Liang，F.M。；宋，Q.F。；Yu，K.，高维广义线性模型的贝叶斯子集建模，J Amer Statist Assoc，108，589-606（2013）·Zbl 06195963号 ·doi:10.1080/01621459.2012.761942 [41] Liang，F.M。；Zhang，J.，使用随机近似算法估计错误发现率，Biometrika，95961-977（2008）·Zbl 1437.62525号 ·doi:10.1093/biomet/asn036 [42] 罗克哈特。；泰勒，J。；Tibshirani，R.J.，《拉索的显著性检验》，Ann Statist，42，413-468（2014）·兹比尔1305.62254 [43] Luo S K，Song R，Witten D.高斯图形模型的确定筛选。arXiv:1407.78192014年 [44] 马丁·R。；Mess，R.公司。；Walker，S.G.，稀疏高维线性模型中的经验贝叶斯后验浓度，Bernoulli，231822-1847（2017）·Zbl 1450.62085号 ·doi:10.3150/15-BEJ797 [45] Narisetty，N.N.，《复杂数据的统计分析：贝叶斯模型选择和函数数据深度》（2016），安娜堡：密歇根大学，安娜布尔 [46] Narisetty，N.N。；He，X.M.，具有收缩和扩散先验的贝叶斯变量选择，Ann Statist，42，789-817（2014）·Zbl 1302.62158号 ·doi:10.1214/14-AOS1207 [47] Neal，R.M.，《使用哈密顿动力学的MCMC》，《马尔可夫链蒙特卡罗手册》，113-162（2011），纽约：查普曼和霍尔/CRC，纽约·兹比尔1229.65018 [48] 帕克，T。；Casella，G.，《贝叶斯套索》，美国统计协会杂志，103681-686（2008）·Zbl 1330.62292号 ·doi:10.1198/016214500000037 [49] 帕蒂，D。；Bhattacharya，A。；Pillai，N.S.，海量协方差矩阵稀疏贝叶斯因子模型的后验收缩，Ann Statist，421102-1130（2014）·Zbl 1305.62124号 ·doi:10.1214/14-AOS1215 [50] Raskutti，G。；Wainwright，M.J。；Yu，B.，Lq-ball上高维线性回归的最小极大估计率，IEEE Trans-Inform Theory，576976-6994（2011）·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [51] 罗奇科娃，V。；George，E.I.，The spide-and-slab LASSO，J Amer Statist Assoc，113，431-444（2018）·Zbl 1398.62186号 ·doi:10.1080/01621459.2016.1260469 [52] Scheetz，T.E。；Kim，K.Y A。；Swiderski，R.E.，哺乳动物眼睛中基因表达的调节及其与眼病的相关性，美国国家科学院院刊，103，14429-14434（2006）·doi:10.1073/pnas.0602562103 [53] 斯科特·J·G。；Berger，J.O.，《变量选择问题中的贝叶斯和经验贝叶斯多重性调整》，《Ann Statist》，38，2587-2619（2010）·Zbl 1200.62020年 ·doi:10.1214/10-AOS792 [54] Song，Q.，贝叶斯收缩到急剧极小，Electron J Stat，142714-2741（2020）·Zbl 1446.62056号 ·doi:10.1214/20-EJS1732 [55] Song Q，Cheng G.极小极大估计的最优错误发现控制。arXiv:1812.100132018年 [56] 宋，Q。；Liang，F.，具有倒数L_1正则化的高维变量选择，J Amer Statist Assoc，110，1607-1620（2015）·Zbl 1373.62358号 ·doi:10.1080/01621459.2014.984812 [57] 宋，Q。；Liang，F.，超高维回归的分离合并贝叶斯变量选择方法，J R Stat Soc Ser B Stat Methodol，77，947-972（2015）·Zbl 1414.62322号 ·doi:10.1111/rssb.12095 [58] 唐，X。；Xu，X。；Ghosh，M.，基于全球-局部收缩先验的贝叶斯变量选择和估计，Sankhya A，80，215-246（2018）·doi:10.1007/s13171-017-0118-2 [59] Tibshirani，R.，通过套索进行回归收缩和选择，J R Stat Soc Ser B Stat Methodol，58，267-288（1996）·Zbl 0850.62538号 [60] Tibshirani，R。；泰勒，J。；Lockhart，R.，《序贯回归程序的精确后选择推断》，美国统计协会，111，600-620（2016）·doi:10.1080/01621459.2015.1108848 [61] van de Geer，S。；Bühlmann，P。；Ritov，Y.，《关于高维模型的渐近最优置信区域和检验》，Ann Statist，42，1166-1202（2014）·Zbl 1305.62259号 ·doi:10.1214/14-AOS1221 [62] 范德帕斯。；Kleijn，B.J K。；van der Vaart，A.W.，马蹄形估计器：近黑色矢量周围的后验浓度，Electron J Stat，82585-2618（2014）·Zbl 1309.62060号 ·doi:10.1214/14-EJS962 [63] 范德帕斯，S.L。；Szabo，B。；van der Vaart，A.W.，马蹄铁的不确定性量化（含讨论），贝叶斯分析，1221-1274（2017）·Zbl 1384.62155号 ·doi:10.1214/17-BA1065 [64] 范德帕斯，S.L。；Szabo，B。；van der Vaart，A.W.，马蹄铁的自适应后收缩率，Electron J Stat，11，3196-3225（2017）·Zbl 1373.62140号 ·doi:10.1214/17-EJS1316 [65] 范德法特，A.W。；Wellner，J.A.，《弱收敛和经验过程》（1996），纽约：Springer，纽约·Zbl 0862.60002号 ·doi:10.1007/978-1-4757-2545-2 [66] Vershynin，R.，《随机矩阵非渐近分析导论》，压缩传感理论与应用，210-268（2012），剑桥：剑桥大学出版社，剑桥·doi:10.1017/CBO9780511794308.006 [67] 魏，R。；Reich，B.J。；Hoppin，J.A.，《稀疏贝叶斯加性非参数回归及其在农药混合物健康影响中的应用》，中国统计局，30，55-79（2020）·Zbl 1444.62055号 [68] 韦林，M。；Yee，W.T.，通过随机梯度Langevin动力学进行贝叶斯学习，681-688（2011），Bellevue:ICML，Bellev [69] Xu Z，Schmidt D F，Makalic E，等。分组变量的贝叶斯稀疏全局局部收缩回归。arXiv:1709.04333，2017年 [70] Yang，Y。；Wainwright，M.J。；Jordan，M.I.，《关于高维贝叶斯变量选择的计算复杂性》，Ann Statist，442497-2532（2016）·Zbl 1359.62088号 ·doi:10.1214/15-AOS1417 [71] Zhang，C-H，最小最大凹惩罚下的几乎无偏变量选择，Ann Statist，38894-942（2010）·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [72] 张，C-H；Huang，J.，高维回归中LASSO选择的稀疏性和偏差，Ann Statist，361567-1594（2008）·Zbl 1142.62044号 ·doi:10.1214/07-AOS520 [73] 张，C-H；Zhang，S.，高维线性模型中低维参数的置信区间，J R Stat Soc Ser B Stat Methodol，76，217-242（2014）·Zbl 1411.62196号 ·doi:10.1111/rssb.12026 [74] Zhang Y，Naughton B，Bondell H D等。通过R2-D2收缩先验的高维线性回归。J Amer Statist Assoc，2022年，出版 [75] 邹，H。；Hastie，T.，通过弹性网的正则化和变量选择，J R Stat Soc Ser B Stat Methodol，67001-320（2005）·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x [76] 祖布科夫，A.M。；Serov，A.A.，二项式分布函数普遍不等式的完整证明，《概率论应用》，57539-544（2013）·Zbl 1280.60016号 ·doi:10.1137/S0040585X97986138 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。