高超;范德法特,Aad W。;周,Harrison H。 贝叶斯结构线性模型的一般框架。 (英语) Zbl 1471.62241号 Ann.统计。 48,第5期,2848-2878(2020). 本文在结构化线性模型的一般框架中,为贝叶斯高维统计和贝叶斯非参数统计提供了统一的方法和理论。作者首先介绍了各种高维和非参数模型的统一观点,然后在考虑的框架内提出了所有模型的单一先验分布。在适当的条件下,建立了后验分布的最优收敛速度。这些结果直接导致了随机块模型、双聚类、稀疏线性回归、具有组稀疏性的回归、多任务学习和字典学习中精确的极小极大后验收缩率。此外,还导出了允许任意模型错误指定的一般后验预言不等式。主要结果通过从非参数估计到高维统计的例子进行了说明。审核人:Joseph Melamed(洛杉矶) 引用于18文件 MSC公司: 62C10个 贝叶斯问题;贝叶斯过程的特征 2015年1月62日 贝叶斯推断 62G05型 非参数估计 62J05型 线性回归;混合模型 关键词:oracle不等式;随机区块模型;石墨;稀疏线性回归;聚合;字典学习;后收缩 PDF格式BibTeX公司 XML格式引用 \textit{C.Gao}等人,Ann.Stat.48,No.5,2848--2878(2020;Zbl 1471.62241) 全文: DOI程序 arXiv公司 欧几里得 参考文献: [1] Agarwal,A.、Anandkumar,A.和Netrapalli,P.(2013)。精确恢复稀疏使用的过度完整字典。ArXiv预印本。可从ArXiv:1309.1952获得。arXiv公司:1309.1952Zentralblatt数学:1359.62229数字对象标识符:doi:10.1109/TIT.2016.2614684·Zbl 1359.62229号 ·doi:10.1109/TIT.2016.2614684 [2] Aldous,D.J.(1981年)。随机变量部分可交换数组的表示。《多元分析杂志》。11 581-598. Zentralblatt数学:0474.60044数字对象标识符:doi:10.1016/0047-259X(81)90099-3·Zbl 0474.60044号 ·doi:10.1016/0047-259X(81)90099-3 [3] Bakin,S.(1999)。数据挖掘问题中的自适应回归和模型选择。 [4] Banerjee,S.和Ghosal,S.(2014)。使用图形模型估计大精度矩阵的后验收敛速度。电子。《美国联邦法律大全》第8卷第2111-2137页。Zentralblatt数学:1302.62124数字对象标识符:doi:10.1214/14-EJS945·Zbl 1302.62124号 ·doi:10.1214/14-EJS945 [5] Barron,A.、Birgé,L.和Massart,P.(1999)。通过惩罚选择模型的风险边界。普罗巴伯。理论相关领域113 301-413。Zentralblatt数学:0946.62036数字对象标识符:doi:10.1007/s004400050210·Zbl 0946.62036号 ·doi:10.1007/s004400050210 [6] Barron,A.、Schervish,M.J.和Wasserman,L.(1999)。非参数问题中后验分布的一致性。安。统计师。27 536-561. Zentralblatt数学:0980.62039数字对象标识符:doi:10.1214/aos/1017939142欧几里德项目:Euclid.aos/1018031206·Zbl 0980.62039号 ·doi:10.1214/aos/1017939142 [7] Barron,A.R.(1988)。密度函数Bayes估计的后验概率的指数收敛性。伊利诺伊大学。 [8] Barron,A.R.和Cover,T.M.(1991)。最小复杂度密度估计。IEEE传输。通知。理论37 1034-1054。Zentralblatt数学:0743.62003数字对象标识符:doi:10.1109/18.86996·Zbl 0743.62003号 ·数字对象标识代码:10.1109/18.86996 [9] Bickel,P.J.、Ritov,Y.和Tsybakov,A.B.(2009年)。同时分析套索和Dantzig选择器。安。统计师。37 1705-1732. Zentralblatt数学:1173.62022数字对象标识符:doi:10.1214/08-AOS620欧几里得项目:Euclid.aos/1245332830·Zbl 1173.62022号 ·doi:10.1214/08-AOS620 [10] Birgé,L.和Massart,P.(2001)。高斯模型选择。欧洲数学杂志。Soc.(JEMS)3 203-268·Zbl 1037.62001 [11] Brown,L.D.和Low,M.G.(1996年)。非参数回归与白噪声的渐近等价性。安。统计师。24 2384-2398. Zentralblatt数学:0867.62022数字对象标识符:doi:10.1214/aos/1032181159欧几里德项目:Euclid.aos/1032181159·Zbl 0867.62022号 ·doi:10.1214/aos/1032181159 [12] Bühlmann,P.和van de Geer,S.(2011)。高维数据统计:方法、理论和应用。统计学中的斯普林格系列。海德堡施普林格·Zbl 1273.62015年 [13] Bunea,F.(2008)。通过拉索对高维近似回归模型进行一致选择。推动当代统计的极限:为纪念Jayanta K.Ghosh所作的贡献。Inst.数学。统计(IMS)收集。3 122-137. 俄亥俄州比奇伍德IMS·Zbl 1159.62004号 [14] Candes,E.J.和Tao,T.(2005)。通过线性规划进行解码。IEEE传输。通知。理论51 4203-4215。Zentralblatt数学:1264.94121数字对象标识符:doi:10.1109/TIT.2005.858979·兹比尔1264.94121 ·doi:10.1109/TIT.2005.858979 [15] Castillo,I.(2014)。关于贝叶斯上确界范数收缩率。安。统计师。42 2058-2091. Zentralblatt数学:1305.62189数字对象标识符:doi:10.1214/14-AOS1253欧几里德项目:Euclid.aos/1410440634·Zbl 1305.62189号 ·doi:10.1214/14-AOS1253 [16] Castillo,I.、Schmidt-Hieber,J.和van der Vaart,A.(2015)。稀疏先验贝叶斯线性回归。安。统计师。43 1986-2018. Zentralblatt数学:06502640数字对象标识符:doi:10.1214/15-OS1334欧几里德项目:Euclid.aos/1438606851·Zbl 1486.62197号 ·doi:10.1214/15-AOS1334 [17] Castillo,I.和van der Vaart,A.(2012年)。大海捞针:可能稀疏序列的后向集中。安。统计师。40 2069-2101. Zentralblatt数学:1257.62025数字对象标识符:doi:10.1214/12-AOS1029欧几里德项目:Euclid.aos/1351602537·Zbl 1257.62025号 ·doi:10.1214/12-AOS1029 [18] Catoni,O.(2004)。统计学习理论与随机优化。数学课堂笔记。1851.柏林斯普林格。Zentralblatt数学:1076.93002·Zbl 1076.93002号 [19] Diaconis,P.和Janson,S.(2008年)。图极限和可交换随机图。伦德。材料应用。(7) 28 33-61. Zentralblatt数学:1162.60009·Zbl 1162.60009号 [20] Donoho,D.L.、Elad,M.和Temlyakov,V.N.(2006)。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52 6-18。Zentralblatt数学:1288.94017数字对象标识符:doi:10.1109/TIT.2005.860430·Zbl 1288.94017号 ·doi:10.1109/TIT.2005.860430 [21] Fang,K.T.、Kotz,S.和Ng,K.W.(1990年)。对称多元及相关分布。统计学和应用概率专著36。CRC出版社,伦敦。Zentralblatt数学:0699.62048·Zbl 0699.62048号 [22] Gao,C.,Lu,Y.和Zhou,H.H.(2015)。速率最优图形估计。安。统计师。43 2624-2652. Zentralblatt数学:1332.60050数字对象标识符:doi:10.1214/15-OS1354欧几里德项目:Euclid.aos/1444222087·Zbl 1332.60050号 ·doi:10.1214/15-AOS1354 [23] Gao,C.、van der Vaart,A.W和Zhou,H.H(2020年)。对“贝叶斯结构化线性模型的一般框架”的补充https://doi.org/10.1214/19-AOS1909SUPP。 [24] Gao,C.和Zhou,H.H.(2015)。稀疏PCA的速率最优后收缩。安。统计师。43 785-818. Zentralblatt数学:1312.62078数字对象标识符:doi:10.1214/14-AOS1268欧几里德项目:Euclid.aos/1427115287·Zbl 1312.62078号 ·doi:10.1214/14-AOS1268 [25] Gao,C.和Zhou,H.H.(2016)。使用修改的块先验对精确贝叶斯自适应进行速率调整。安。统计师。44 318-345. Zentralblatt数学:1331.62215数字对象标识符:doi:10.1214/15-AOS1368欧几里德项目:Euclid.aos/1449755965·Zbl 1331.62215号 ·doi:10.1214/15-AOS1368 [26] Ghosal,S.、Ghosh,J.K.和Ramamoorthi,R.V.(1999)。密度估计中Dirichlet混合物的后验一致性。安。统计师。27 143-158之间。Zentralblatt数学:0932.62043数字对象标识符:doi:10.1214/aos/1018031105欧几里德项目:Euclid.aos/1018031105·兹比尔0932.62043 ·doi:10.1214/aos/1018031105 [27] Ghosal,S.、Ghosh,J.K.和van der Vaart,A.W.(2000)。后验分布的收敛速度。安。统计师。28 500-531. Zentralblatt数学:1105.62315数字对象标识符:doi:10.1214/aos/1016218228欧几里德项目:Euclid.aos/1016218228·Zbl 1105.62315号 ·doi:10.1214操作系统/1016218228 [28] Hartigan,J.A.(1972年)。数据矩阵的直接聚类。J.Amer。统计师。协会67 123-129。 [29] 霍夫曼(Hoffmann,M.)、卢梭(Rousseau,J.)和施密特-希伯(Schmidt-Hieber,J..)(2015)。关于适应性后部集中率。安。统计师。43 2259-2295. Zentralblatt数学:1327.62306数字对象标识符:doi:10.1214/15-AOS1341欧几里德项目:Euclid.aos/1442364152·Zbl 1327.62306号 ·doi:10.1214/15-AOS1341 [30] Holland,P.W.、Laskey,K.B.和Leinhardt,S.(1983年)。随机块模型:第一步。Soc.网络。5 109-137. [31] 胡佛,D.N.(1979)。概率空间与随机变量数组的关系2。新泽西州普林斯顿高等研究院。预打印。 [32] Johnstone,I.M.(2017)。高斯估计:序列和小波模型。 [33] Kallenberg,O.(1989)。关于可交换阵列的表示定理。《多元分析杂志》。30 137-154. Zentralblatt数学:0676.60046数字对象标识符:doi:10.1016/0047-259X(89)90092-4·兹比尔0676.60046 ·doi:10.1016/0047-259X(89)90092-4 [34] Kleijn,B.J.K.和van der Vaart,A.W.(2006)。无限维贝叶斯统计中的错误规范。安。统计师。34 837-877。Zentralblatt数学:1095.62031数字对象标识符:doi:10.1214/0090536000000029欧几里德项目:Euclid.aos/1151418243·Zbl 1095.62031号 ·doi:10.1214/00905360000000029 [35] Klopp,O.、Lu,Y.、Tsybakov,A.B.和Zhou,H.H.(2019年)。结构化矩阵估计和完成。伯努利25 3883-3911。Zentralblatt数学:1428.62281数字对象标识符:doi:10.3150/19-BEJ1114欧几里德项目:Euclid.bj/1569398788·Zbl 1428.62281号 ·doi:10.3150/19-BEJ1114 [36] Leung,G.和Barron,A.R.(2006年)。信息理论和混合最小二乘回归。IEEE传输。通知。理论52 3396-3410。Zentralblatt数学:1309.94051数字对象标识符:doi:10.1109/TIT.2006.878172·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172 [37] Lounici,K.(2008)。Lasso和Dantzig估计的超形式收敛速度和符号集中性质。电子。《美国联邦法律大全》第2卷第90-102页。Zentralblatt数学:1306.62155数字对象标识符:doi:10.1214/08-EJS177·Zbl 1306.62155号 ·doi:10.1214/08-EJS177 [38] Lounici,K.、Pontil,M.、van de Geer,S.和Tsybakov,A.B.(2011年)。Oracle不等式与群稀疏下的最优推理。安。统计师。39 2164-2204. Zentralblatt数学:1306.62156数字对象标识符:doi:10.1214/11-AOS896欧几里德项目:Euclid.aos/1319595462·Zbl 1306.62156号 ·doi:10.1214/11-AOS896 [39] Lovász,L.(2012)。大型网络和图形限制。美国数学学会学术讨论会出版物60。阿默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1292.05001号 [40] Lovász,L.和Szegedy,B.(2006年)。稠密图序列的极限。J.组合理论系列。B 96 933-957。Zentralblatt数学:1113.05092数字对象标识符:doi:10.1016/j.jctb.2006.05.002·Zbl 1113.05092号 ·doi:10.1016/j.jctb.2006.05.002 [41] Ma,Z.和Wu,Y.(2015)。酉不变范数下的体积比、稀疏性和极小性。IEEE传输。通知。理论61 6939-6956。Zentralblatt数学:1359.94135数字对象标识符:doi:10.1109/TIT.2015.2487541·Zbl 1359.94135号 ·doi:10.1109/TIT.2015.2487541 [42] Martin,R.,Mess,R.和Walker,S.G.(2017年)。稀疏高维线性模型中的经验Bayes后验浓度。伯努利23 1822-1847。Zentralblatt数学:06714320数字对象标识符:doi:10.3150/15-BEJ797欧几里德项目:Euclid.bj/1489737626·Zbl 1450.62085号 ·doi:10.3150/15-BEJ797 [43] Nemirovski,A.(2000年)。非参数统计主题。在《概率论和统计学讲座》(Saint-Flour,1998)中。数学课堂笔记。1738 85-277. 柏林施普林格。Zentralblatt数学:0998.62033·Zbl 0998.62033号 [44] Nussbaum,M.(1996年)。密度估计与高斯白噪声的渐近等价性。安。统计师。24 2399-2430. Zentralblatt数学:0867.62035数字对象标识符:doi:10.1214/aos/1032181160欧几里德项目:Euclid.aos/1032181160·Zbl 0867.62035号 ·doi:10.1214操作系统/1032181160 [45] Olshausen,B.A.(1996年)。通过学习自然图像的稀疏代码,出现了简单的细胞感受野特性。《自然》381 607-609。 [46] Pati,D.和Bhattacharya,A.(2015)。随机块模型中的最优贝叶斯估计。ArXiv预印本。可从ArXiv:1505.06794获得。arXiv公司:1505.06794Zentralblatt数学:1328.62178数字对象标识符:doi:10.1016/j.spl.2015.04.012·Zbl 1328.62178号 ·doi:10.1016/j.spl.2015.04.012 [47] Raskutti,G.、Wainwright,M.J.和Yu,B.(2011年)。球上高维线性回归的最小最大估计率。IEEE传输。通知。理论57 6976-6994。Zentralblatt数学:1365.62276数字对象标识符:doi:10.1109/TIT.2011.2165799·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [48] Rigollet,P.和Tsybakov,A.(2011年)。指数筛选和稀疏估计的最佳速率。安。统计师。39 731-771. Zentralblatt数学:1215.62043数字对象标识符:doi:10.1214/10-AOS854欧几里德项目:Euclid.aos/1299680953·Zbl 1215.62043号 ·doi:10.1214/10-AOS854 [49] Rigollet,P.和Tsybakov,A.B.(2012年)。指数加权稀疏估计。统计师。科学。27 558-575. Zentralblatt数学:1331.62351数字对象标识符:doi:10.1214/12-STS393欧几里德项目:Euclid.ss/1356098556·Zbl 1331.62351号 ·doi:10.1214/12-STS393 [50] Rivoirard,V.和Rousseau,J.(2012)。无限维指数族的后验浓度率。贝叶斯分析。7 311-333. Zentralblatt数学:1330.62179数字对象标识符:doi:10.1214/12-BA710·Zbl 1330.62179号 ·doi:10.1214/12-BA710 [51] Shen,X.和Wasserman,L.(2001)。后验分布的收敛速度。安。统计师。29 687-714. Zentralblatt数学:1041.62022数字对象标识符:doi:10.1214/aos/1009210686欧几里德项目:Euclid.aos/109210686·Zbl 1041.62022号 ·doi:10.1214/aos/1009210686 [52] Tibshirani,R.(1996)。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58 267-288。Zentralblatt数学:0850.62538数字对象标识符:doi:10.1111/j.2517-6161.1996.tb02080.x·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [53] Tsybakov,A.B.(2003年)。最佳聚合速率。学习理论和核心机器303-313。柏林施普林格。Zentralblatt数学:1208.62073·Zbl 1208.62073号 [54] Tsybakov,A.B.(2014)。高维估计中的聚合和极大极小最优性。2014年国际数学家大会论文集-首尔。第四卷225-246。首尔Kyung Moon Sa。Zentralblatt数学:1380.62136·Zbl 1380.62136号 [55] van de Geer,S.A.和Bühlmann,P.(2009)。根据用于证明拉索预言结果的条件。电子。《美国联邦法律大全》第3卷第1360-1392页。Zentralblatt数学:1327.62425数字对象标识符:doi:10.1214/09-EJS506·Zbl 1327.62425号 ·doi:10.1214/09-EJS506 [56] van der Pas,S.L.和van der Vaart,A.W.(2018)。贝叶斯社区检测。贝叶斯分析。13 767-796. Zentralblatt数学:1407.62240数字对象标识符:doi:10.1214/17-BA1078·兹比尔1407.62240 ·doi:10.1214/17-BA1078 [57] van der Vaart,A.W.和van Zanten,J.H.(2008)。基于高斯过程先验的后验分布收缩率。安。统计师。36 1435-1463. Zentralblatt数学:1141.60018数字对象标识符:doi:10.1214/009053607000000613欧几里德项目:Euclid.aos/1211819570·Zbl 1141.60018号 ·doi:10.1214/09053607000000613 [58] Wang,Z.、Paterlini,S.、Gao,F.和Yang,Y.(2014)。稀疏壳上的自适应极小极大回归估计。J.马赫。学习。第15号决议1675-1711。Zentralblatt数学:1319.62016·Zbl 1319.62016号 [59] Yang,Y.(1999)。非参数回归的模型选择。统计师。Sinica 9 475-499号。Zentralblatt数学:0921.62051·Zbl 0921.62051号 [60] Yang,Y.(2000)。结合不同的程序进行自适应回归。《多元分析杂志》。74 135-161. Zentralblatt数学:0964.62032数字对象标识符:doi:10.1006/jmva.1999.1884·Zbl 0964.62032号 ·doi:10.1006/jmva.1999.1884 [61] Yang,Y.(2004)。聚合回归过程以提高性能。伯努利10 25-47。Zentralblatt数学:1040.62030数字对象标识符:doi:10.3150/bj/1077544602欧几里德项目:Euclid.bj/1077544602·Zbl 1040.62030 ·doi:10.3550/bj/1077544602 [62] Yang,Y.和Barron,A.R.(1998)。模型选择准则的渐近性质。IEEE Trans。通知。理论44 95-116。Zentralblatt数学:0949.62041数字对象标识符:doi:10.1109/18.650993·Zbl 0949.62041号 ·数字对象标识代码:10.1109/18.650993 [63] Yang,Y.和Dunson,D.B.(2014)。最小最大最优贝叶斯聚集。ArXiv预印本。可从ArXiv:1403.1345获得。arXiv:1403.1345 [64] Yang,Y.,Wainwright,M.J.和Jordan,M.I.(2016)。关于高维贝叶斯变量选择的计算复杂性。安。统计师。44 2497-2532. Zentralblatt数学:1359.62088数字对象标识符:doi:10.1214/15-AOS1417欧几里德项目:Euclid.aos/1479891626·Zbl 1359.62088号 ·doi:10.1214/15-AOS1417 [65] Yuan,M.和Lin,Y.(2006)。分组变量回归中的模型选择和估计。J.R.统计社会服务。B.统计方法。68 49-67. Zentralblatt数学:1141.62030数字对象标识符:doi:10.1111/j.1467-9868.2005302.x·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。