高超;范德法特，Aad W。;Harrison H·周。 贝叶斯结构线性模型的一般框架。 （英语） Zbl 1471.62241号 Ann.统计。 48，第5期，2848-2878（2020）. 本文在结构化线性模型的一般框架中，为贝叶斯高维统计和贝叶斯非参数统计提供了统一的方法和理论。作者首先介绍了各种高维和非参数模型的统一观点，然后在考虑的框架内提出了所有模型的单一先验分布。在适当的条件下，建立了后验分布的最优收敛速度。这些结果直接导致了随机块模型、双聚类、稀疏线性回归、具有组稀疏性的回归、多任务学习和字典学习中精确的极小极大后验收缩率。此外，还导出了允许任意模型错误指定的一般后验预言不等式。主要结果通过从非参数估计到高维统计的例子进行了说明。审核人：Joseph Melamed（洛杉矶） 引用于18文件 MSC公司： 62C10个 贝叶斯问题；贝叶斯过程的特征 2015年1月62日 贝叶斯推断 62G05型 非参数估计 62J05型 线性回归；混合模型 关键词：oracle不等式;随机区块模型;石墨;稀疏线性回归;聚合;字典学习;后收缩 PDF格式BibTeX公司 XML格式引用 \textit{C.Gao}等人，Ann.Stat.48，No.5，2848--2878（2020；Zbl 1471.62241） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] Agarwal，A.、Anandkumar，A.和Netrapalli，P.（2013）。精确恢复稀疏使用的过度完整字典。ArXiv预印本。可在ArXiv:1309.1952上获取。arXiv:1309.1952Zentralblatt数学：1359.62229数字对象标识符：doi:10.10109/TIT.2016.2614684·Zbl 1359.62229号 ·doi:10.1109/TIT.2016.2614684 [2] Aldous，D.J.（1981年）。随机变量部分可交换数组的表示。《多元分析杂志》。11 581-598. Zentralblatt数学：0474.60044数字对象标识符：doi:10.1016/0047-259X（81）90099-3·Zbl 0474.60044号 ·doi:10.1016/0047-259X（81）90099-3 [3] Bakin，S.（1999）。数据挖掘问题中的自适应回归和模型选择。 [4] Banerjee，S.和Ghosal，S.（2014）。使用图形模型估计大精度矩阵的后验收敛速度。电子。《美国联邦法律大全》第8卷第2111-2137页。Zentralblatt数学：1302.62124数字对象标识符：doi:10.1214/14-EJS945·Zbl 1302.62124号 ·doi:10.1214/14-EJS945 [5] Barron，A.、Birgé，L.和Massart，P.（1999）。通过惩罚选择模型的风险边界。普罗巴伯。理论相关领域113 301-413。Zentralblatt数学：0946.62036数字对象标识符：doi:10.1007/s004400050210·Zbl 0946.62036号 ·doi:10.1007/s004400050210 [6] Barron，A.、Schervish，M.J.和Wasserman，L.（1999）。非参数问题中后验分布的一致性。安。统计师。27 536-561. Zentralblatt数学：0980.62039数字对象标识符：doi:10.1214/aos/1017939142欧几里德项目：Euclid.aos/1018031206·Zbl 0980.62039号 ·doi:10.1214/aos/1017939142 [7] Barron，A.R.（1988）。密度函数Bayes估计的后验概率的指数收敛性。伊利诺伊大学。 [8] Barron，A.R.和Cover，T.M.（1991年）。最小复杂度密度估计。IEEE传输。通知。理论37 1034-1054。Zentralblatt数学：0743.62003数字对象标识符：doi:10.1109/18.86996·Zbl 0743.62003号 ·数字对象标识代码：10.1109/18.86996 [9] Bickel，P.J.、Ritov，Y.和Tsybakov，A.B.（2009年）。同时分析套索和Dantzig选择器。安。统计师。37 1705-1732. Zentralblatt数学：1173.62022数字对象标识符：doi:10.1214/08-AOS620欧几里德项目：Euclid.aos/1245332830·Zbl 1173.62022号 ·doi:10.1214/08-AOS620 [10] Birgé，L.和Massart，P.（2001）。高斯模型选择。《欧洲数学杂志》。Soc.（JEMS）3 203-268·Zbl 1037.62001 [11] Brown，L.D.和Low，M.G.（1996年）。非参数回归与白噪声的渐近等价性。安。统计师。24 2384-2398. Zentralblatt数学：0867.62022数字对象标识符：doi:10.1214/aos/1032181159欧几里德项目：Euclid.aos/1032181159·Zbl 0867.62022号 ·doi:10.1214/aos/1032181159 [12] Bühlmann，P.和van de Geer，S.（2011）。高维数据统计：方法、理论和应用。统计学中的斯普林格系列。海德堡施普林格·Zbl 1273.62015年 [13] Bunea，F.（2008）。通过Lasso对高维近似回归模型进行一致选择。推动当代统计的极限：为纪念Jayanta K.Ghosh所作的贡献。Inst.数学。统计（IMS）收集。3 122-137. 俄亥俄州比奇伍德IMS·Zbl 1159.62004号 [14] Candes，E.J.和Tao，T.（2005）。通过线性规划进行解码。IEEE传输。通知。理论51 4203-4215。Zentralblatt数学：1264.94121数字对象标识符：doi:10.1109/TIT.2005.858979·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979 [15] 卡斯蒂略，I.（2014）。关于贝叶斯上确界范数收缩率。安。统计师。42 2058-2091. Zentralblatt数学：1305.62189数字对象标识符：doi:10.1214/14-AOS1253欧几里德项目：Euclid.aos/1410440634·Zbl 1305.62189号 ·doi:10.1214/14-AOS1253 [16] Castillo，I.、Schmidt-Hieber，J.和van der Vaart，A.（2015）。稀疏先验贝叶斯线性回归。安。统计师。43 1986-2018年。Zentralblatt数学：06502640数字对象标识符：doi:10.1214/15-AOS1334欧几里德项目：Euclid.aos/1438606851·Zbl 1486.62197号 ·doi:10.1214/15-AOS1334 [17] Castillo，I.和van der Vaart，A.（2012年）。大海捞针：可能稀疏序列的后向集中。安。统计师。40 2069-2101. Zentralblatt数学：1257.62025数字对象标识符：doi:10.1214/12-AOS1029欧几里德项目：Euclid.aos/1351602537·Zbl 1257.62025号 ·doi:10.1214/12-AOS1029 [18] Catoni，O.（2004）。统计学习理论与随机优化。数学课堂笔记。1851.柏林斯普林格。Zentralblatt数学：1076.93002·Zbl 1076.93002号 [19] Diaconis，P.和Janson，S.（2008年）。图极限和可交换随机图。伦德。材料应用。(7) 28 33-61. Zentralblatt数学：1162.60009·兹比尔1162.60009 [20] Donoho，D.L.、Elad，M.和Temlyakov，V.N.（2006）。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52 6-18。Zentralblatt数学：1288.94017数字对象标识符：doi:10.1109/TIT.2005.860430·Zbl 1288.94017号 ·doi:10.1109/TIT.2005.860430 [21] Fang，K.T.、Kotz，S.和Ng，K.W.（1990年）。对称多变量和相关分布。统计学和应用概率专著36。CRC出版社，伦敦。Zentralblatt数学：0699.62048·Zbl 0699.62048号 [22] Gao，C.，Lu，Y.和Zhou，H.H.（2015）。速率最优图形估计。安。统计师。43 2624-2652. Zentralblatt数学：1332.60050数字对象标识符：doi:10.1214/15-AOS1354欧几里德项目：Euclid.aos/1444222087·Zbl 1332.60050号 ·doi:10.1214/15-AOS1354 [23] Gao，C.、van der Vaart，A.W和Zhou，H.H（2020年）。对“贝叶斯结构化线性模型的一般框架”的补充https://doi.org/10.1214/19-AOS1909SUPP。 [24] Gao，C.和Zhou，H.H.（2015）。稀疏PCA的速率最优后收缩。安。统计师。43 785-818. Zentralblatt数学：1312.62078数字对象标识符：doi:10.1214/14-AOS1268欧几里德项目：Euclid.aos/1427115287·Zbl 1312.62078号 ·doi:10.1214/14-AOS1268 [25] Gao，C.和Zhou，H.H.（2016）。使用修改的块先验对精确贝叶斯自适应进行速率调整。安。统计师。44 318-345。Zentralblatt数学：1331.62215数字对象标识符：doi:10.1214/15-AOS1368欧几里德项目：Euclid.aos/1449755965·Zbl 1331.62215号 ·doi:10.1214/15-AOS1368 [26] Ghosal，S.、Ghosh，J.K.和Ramamoorthi，R.V.（1999）。密度估计中Dirichlet混合物的后验一致性。安。统计师。27 143-158. Zentralblatt数学：0932.62043数字对象标识符：doi:10.1214/aos/1018031105欧几里德项目：Euclid.aos/1018031105·Zbl 0932.62043号 ·doi:10.1214操作系统/1018031105 [27] Ghosal，S.、Ghosh，J.K.和van der Vaart，A.W.（2000）。后验分布的收敛速度。安。统计师。28 500-531. Zentralblatt数学：1105.62315数字对象标识符：doi:10.1214/aos/1016218228欧几里德项目：Euclid.aos/1016218228·兹比尔1105.62315 ·doi:10.1214/aos/1016218228 [28] Hartigan，J.A.（1972年）。数据矩阵的直接聚类。J.Amer。统计师。协会67 123-129。 [29] 霍夫曼（Hoffmann，M.）、卢梭（Rousseau，J.）和施密特-希伯（Schmidt-Hieber，J..）（2015）。关于适应性后部集中率。安。统计师。43 2259-2295. Zentralblatt数学：1327.62306数字对象标识符：doi:10.1214/15-AOS1341欧几里德项目：Euclid.aos/1442364152·Zbl 1327.62306号 ·doi:10.1214/15-AOS1341 [30] Holland，P.W.、Laskey，K.B.和Leinhardt，S.（1983年）。随机块模型：第一步。Soc.网络。5 109-137. [31] 胡佛，D.N.（1979）。概率空间与随机变量数组的关系2。新泽西州普林斯顿高等研究院。预打印。 [32] Johnstone，I.M.（2017）。高斯估计：序列和小波模型。 [33] Kallenberg，O.（1989年）。关于可交换阵列的表示定理。《多元分析杂志》。30 137-154. Zentralblatt数学：0676.60046数字对象标识符：doi:10.1016/0047-259X（89）90092-4·Zbl 0676.60046号 ·doi:10.1016/0047-259X（89）90092-4 [34] Kleijn，B.J.K.和van der Vaart，A.W.（2006）。无限维贝叶斯统计中的错误规范。安。统计师。34 837-877。Zentralblatt数学：1095.62031数字对象标识符：doi:10.1214/0090536000000029欧几里得项目：欧几里得操作系统/1151418243·Zbl 1095.62031号 ·doi:10.1214/00905360000000029 [35] Klopp，O.、Lu，Y.、Tsybakov，A.B.和Zhou，H.H.（2019年）。结构化矩阵估计和完成。伯努利25 3883-3911。Zentralblatt数学：1428.62281数字对象标识符：doi:10.3150/19-BEJ1114欧几里德项目：Euclid.bj/1569398788·Zbl 1428.62281号 ·doi:10.3150/19-BEJ1114 [36] Leung，G.和Barron，A.R.（2006年）。信息理论和混合最小二乘回归。IEEE传输。通知。理论52 3396-3410。Zentralblatt数学：1309.94051数字对象标识符：doi:10.1109/TIT.2006.878172·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172 [37] Lounici，K.（2008）。Lasso和Dantzig估计的超形式收敛速度和符号集中性质。电子。《美国联邦法律大全》第2卷第90-102页。Zentralblatt数学：1306.62155数字对象标识符：doi:10.1214/08-EJS177·Zbl 1306.62155号 ·doi:10.1214/08-EJS177 [38] Lounici，K.、Pontil，M.、van de Geer，S.和Tsybakov，A.B.（2011年）。群稀疏性下的Oracle不等式和最优推理。安。统计师。39 2164-2204. Zentralblatt数学：1306.62156数字对象标识符：doi:10.1214/11-AOS896欧几里德项目：Euclid.aos/1319595462·Zbl 1306.62156号 ·doi:10.1214/11-AOS896 [39] Lovász，L.（2012）。大型网络和图形限制。美国数学学会学术讨论会出版物60。阿默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1292.05001号 [40] Lovász，L.和Szegedy，B.（2006）。稠密图序列的极限。J.组合理论系列。B 96 933-957。Zentralblatt数学：1113.05092数字对象标识符：doi:10.1016/j.jctb.2006.05.002·Zbl 1113.05092号 ·doi:10.1016/j.jctb.2006.05.002 [41] Ma，Z.和Wu，Y.（2015）。酉不变范数下的体积比、稀疏性和极小性。IEEE传输。通知。理论61 6939-6956。Zentralblatt数学：1359.94135数字对象标识符：doi:10.1109/TIT.2015.2487541·Zbl 1359.94135号 ·doi:10.1109/TIT.2015.2487541 [42] Martin，R.，Mess，R.和Walker，S.G.（2017年）。稀疏高维线性模型中的经验Bayes后验浓度。伯努利23 1822-1847。Zentralblatt数学：06714320数字对象标识符：doi:10.3150/15-BEJ797欧几里德项目：Euclid.bj/1489737626·Zbl 1450.62085号 ·doi:10.3150/15-BEJ797 [43] Nemirovski，A.（2000年）。非参数统计主题。在《概率论和统计学讲座》（Saint-Flour，1998）中。数学课堂笔记。1738 85-277. 柏林施普林格。Zentralblatt数学：0998.62033·兹比尔0998.62033 [44] Nussbaum，M.（1996年）。密度估计与高斯白噪声的渐近等价性。安。统计师。24 2399-2430. Zentralblatt数学：0867.62035数字对象标识符：doi:10.1214/aos/1032181160欧几里德项目：Euclid.aos/1032181160·Zbl 0867.62035号 ·doi:10.1214/aos/1032181160 [45] Olshausen，B.A.（1996年）。通过学习自然图像的稀疏代码，出现了简单的细胞感受野特性。《自然》381 607-609。 [46] Pati，D.和Bhattacharya，A.（2015）。随机块模型中的最优贝叶斯估计。ArXiv预印本。可在ArXiv:11505.06794上获得。arXiv公司：1505.06794Zentralblatt数学：1328.62178数字对象标识符：doi:10.1016/j.spl.2015.04.012·Zbl 1328.62178号 ·doi:10.1016/j.spl.2015.04.012 [47] Raskutti，G.、Wainwright，M.J.和Yu，B.（2011年）。球上高维线性回归的最小最大估计率。IEEE传输。通知。理论57 6976-6994。Zentralblatt数学：1365.62276数字对象标识符：doi:10.1109/TIT.2011.2165799·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [48] Rigollet，P.和Tsybakov，A.（2011年）。指数筛选和稀疏估计的最佳速率。安。统计师。39 731-771. Zentralblatt数学：1215.62043数字对象标识符：doi:10.1214/10-AOS854欧几里德项目：Euclid.aos/1299680953·Zbl 1215.62043号 ·doi:10.1214/10-AOS854 [49] Rigollet，P.和Tsybakov，A.B.（2012年）。指数加权稀疏估计。统计师。科学。27 558-575. Zentralblatt数学：1331.62351数字对象标识符：doi:10.1214/12-STS393欧几里德项目：Euclid.ss/1356098556·Zbl 1331.62351号 ·doi:10.1214/12-STS393 [50] Rivoirard，V.和Rousseau，J.（2012）。无限维指数族的后验浓度率。贝叶斯分析。7 311-333. Zentralblatt数学：1330.62179数字对象标识符：doi:10.1214/12-BA710·Zbl 1330.62179号 ·doi:10.1214/12-BA710 [51] Shen，X.和Wasserman，L.（2001）。后验分布的收敛速度。安。统计师。29 687-714. Zentralblatt数学：1041.62022数字对象标识符：doi:10.1214/aos/109210686欧几里德项目：Euclid.aos/109210686·Zbl 1041.62022号 ·doi:10.1214操作系统/1009210686 [52] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。乙58 267-288。Zentralblatt数学：0850.62538数字对象标识符：doi:10.1111/j.2517-6161.1996.tb02080.x·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [53] Tsybakov，A.B.（2003年）。最佳聚合速率。学习理论和核心机器303-313。柏林施普林格。Zentralblatt数学：1208.62073·Zbl 1208.62073号 [54] Tsybakov，A.B.（2014）。高维估计中的聚合和极大极小最优性。2014年国际数学家大会论文集-首尔。第四卷225-246。首尔Kyung Moon Sa。Zentralblatt数学：1380.62136·Zbl 1380.62136号 [55] van de Geer，S.A.和Bühlmann，P.（2009）。根据用于证明拉索预言结果的条件。电子。《美国联邦法律大全》第3卷第1360-1392页。Zentralblatt数学：1327.62425数字对象标识符：doi:10.1214/09-EJS506·兹比尔1327.62425 ·doi:10.1214/09-EJS506 [56] van der Pas，S.L.和van der Vaart，A.W.（2018）。贝叶斯社区检测。贝叶斯分析。13 767-796. Zentralblatt数学：1407.62240数字对象标识符：doi:10.1214/17-BA1078·Zbl 1407.62240号 ·doi:10.1214/17-BA1078 [57] van der Vaart，A.W.和van Zanten，J.H.（2008年）。基于高斯过程先验的后验分布收缩率。安。统计师。36 1435-1463. Zentralblatt数学：1141.60018数字对象标识符：doi:10.1214/009053607000000613欧几里德项目：Euclid.aos/1211819570·Zbl 1141.60018号 ·doi:10.1214/009053607000000613 [58] Wang，Z.、Paterlini，S.、Gao，F.和Yang，Y.（2014）。稀疏壳上的自适应极小极大回归估计。J.马赫。学习。第15号决议1675-1711。Zentralblatt数学：1319.62016·Zbl 1319.62016号 [59] Yang，Y.（1999）。非参数回归的模型选择。统计师。Sinica 9 475-499号。Zentralblatt数学：0921.62051·Zbl 0921.62051号 [60] Yang，Y.（2000）。结合不同的程序进行自适应回归。《多元分析杂志》。74 135-161. Zentralblatt数学：0964.62032数字对象标识符：doi:10.1006/jmva.1999.1884·Zbl 0964.62032号 ·doi:10.1006/jmva.1999.1884 [61] Yang，Y.（2004）。聚合回归过程以提高性能。伯努利10 25-47。Zentralblatt数学：1040.62030数字对象标识符：doi:10.3150/bj/1077544602欧几里得项目：Euclid.bj/1077544602·Zbl 1040.62030 ·doi:10.3150/bj/1077544602 [62] Yang，Y.和Barron，A.R.（1998）。模型选择准则的渐近性质。IEEE Trans。通知。理论44 95-116。Zentralblatt数学：0949.62041数字对象标识符：doi:10.1109/18.650993·Zbl 0949.62041号 ·doi:10.109/18.650993 [63] Yang，Y.和Dunson，D.B.（2014）。最小最大最优贝叶斯聚集。ArXiv预印本。可在ArXiv:1403.1345上获得。arXiv:1403.1345 [64] Yang，Y.，Wainwright，M.J.和Jordan，M.I.（2016）。关于高维贝叶斯变量选择的计算复杂性。安。统计师。44 2497-2532. Zentralblatt数学：1359.62088数字对象标识符：doi:10.1214/15-AOS1417欧几里德项目：Euclid.aos/1479891626·Zbl 1359.62088号 ·doi:10.1214/15-AOS1417 [65] Yuan，M.和Lin，Y.（2006）。分组变量回归中的模型选择和估计。J.R.统计社会服务。B.统计方法。68 49-67. Zentralblatt数学：1141.62030数字对象标识符：doi:10.1111/j.1467-9868.2005302.x·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。