阿尼尔班·巴塔查里亚;黛比·帕蒂;杨云 贝叶斯分数后验。 （英语） Zbl 1473.62116号 Ann.统计。 47，第1号，39-66（2019）. 作者摘要：我们考虑通过贝叶斯定理用分数似然函数更新先验分布而得到的分数后验分布，分数似然是一种常用的分数幂似然函数。首先，我们分析了一般错误指定框架下分数后验函数的收缩性质。我们的收缩结果只需要真参数（或错误指定情况下的KL发散极小值）的某个Kullback-Leibler（KL）邻域上的先验质量条件，并避免了文献中常用的测试函数和筛子的构造，以分析规则后验函数的收缩特性。我们通过一个反例表明，控制参数空间复杂性的某些条件对于正则后验收缩是必要的，从而为分数后验的先验选择提供了额外的灵活性。其次，我们基于错误指定模型中的PAC-Bayes不等式导出了一个新的贝叶斯预言不等式。我们的推导揭示了基于平均值的贝叶斯程序相对于基于优化的频率计程序的几个优点。作为贝叶斯预言不等式的应用，我们在多元凸回归问题中导出了一个尖锐的预言不等式。我们还说明了高斯过程回归和密度估计问题的理论。审核人：N.G.Gamkrelidze（莫斯科） 引用于18文件 MSC公司： 62G07年 密度估算 6220国集团 非参数推理的渐近性质 60克22 分数过程，包括分数布朗运动 关键词：部分后验结果 PDF格式BibTeX公司 XML格式引用 \textit{A.Bhattacharya}等人，Ann.Stat.47，No.1，39-66（2019年；Zbl 1473.62116） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] Alquier，P.、Ridgway，J.和Chopin，N.（2016）。关于吉布斯后验变分近似的性质。J.马赫。学习。决议17第239、41号文件·Zbl 1437.62129号 [2] Balázs，G.、György，A.和Szepesvári，C.（2015）。凸回归的近最优极大仿射估计。在AISTATS。 [3] Barron，A.、Schervish，M.J.和Wasserman，L.（1999）。非参数问题中后验分布的一致性。统计年鉴27 536-561·Zbl 0980.62039号 ·doi:10.1214/aos/1017939142 [4] Bartlett，P.L.、Bousquet，O.和Mendelson，S.（2005）。局部Rademacher复杂性。《统计年鉴》33 1497-1537·Zbl 1083.62034号 ·doi:10.1214/009053605000000282 [5] Bartlett，P.L.和Mendelson，S.（2002年）。Rademacher和Gaussian复杂性：风险边界和结构结果。J.马赫。学习。第3463-482号决议·Zbl 1084.68549号 [6] Bartlett，P.L.、Mendelson，S.和Philips，P.（2004）。经验风险最小化的局部复杂性。学习理论。计算机科学课堂讲稿3120 270-284。施普林格，柏林·Zbl 1078.68046号 [7] Bellec，P.C.和Tsybakov，A.B.（2015）。通过聚合实现单调回归和凸回归的精确预言界。J.马赫。学习。1879-1892年第16号决议·Zbl 1351.62088号 [8] Bhattacharya，A.、Pati，D.和Yang，Y.（2019年）。《贝叶斯分数后验概率》补充。DOI:10.1214/18-AOS1712SUPP·Zbl 1473.62116号 [9] Birgé，L.（1984）。Sur un théorème de minimax et son应用辅助测试。普罗巴伯。数学。统计3 259-282·Zbl 0571.62036号 [10] Bissiri，P.G.、Holmes，C.C.和Walker，S.G.（2016）。更新信念分布的通用框架。J.R.统计社会服务。B.Stat.方法78 1103-1130·Zbl 1414.62039号 ·doi:10.1111/rssb.12158 [11] Catoni，O.（2007）。Pac-Bayesian监督分类：统计学习的热力学。数理统计研究所讲稿——专题系列56。俄亥俄州比奇伍德IMS·Zbl 1277.62015年 [12] Catoni，O.和Picard，J.（2004）。统计学习理论与随机优化：圣弗洛尔概率学院，XXXI-2001。施普林格，柏林·Zbl 1076.93002号 [13] Chatterjee，S.（2014）。凸约束下最小二乘法的一种新观点。统计年鉴42 2340-2381·Zbl 1302.62053号 ·doi:10.1214/14-AOS1254 [14] Chernozhukov，V.和Hong，H.（2003）。经典估计的MCMC方法。《计量经济学杂志》115 293-346·Zbl 1043.62022号 ·doi:10.1016/S0304-4076（03）00100-3 [15] Dalalyan，A.和Tsybakov，A.B.（2008）。通过指数加权、尖锐的PAC-Baysian边界和稀疏性进行聚集。机器。学习72 39-61·Zbl 1470.62054号 [16] Dalalyan，A.S.和Salmon，J.（2012）。仿射估计集合的尖锐预言不等式。《统计年鉴》40 2327-2355·Zbl 1257.62038号 ·doi:10.1214/12-AOS1038 [17] De Blasi，P.和Walker，S.G.（2013年）。错误指定模型的贝叶斯渐近性。统计师。中国23 169-187·Zbl 1257.62026号 [18] Friel，N.和Pettitt，A.N.（2008）。通过功率后验估计边际似然。J.R.统计社会服务。B.统计方法70 589-607·兹伯利05563360 ·doi:10.1111/j.1467-9868.2007.00650.x [19] Gelman，A.和Meng，X.-L.（1998）。模拟归一化常数：从重要性采样到桥接采样再到路径采样。统计师。科学.13 163-185·Zbl 0966.65004号 ·doi:10.1214/ss/1028905934 [20] Germain，P.、Lacasse，A.、Laviolette，F.和Marchand，M.（2009年）。线性分类器的PAC-Baysian学习。第26届国际机器学习年会论文集353-360。纽约ACM。 [21] Geyer，C.J.和Thompson，E.A.（1995年）。退火马尔可夫链蒙特卡罗及其在祖先推断中的应用。J.Amer。统计师。协会90 909-920·Zbl 0850.62834号 ·doi:10.1080/01621459.1995.10476590 [22] Ghosal，S.、Ghosh，J.K.和van der Vaart，A.W.（2000）。后验分布的收敛速度。统计年鉴28 500-531·兹比尔1105.62315 ·doi:10.1214/aos/1016218228 [23] Ghosal，S.和van der Vaart，A.（2007年）。非i.i.d.观测的后验分布收敛率。《统计年鉴》35 192-223·Zbl 1114.62060号 ·doi:10.1214/009053606000001172 [24] Ghosal，S.和van der Vaart，A.（2007年）。光滑密度下Dirichlet混合物的后验收敛速度。统计年鉴35 697-723·Zbl 1117.62046号 ·doi:10.1214/009053600000.1271 [25] Grünwald，P.（2012）。安全贝叶斯：通过可混合性差距学习学习率。算法学习理论。计算机科学课堂讲稿7568 169-183。海德堡施普林格·Zbl 1255.68086号 [26] Grünwald，P.和van Ommen，T.（2017）。错误指定线性模型的贝叶斯推断的不一致性及其修复建议。贝叶斯分析。12 1069-1103·Zbl 1384.62088号 ·doi:10.1214/17-BA1085 [27] Guedj，B.和Alquier，P.（2013年）。稀疏可加模型中的PAC-Baysian估计和预测。电子。《联邦公报》第7卷第264-291页·Zbl 1337.62075号 ·doi:10.1214/13-EJS771 [28] Guntuboyina，A.和Sen，B.（2013）。凸函数的覆盖数。IEEE传输。通知。Theory59 1957-1965年·Zbl 1364.52007年 ·doi:10.1109/TIT.2012.2235172 [29] Guntuboyina，A.和Sen，B.（2015）。单变量凸回归中的全局风险边界和适应。普罗巴伯。理论相关领域163 379-411·Zbl 1327.62255号 ·doi:10.1007/s00440-014-0595-3 [30] Hannah，L.A.和Dunson，D.B.（2013年）。具有自适应划分的多元凸回归。J.马赫。学习。第14号决议3261-3294·Zbl 1318.62225号 [31] Holmes，C.C.和Walker，S.G.（2017年）。在一般贝叶斯模型中为幂似然赋值。生物特征104 497-503·Zbl 1506.62264号 [32] Jiang，W.和Tanner，M.A.（2008）。Gibbs后验函数用于高维分类和数据挖掘中的变量选择。统计年鉴36 2207-2231·Zbl 1274.62227号 ·doi:10.1214/07-AOS547 [33] Kleijn，B.J.K.和van der Vaart，A.W.（2006）。无限维贝叶斯统计中的错误规范。统计年鉴34 837-877·Zbl 1095.62031号 ·doi:10.1214/00905360000000029 [34] Koltchinskii，V.（2006年）。风险最小化中的局部Rademacher复杂性和oracle不等式。统计年鉴34 2593-2656·Zbl 1118.62065号 ·doi:10.1214/09053606000001073 [35] Koltchinski，V.（2011年）。经验风险最小化和稀疏恢复问题中的Oracle不等式。数学课堂笔记2033。海德堡施普林格·Zbl 1223.91002号 [36] Koltchinskii，V.和Panchenko，D.（2000年）。Rademacher过程和函数学习风险边界。《高维概率》，II（西雅图，华盛顿州，1999年）。概率进展47 443-457。Birkhäuser，马萨诸塞州波士顿·Zbl 1106.68385号 [37] Kruijer，W.、Rousseau，J.和van der Vaart，A.（2010年）。基于位置-尺度混合的自适应贝叶斯密度估计。电子。《美国联邦法律大全》第4卷第1225-1257页·Zbl 1329.62188号 ·doi:10.1214/10-EJS584 [38] Le Cam，L.（1986）。统计决策理论中的渐近方法。纽约州施普林格·Zbl 0605.62002号 [39] LeCam，L.（1973）。维度限制下估计的收敛性。安。统计师。1 38-53·Zbl 0255.62006号 [40] Leung，G.和Barron，A.R.（2006年）。信息理论和混合最小二乘回归。IEEE传输。通知。神学52 3396-3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172 [41] Lugosi，G.和Wegkamp，M.（2004）。通过局部随机惩罚进行复杂性正则化。《统计年鉴》32 1679-1697·Zbl 1045.62060号 ·doi:10.1214/009053604000000463 [42] Martin，R.，Mess，R.和Walker，S.G.（2017年）。稀疏高维线性模型中的经验Bayes后验浓度。伯努利23 1822-1847·Zbl 1450.62085号 ·doi:10.3150/15-BEJ797 [43] Martin，R.和Walker，S.G.（2014）。稀疏正态均值向量的渐近极小极大经验Bayes估计。电子。J.统计数据8 2188-2206·兹比尔1302.62015 ·doi:10.1214/14-EJS949 [44] Martin，R.和Walker，S.G.（2016年）。具有经验先验的最优贝叶斯后验浓度率。预印本。可在arXiv:1604.05734获得。 [45] McAllester，D.A.（1998年）。一些PAC-Baysian定理。《第十一届计算学习理论年会论文集》（威斯康星州麦迪逊，1998）230-234。纽约ACM。 [46] Miller，J.W.和Dunson，D.B.（2015）。通过粗化实现稳健的贝叶斯推理。预印本。可从arXiv:1506.06101获得·Zbl 1428.62287号 [47] Miller，J.W.和Harrison，M.T.（2018年）。混合模型具有先验成分数量。J.Amer。统计师。协会113 340-356·Zbl 1398.62066号 ·doi:10.1080/01621459.2016.1255636 [48] 奥哈根，A.（1995年）。模型比较的分数贝叶斯因子。J.罗伊。统计师。Soc.序列号。B57 99-138·Zbl 0813.62026号 [49] Rakhlin，A.、Sridharan，K.和Tsybakov，A.B.（2017）。经验熵、极大极小后悔和极大极小风险。伯努利23 789-824·Zbl 1380.62176号 ·doi:10.3150/14-BEJ679 [50] Ramamoorthi，R.V.、Sriram，K.和Martin，R..（2015）。关于错误指定模型中的后向浓度。贝叶斯分析10 759-789·Zbl 1335.62022号 ·doi:10.1214/15-BA941 [51] Rockafellar，R.T.（1997）。凸分析。普林斯顿大学出版社，新泽西州普林斯顿·Zbl 0932.90001号 [52] Shawe-Taylor，J.和Williamson，R.C.（1997年）。贝叶斯估计的PAC分析。第十届计算学习理论年会论文集2-9。纽约ACM。 [53] Shen，W.、Tokdar，S.T.和Ghosal，S.（2013）。使用狄利克雷混合的自适应贝叶斯多变量密度估计。生物特征100 623-640·Zbl 1284.62183号 ·doi:10.1093/biomet/ast015 [54] Shen，X.和Wasserman，L.（2001）。后验分布的收敛速度。《统计年鉴》29 687-714·Zbl 1041.62022号 ·doi:10.1214/aos/1009210686 [55] Stephens，M.（2016）。错误发现率：新政。生物统计18 275-294。 [56] van der Vaart，A.W.和van Zanten，J.H.（2009）。使用具有逆伽马带宽的高斯随机场的自适应贝叶斯估计。统计年鉴37 2655-2675·Zbl 1173.62021号 ·doi:10.1214/08-AOS678 [57] van der Vaart，A.W.和Wellner，J.A.（1996）。弱收敛与经验过程：统计应用。纽约州施普林格·Zbl 0862.60002号 [58] van Erven，T.和Harremoös，P.（2014）。雷尼散度和库尔贝克-莱布勒散度。IEEE传输。通知。神学60 3797-3820·Zbl 1360.94180号 [59] van de Geer，S.（2000）。M估计中的经验过程。剑桥大学出版社，剑桥·Zbl 1179.62073号 [60] Vapnik，V.N.和Chervonenkis，A.J.（1974年）。模式识别理论·Zbl 0284.68070号 [61] Walker，S.和Hjort，N.L.（2001年）。关于贝叶斯一致性。J.R.统计社会服务。B.统计方法63 811-821·Zbl 0987.62021号 ·doi:10.1111/1467-9868.00314 [62] 张涛（2006）。从（ϵ）-熵到KL熵：最小信息复杂度密度估计的分析。美国国家统计局34 2180-2210·兹比尔1106.62005 ·doi:10.1214/0090536000000704 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。