×

使用叠加平均贝叶斯预测分布(讨论)。 (英语) 兹比尔1407.62090

摘要:贝叶斯模型平均值在(mathcal{M})-开放设置中存在缺陷,在这种设置中,真正的数据生成过程不是合适的候选模型之一。我们采用点估计文献中的叠加思想,并推广到预测分布的组合。我们将效用函数扩展到任何合适的评分规则,并使用帕累托平滑的重要性抽样来有效计算所需的删去后验分布。我们将预测分布的叠加与几种备选方案进行了比较:平均值叠加、贝叶斯模型平均(BMA)、伪BMA和使用贝叶斯自举稳定的伪BMA变体。基于模拟和实际数据应用,我们建议堆叠预测分布,当计算成本存在问题时,使用引导伪BMA作为近似替代方案。

MSC公司:

2015年1月62日 贝叶斯推断
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Adams,J.、Bishin,B.G.和Dow,J.K.(2004)。《国会竞选代表:美国参议院选举中的折扣/定向投票证据》,《政治杂志》,66(2):348-373。
[2] Akaike,H.(1978年)。《关于时间序列模型的可能性》,《统计学家》,217-235。
[3] Bernardo,J.M.和Smith,A.F.M.(1994)。贝叶斯理论。约翰·威利父子公司·Zbl 0796.6202号
[4] Blei,D.M.、Kucukelbir,A.和McAuliffe,J.D.(2017)。《变分推理:统计学家评论》,《美国统计协会杂志》,112(518):859-877·doi:10.1080/01621459.2017.1285773
[5] Breiman,L.(1996)。“叠加回归”,机器学习,24(1):49–64·Zbl 0849.68104号
[6] Burnham,K.P.和Anderson,D.R.(2002年)。模型选择和多模型推理:一种实用的信息论方法。施普林格,第二版·Zbl 1005.62007号
[7] Clarke,B.(2003年)。“当模型近似误差不能忽略时,比较贝叶斯模型平均值和叠加”,《机器学习研究杂志》,4:683-712·Zbl 1102.68488号
[8] Clyde,M.和Iversen,E.S.(2013年)。“M-开放框架中的贝叶斯模型平均。”见Damien,P.、Dellaportas,P.、Polson,N.G.和Stephens,D.A.(编辑),贝叶斯理论与应用,483–498。牛津大学出版社。
[9] Fokoue,E.和Clarke,B.(2011年)。“优先模型列表选择的偏差-方差权衡”,《统计论文》,52(4):813–833·Zbl 1229.62072号 ·doi:10.1007/s00362-009-0289-6
[10] Geisser,S.和Eddy,W.F.(1979年)。“模型选择的预测方法”,《美国统计协会杂志》,74(365):153-160·Zbl 0401.62036号 ·doi:10.1080/016214519979.10481632
[11] Gelfand,A.E.(1996)。“使用基于抽样方法的模型确定”,Gilks,W.R.,Richardson,S.和Spiegelhalter,D.J.(编辑),《马尔可夫链蒙特卡罗实践》,145-162。查普曼和霍尔·Zbl 0840.62003号
[12] Gelman,A.(2004)。“参数化和贝叶斯建模”,《美国统计协会杂志》,99(466):537-545·Zbl 1117.62343号 ·doi:10.1198/016214500000458
[13] Gelman,A.和Hill,J.(2006年)。使用回归和多级/层次模型进行数据分析。剑桥大学出版社。
[14] Gelman,A.、Hwang,J.和Vehtari,A.(2014)。“理解贝叶斯模型的预测信息标准”,《统计学与计算》,24(6):997–1016·Zbl 1332.62090号 ·doi:10.1007/s11222-013-9416-2
[15] 乔治,E.I.(2010)。《稀释先验:模型空间冗余的补偿》,摘自《借力:理论驱动应用——劳伦斯·D·布朗的费斯切里夫》,158-165。数理统计研究所。
[16] Geweke,J.和Amisano,G.(2011年)。“最佳预测池”,《计量经济学杂志》,164(1):130–141·Zbl 1441.62700号 ·doi:10.1016/j.jeconom.2011.02.017
[17] Geweke,J.和Amisano,G.(2012年)。“用错误指定的模型进行预测”,《美国经济评论》,102(3):482-486。
[18] Gneiting,T.和Raftery,A.E.(2007年)。“严格正确的评分规则、预测和估计”,《美国统计协会杂志》,102(477):359-378·Zbl 1284.62093号 ·doi:10.1198/0162145000001437
[19] Gutiérrez-Peña,E.和Walker,S.G.(2005)。“统计决策问题和贝叶斯非参数方法”,《国际统计评论》,73(3):309-330·Zbl 1105.62006号
[20] Hoeting,J.A.、Madigan,D.、Raftery,A.E.和Volinsky,C.T.(1999)。《贝叶斯模型平均:教程》,《统计科学》,14(4):382-401·Zbl 1059.62525号 ·doi:10.1214/ss/1009212519
[21] Key,J.T.、Pericchi,L.R.和Smith,A.F.M.(1999)。“贝叶斯模型选择:什么以及为什么。”贝叶斯统计学,6:343–370·Zbl 0956.62007号
[22] Kucukelbir,A.、Tran,D.、Ranganath,R.、Gelman,A.和Blei,D.M.(2017年)。“自动微分变分推理”,《机器学习研究杂志》,18(1):430-474·Zbl 1437.62109号
[23] Le,T.和Clarke,B.(2017年)。“M-complete和M-open设置堆叠的贝叶斯解释”,贝叶斯分析,12(3):807-829·Zbl 1384.62298号 ·doi:10.1214/16-BA1023
[24] LeBlanc,M.和Tibshirani,R.(1996年)。“回归和分类中的组合估计”,《美国统计协会杂志》,91(436):1641-1650·Zbl 0881.62046号
[25] Li,M.和Dunson,D.B.(2016)。“从不完美模型进行概率推断的框架”,ArXiv电子版:1611.01241。
[26] Liang,F.、Paulo,R.、Molina,G.、Clyde,M.A.和Berger,J.O.(2008)。“贝叶斯变量选择的g先验混合”,《美国统计协会杂志》,103(481):410-423·兹比尔1335.62026 ·doi:10.1198/0162145000001337
[27] Madigan,D.、Raftery,A.E.、Volinsky,C.和Hoeting,J.(1996)。“贝叶斯模型平均”,载于《AAAI多学习模型集成研讨会论文集》,77–83页。
[28] Merz,C.J.和Pazzani,M.J.(1999)。“组合回归估计的主成分方法。”机器学习,36(1-2):9-32。
[29] Montgomery,J.M.和Nyhan,B.(2010年)。“贝叶斯模型平均:理论发展和实际应用”,《政治分析》,18(2):245-270。
[30] Piironen,J.和Vehtari,A.(2017年)。“模型选择的贝叶斯预测方法比较”,《统计与计算》,27(3):711-735·Zbl 1505.62321号 ·doi:10.1007/s11222-016-9649-y
[31] Rubin,D.B.(1981)。《贝叶斯引导法》,《统计年鉴》,9(1):130-134。
[32] Smyth,P.和Wolpert,D.(1998年)。“堆积密度估计”,《神经信息处理系统进展》,668-674。
[33] 斯坦发展团队(2017)。Stan建模语言:用户指南和参考手册。版本2.16.0,http://mc-stan.org/。
[34] Stone,M.(1977年)。“通过交叉验证和Akaike标准选择模型的渐近等价性”,《皇家统计学会杂志》。B系列(方法学),39(1):44–47·Zbl 0355.6202号
[35] Ting,K.M.和Witten,I.H.(1999)。“叠加泛化中的问题”,《人工智能研究杂志》,10:271-289·Zbl 0915.68075号 ·doi:10.1613/jair.594
[36] Vehtari,A.、Gelman,A.和Gabry,J.(2017a)。“帕雷托平滑了重要性抽样。”ArXiv电子版:1507.02646。
[37] Vehtari,A.、Gelman,A.和Gabri,J.(2017b)。“使用leave-on-out交叉验证和WAIC进行实用贝叶斯模型评估”,《统计与计算》,27(5):1413-1432·Zbl 1505.62408号 ·数字标识代码:10.1007/s11222-016-9696-4
[38] Vehtari,A.和Lampinen,J.(2002年)。“使用交叉验证预测密度的贝叶斯模型评估和比较”,《神经计算》,14(10):2439–2468·Zbl 1002.62029号 ·doi:10.1162/08997660260293292
[39] Vehtari,A.和Ojanen,J.(2012)。“模型评估、选择和比较的贝叶斯预测方法调查”,《统计调查》,6:142-228·Zbl 1302.62011年 ·doi:10.1214/12-SS102
[40] Wagenmakers,E.-J.和Farrell,S.(2004)。“使用Akaike权重选择AIC模型”,《心理通报与评论》,11(1):192-196。
[41] Watanabe,S.(2010年)。“贝叶斯交叉验证的渐近等价性和奇异学习理论中广泛适用的信息准则”,机器学习研究杂志,11:3571-3594·兹比尔1242.62024
[42] Wolpert,D.H.(1992)。“叠加泛化”,《神经网络》,5(2):241-259。
[43] Wong,H.和Clarke,B.(2004)。“模型不确定性下小样本贝叶斯预测的改进”,《加拿大统计杂志》,32(3):269-283·Zbl 1061.62041号 ·doi:10.2307/3315929
[44] Yang,Y.和Dunson,D.B.(2014)。“Minimax最优贝叶斯聚合”,ArXiv电子版:1403.1345。
[45] Yao,Y.、Vehtari,A.、Simpson,D.和Gelman,A.(2018年)。“使用叠加平均贝叶斯预测分布”的补充材料。”贝叶斯分析·兹比尔1407.62090 ·doi:10.1214/17-BA1091
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。