开放式访问
2017年12月 指定错误线性模型的贝叶斯推断的不一致性及其修复建议
彼得·格伦沃尔德,Thijs van Ommen公司
贝叶斯分析。 12(4): 1069-1103 (2017年12月)。 数字对象标识码:10.1214/17-BA1085

摘要

我们的经验表明,在简单线性回归问题中,无论是在模型平均/选择还是在贝叶斯岭回归设置中,贝叶斯推断在错误指定的情况下都可能不一致。我们使用标准线性模型,该模型假设同方差,而数据是异方差的(不过,重要的是,没有离群值)。随着样本量的增加,后部将其质量放在更高维度的越来越差的模型上。这是由于超压缩后验函数将其质量放在与地面真实值的KL偏离比其平均值大得多的分布上的现象,即贝叶斯预测分布。为了解决这个问题,我们将贝叶斯定理中的似然配置为一个称为学习率的指数,并提出安全贝叶斯方法从数据中学习学习率。一旦发生超压缩,SafeBayes倾向于选择较小的学习率,并进行更多的正则化。它在我们的数据上的结果非常令人鼓舞。

引用

下载引文

彼得·格伦沃尔德(Peter Grünwald)。 Thijs van Ommen。 “错误指定线性模型的贝叶斯推断的不一致性,以及修复它的建议。” 贝叶斯分析。 12 (4) 1069 - 1103, 2017年12月。 https://doi.org/10.1214/17-BA1085

问询处

发布日期:2017年12月
首次在欧几里得项目中提供:2017年11月18日

zbMATH公司:1384.62088
数学科学网:MR3724979号
数字对象标识符:10.1214/17-BA1085

第12卷•第4期•2017年12月
返回页首