摘要
本文研究了基于变分贝叶斯的自适应推理。虽然已经进行了几项研究来分析变分后验函数的收缩特性,但仍然缺乏一种通用且易于计算的变分贝叶斯方法来执行自适应推理。为了填补这一空白,我们提出了一部小说自适应变分贝叶斯框架,可以对模型集合进行操作。该框架首先对每个单独的模型分别计算一个变分后验,然后将其与一定的权重组合,以生成整个模型的变分后证。结果表明,在预先定义的近似分布族中,这个组合变分后验函数是整个模型中最接近后验函数的成员。我们证明了在非常一般的条件下,自适应变分贝叶斯自适应地获得最优收缩率。我们还提供了一种方法来保持自适应变分贝叶斯的可处理性和自适应最优性,即使在存在大量单个模型(如稀疏模型)的情况下也是如此。我们将一般结果应用于几个示例,包括深度学习和稀疏因子模型,并导出新的自适应推理结果。此外,我们刻画了变分贝叶斯的隐式正则化效应,并表明自适应变分后验函数可以利用它。
资金筹措表
我们感谢NSF拨款DMS CAREER 1654579和DMS 2113642的慷慨支持。第一位作者得到了韩国政府(MSIT)资助的韩国国家研究基金会(NRF)拨款(NRF-2022R1F1A1069695)和INHA大学研究拨款的支持。
致谢
我们非常感谢主编、副主编和三位审稿人的宝贵意见,这些意见使我们的论文有了实质性的改进。我们要感谢蔡敏宇、李京杰、李成丽和瑞恩·马丁提出的有益意见和建议。
引用
下载引文
伊桑·奥恩(Ilsang Ohn)。
林丽珍。
自适应变分贝叶斯:最优化、计算和应用
安。统计师。
52
(1)
335 - 363,
2024年2月。
https://doi.org/10.1214/23-AOS2349
问询处
收到日期:2022年10月1日;修订日期:2023年9月1日;出版时间:2024年2月
欧几里德项目首次推出:2024年3月7日
数字对象标识符:10.1214/23-AOS2349
学科:
主要用户:62C10个
次要:6220国集团
关键词:自适应推理,深度神经网络,模型选择一致性,后收缩率,准后验,变分贝叶斯
版权所有©2024数学统计研究所