渐近最优精确小批量都市——黑斯廷斯

的一部分神经信息处理系统的进展33（NeurIPS 2020）

作者

张若琪、A.Feder Cooper、Christopher M.De Sa

摘要

Metropolis-Hastings（MH）是一种常用的MCMC算法，但由于需要对整个数据集进行计算，因此它在大型数据集上可能很难实现。在本文中，我们研究了emph{minibatch MH}方法，它使用子样本来启用缩放。我们观察到，大多数现有的小批量MH方法都是不精确的（即它们可能会改变目标分布），并表明这种不精确性会导致推理中出现任意大的错误。我们提出了一种新的精确小批量MH方法，\emph{TunaMH}，它揭示了小批量大小和理论上保证的收敛速度之间的可调权衡。我们证明了任何小批量MH方法在保证快速收敛的同时必须保持精确性的批量大小的一个下界，即小批次MH的第一个此类下界，并表明TunaMH在批量大小方面是渐近最优的。经验表明，TunaMH在稳健线性回归、截断高斯混合和逻辑回归方面优于其他精确的小批量MH方法。