基于离散随机微分方程的机器学习后验采样策略
弗雷德里克·希伯、特尔斯塔诺娃、本尼迪克特·莱姆库勒; 21(228):1−33, 2020.
摘要
随着GPU辅助硬件的出现和高效软件平台（如TensorFlow和PyTorch）的成熟，神经网络的贝叶斯后验采样变得可行。在本文中，我们讨论了基于马尔可夫链蒙特卡罗方法的机器学习中的贝叶斯参数化，特别是离散化随机微分方程，如朗之万动力学和扩展系统方法，其中使用步行者集合来增强采样。通过研究（并可视化）应用于MNIST数据集的神经网络的损失情况，我们初步了解了采样密集型方法的潜力。此外，我们还研究了如何通过系综准牛顿预处理方法显著提高采样效率。本文附带发布了一个新的TensorFlow软件包，即用于计算实验的热力学分析工具。
[腹肌]
[pdf格式][围兜] [代码]
