神经网络的更严格风险证书
玛丽亚·佩雷斯·奥尔蒂斯、奥马尔·里瓦斯普拉塔、约翰·沙韦·泰勒、塞佩斯瓦里; 22(227):1−40, 2021.
摘要
本文对利用PAC-Bayes界导出的训练目标训练概率神经网络进行了实证研究。在概率神经网络的背景下，训练的输出是网络权重的概率分布。我们提出了两个训练目标，在这里首次用于训练神经网络。这两个培训目标源自严格的PAC-Bayes界限。我们还基于经典PAC-Bayes界重新实现了以前使用的训练目标，以比较使用不同训练目标学习的预测因子的属性。我们根据用于学习预测因子的部分数据计算所学预测因子的风险证书。我们进一步实验了不同类型的先验值对权重（无数据先验值和数据相关先验值）和神经网络结构的影响。我们在MNIST和CIFAR-10上的实验表明，我们的训练方法会产生竞争性测试集错误和非空风险边界，其值比文献中以前的结果要小得多，这表明我们不仅可以通过风险边界指导学习算法，而且可以用于模型选择。这些观察结果表明，这里研究的方法可能是自我认证学习的良好候选者，即使用整个数据集学习预测器，并在任何未知数据（来自与训练数据相同的分布）上证明其风险，而无需保留测试数据。
[腹肌]
[pdf格式][围兜] [代码]
