超出常规界限的PAC-Bayes分析

部分神经信息处理系统的进展33（NeurIPS 2020）

作者

Omar Rivasplata、Ilja Kuzborskij、Csaba Szepesvari、John Shawe-Tylor

摘要

我们关注一个随机学习模型，在该模型中，学习者观察到一组有限的训练示例，并且学习过程的输出是假设空间中的数据相关分布。然后，将学习到的数据依赖性分布用于进行随机预测，这里讨论的高级主题是确保对训练期间未看到的示例的预测质量，即泛化。在这种情况下，未知的感兴趣量是数据相关随机预测器的预期风险，其上限可以通过PAC-Bayes分析得出，从而得出PAC-Bayers界。

具体来说，我们给出了随机核的一个基本PAC-Bayes不等式，从中可以导出各种已知PAC-Bays界的扩展以及新的界。我们澄清了固定“无数据”先验、有限损失和身份证数据要求的作用。我们强调指出，这些要求用于上界指数矩项，而基本PAC-Bayes定理在没有这些限制的情况下仍然有效。我们给出了三个边界来说明数据相关先验函数的使用，包括一个用于无界平方损失的边界。