具有平均平滑度的函数:结构、算法和学习
Yair Ashlagi、Lee-Ad Gottlieb、Aryeh Kontorovich; 25(117):1−54, 2024.
摘要
为了有效地学习度量空间上的实值函数,我们启动了一个平均平滑度分析程序。我们没有使用Lipschitz常数作为正则化器,而是在每个点定义了一个局部斜率,并将函数复杂性作为这些值的平均值进行度量。由于平均值可能显著小于最大值,因此这种复杂度度量可以产生相当尖锐的泛化界限——假设这些界限允许Lipschitz常数被我们的局部斜率平均值取代的精化。我们的第一个主要贡献是获得了这样的分布敏感边界。这需要克服一些技术挑战,其中最困难的可能是限制经验覆盖数字,这可能比环境数据更令人担忧。我们的组合结果伴随着有效的算法,用于平滑随机样本的标签,并保证从样本到整个空间的扩展将继续以较高的概率平均平滑。在这个过程中,我们在我们定义的函数类中发现了一个异常丰富的组合和分析结构。
[腹肌]
[pdf格式][围兜]