核化谱滤波学习算法的差异原理分析

阿兰·塞利斯(Alain Celisse)、马丁·沃尔(Martin Wahl)。

年份:2021年,数量:22,版本:76,页码:1-59


摘要

在使用迭代学习算法且最优迭代次数未知的非参数回归问题中,我们研究了提前停止规则的构造。更准确地说,我们研究了包括Tikhonov正则化和梯度下降在内的核化谱滤波器学习算法的差异原理以及基于平滑残差的修改。我们的主要理论界是针对经验估计误差(固定设计)和预测误差(随机设计)建立的预言不等式。从这些有限样本边界可以看出,经典差异原则在统计上适用于硬学习场景中出现的低速率,而平滑差异原则适用于更快的速率范围(对应更高的平滑度参数)。我们的方法依赖于固定设计设置中停止规则的偏差不等式,并结合改变形式的参数来处理随机设计设置。

PDF格式 BibTeX公司