正则化风险最小化下分布转移下的单调风险关系
Daniel LeJeune、Jiayu Liu、Reinhard Heckel; 25(54):1−37, 2024.
摘要
机器学习系统通常应用于从与训练分布不同的分布中提取的数据。最近的工作表明，对于各种分类和信号重建问题，分布外性能与分布内性能呈强线性相关。如果这种关系或者更普遍地说是一种单调的关系成立，那么它会产生重要的后果。例如，它允许在一个分发上优化性能，作为另一个分发的性能代理。在本文中，我们研究了预期模型在两个分布上的性能之间存在单调关系的条件。我们证明了协变位移下脊正则化一般线性模型平方误差的精确渐近线性关系和误分类误差的单调关系，以及线性反问题的近似线性关系。
[腹肌]
[pdf格式][围兜] [代码]
