过度参数化状态下的分类与回归：损失函数重要吗？
维迪亚·穆图库马尔（Vidya Muthukumar）、阿德扬·纳朗（Adhyyan Narang）、维涅什·苏布拉曼尼亚（Vignesh Subramanian）、米哈伊尔·贝尔金（Mikhail Belkin; 22(222):1−69, 2021.
摘要
我们比较了具有高斯特征的超参数线性模型中的分类和回归任务。一方面，我们表明，在充分的过参数化情况下，所有训练点都是支持向量：通常用于回归的最小二乘最小范数插值得到的解与硬边支持向量机（SVM）生成的解相同，后者将铰链损失降到最低，通常用于训练分类器。另一方面，我们证明了存在这样的情况，即当用0-1测试损失函数评估时，这些插值解可以很好地推广，但如果用平方损失函数评估，则不能推广，即它们接近零风险。我们的结果表明，在训练阶段（优化）和测试阶段（泛化）使用的损失函数具有非常不同的作用和性质。
[腹肌]
[pdf格式][围兜]
