测试错误的原因是什么？通过方差分析超越偏差方差
林立聪，埃德加·多布里班; 22(155):1−82, 2021.
摘要
现代机器学习方法常常被过度参数化，从而能够在精细的水平上适应数据。这似乎令人费解；在最坏的情况下，这种模型不需要泛化。这个谜题激发了大量的工作，争论过参数化如何减少测试错误，这一现象被称为“双重下降”。最近的工作旨在更深入地理解为什么过度参数化有助于泛化。这导致发现作为参数化水平函数的方差的单峰性，并将方差分解为由训练数据中的标签噪声、初始化和随机性引起的方差，以了解误差的来源。在这项工作中，我们加深了对这一领域的理解。具体而言，我们建议使用方差分析（ANOVA）以对称方式分解测试误差中的方差，以研究某些两层线性和非线性网络的泛化性能。方差分析的优点是它比以前的方法更清楚地揭示了初始化、标签噪声和训练数据的影响。此外，我们还研究了方差分量的单调性和单峰性。虽然先前的工作研究了总体方差的单峰性，但我们研究了方差分解中每个项的性质。我们的一个关键见解是，训练样本和初始化之间的相互作用往往会主导方差；令人惊讶的是，其影响超过了边际效应。此外，我们还描述了方差从单峰变为单调的“相变”。在技术层面上，我们利用先进的确定性等效技术对哈尔随机矩阵进行分析，据我们所知，这一领域尚未使用。我们在数值模拟和经验数据示例中验证了我们的结果。
[腹肌]
[pdf格式][围兜]
