多重随机特征模型中的多重下降
孟旭然、姚建峰、袁操; 25(44):1−49, 2024.
摘要
最近的研究表明，在过参数化学习中存在双重下降现象。尽管最近的工作已经对这一现象进行了研究，但在理论上还没有完全理解。本文研究了一类多分量预测模型中的多重下降现象。我们首先考虑连接两种类型随机特征的“双随机特征模型”（DRFM），并研究DRFM在岭回归中实现的超额风险。我们在高维框架下计算了超额风险的精确极限，其中训练样本大小、数据维数和随机特征维数成比例地趋于无穷大。基于计算，我们进一步从理论上证明了DRFM的风险曲线可以表现为三次下降。然后我们提供了一个彻底的实验研究来验证我们的理论。最后，我们将我们的研究扩展到了“多重随机特征模型”（MRFM），并证明了集合$K$类随机特征的MRFM可能表现出$（K+1）$倍的下降。我们的分析指出，在学习多分量预测模型时，通常存在具有特定下降次数的风险曲线。
[腹肌]
[pdf格式][围兜]
