高维因子回归中的内插预测
弗洛伦蒂娜·布内亚、塞思·斯特里马斯·马基、马丁·维坎普; 23(10):1−60, 2022.
摘要
本文研究了高维回归模型中最小范数插值预测器风险的有限样本性质。如果$p$回归特征的协方差矩阵$\Sigma$的有效秩远大于样本大小$n$，我们表明最小形式插值预测因子是不可取的，因为其风险接近于将响应预测为0的普通风险。然而，令人惊讶的是，我们详细的有限样本分析表明，当回归响应和特征共同为低维时，在广泛使用的因子回归模型下，这种行为并不存在。在这个流行的模型类中，当$\Sigma$的有效秩小于$n$，同时仍允许$p\gg n$时，超额风险的偏差和方差项都可以控制，并且最小范数插值预测器的风险接近最佳基准。此外，通过对偏差项的详细分析，我们展示了一些模型类，在这些模型类下，超额风险的上界接近于零，而在最近的工作arXiv:1906.11300中，相应的上界出现了分歧。此外，我们还表明，在因子回归模型下分析的最小范数插值预测因子，尽管具有模型预测性且没有调整参数，但与基于主成分回归和岭回归的预测因子具有相似的风险，并且可以改进基于LASSO的预测因子，在高维状态下。
[腹肌]
[pdf格式][围兜]
