摘要
我们研究了关于平方损失的有界欧几里德球的预测问题以及最佳线性预测器。当仅假设数据生成分布的有界性时，我们证明了约束于有界欧几里德球的最小二乘估计不能达到经典的超额风险率，其中d日是协变量的维数n个是样本数。特别地，我们构造了一个有界分布，使得受约束的最小二乘估计量产生了过量的阶风险因此驳斥了Ohad Shamir最近的推测[JMLR 2015]。相比之下，我们观察到非线性预测可以达到最佳速率对协变量的分布没有假设。我们讨论了足以保证最小二乘估计的超额风险率。其中包括稳健统计文献中经常使用的某些矩等价假设。虽然这些假设在分析无界和重尾分布时至关重要，但我们的工作表明，在某些情况下，它们也排除了不利的有界分布。
资金筹措表
托马斯·瓦什凯维奇乌斯通过OxWaSP CDT计划（EP/L016710/1）得到EPSRC和MRC的支持。这项工作是在尼基塔·日沃托夫斯基（Nikita Zhivotovskiy）在苏黎世谷歌研究所（Google Research）工作时进行的。
致谢
我们感谢Shahar Mendelson富有成果的讨论和宝贵的反馈：特别是，他建议我们使用定理2.1中的二次过程分析技术，并激励我们研究下限。我们也很感谢Manfred Warmuth为预测因子提供了参考，该预测因子消除了我们的一个结果中出现的多余对数因子。最后，我们感谢Jaouad Mourtada进行了许多相关讨论。
引用
下载引文
托马斯·瓦什凯维奇乌斯。
尼基塔·日沃托夫斯基。
“约束最小二乘的次优性和通过非线性预测的改进。”
伯努利
29
(1)
473 - 495,
2023年2月。
https://doi.org/10.3150/22-BEJ1465
问询处
收到日期：2021年3月1日;发布日期：2023年2月
欧几里德项目首次提供：2022年10月13日
数字对象标识符：10.3150/22-BEJ1465
关键词：平均稳定性,约束最小二乘法,经验过程,岭回归,Vovk Azoury Warmuth预报员
