摘要
切比雪夫或在求解线性回归问题时,估计器是普通最小二乘法的非传统替代方法。它被定义为目标函数
最近研究了固定协变量数下切比雪夫估计量的渐近分布(Knight(2020)),但有限样本保证和推广到高维设置仍然是开放的。本文给出了估计误差的非渐近上界对于Chebyshev估计量,在具有均匀分布噪声的回归设置中哪里一已知或未知。对(随机)设计矩阵的假设相对温和X(X),我们可以将错误率限定为概率很高,对于某些常数取决于尺寸第页以及设计的规律。此外,我们还证明了存在切比雪夫估计是(近似)极小极大最优的设计。另一方面,我们还认为存在这样的设计,即该估计器在常数方面表现为次优的依赖性第页最后,我们证明了在高维情况下,只要噪声是均匀的,“切比雪夫LASSO”比常规LASSO具有优势。具体地说,我们认为,在稀疏度水平和环境维度相对于样本大小的增长率的某些假设下,它实现了更快的估计速度。
鸣谢
作者要感谢Sivaraman Balakrishnan就这个话题进行了鼓舞人心的讨论,特别是下限和他对这部作品的介绍提出的建议。第二作者还感谢Alexandre Tsybakov和Tony Cai向他传达了他们的信念,即下限很紧,在高斯情况下,应该尝试改善上限。最后,作者对AE和两位匿名审稿人提出的有见地的建议表示感谢,这些建议使手稿得到了实质性的改进。
引用
下载引文
Yufei Yi。
马提·内科夫(Matey Neykov)。
“非症状边界均匀噪声线性回归中的估计量。"
伯努利
30
(1)
534 - 553,
2024年2月。
https://doi.org/10.3150/23-BEJ1607
问询处
收到日期:2022年10月1日;发布日期:2024年2月
欧几里德项目首次推出:2023年11月8日
数字对象标识符:10.3150/23-BEJ1607
关键词:切比雪夫估计量,切比雪夫的LASSO,线性模型,均匀分布