开放式访问
2011年4月 指数筛选与稀疏估计的最优速率
菲利普·里戈莱特,亚历山大·茨巴科夫
安。统计师。 39(2): 731-771 (2011年4月)。 数字对象标识码:10.1214/10-AOS854

摘要

在高维线性回归中,这里追求的目标是使用一组合适的协变量的线性组合来估计未知回归函数。在此设置中,任何统计程序成功的关键假设之一是假设线性组合在某种意义上是稀疏的,例如,它只涉及很少的协变量。我们考虑一个带有高斯噪声的一般非必然线性回归,并研究了一个相关问题,即寻找一个同时稀疏且具有较小均方误差(MSE)的近似函数的线性组合。我们引入了一个新的估计过程,称为指数筛选,显示出显著的适应特性。它适用于最佳平衡MSE和稀疏性的线性组合,无论后者是根据组合中非零项的数量来衡量的(0范数)或组合的全局权重(1规范)。这一自适应结果的威力通过表明指数筛选最优地同时解决了文献中讨论的高斯回归中的所有聚集问题来说明。此外,我们还表明,即使预先知道最佳稀疏度,指数筛选估计器的性能也无法在极大极小意义上得到改善。此外,还讨论了指数筛选与最新稀疏程序相比的理论和数值优势。

引用

下载引文

菲利普·里戈莱特(Philippe Rigollet)。 亚历山大·茨巴科夫(Alexandre Tsybakov)。 “指数筛选和稀疏估计的最佳速率。” 安。统计师。 39 (2) 731年至771年, 2011年4月。 https://doi.org/10.1214/10-AOS854网址

问询处

发布日期:2011年4月
首次在欧几里得项目中提供:2011年3月9日

zbMATH公司:1215.62043
数学科学网:2816337英镑
数字对象标识符:10.1214/10-AOS854

学科:
主要用户:62G08号
次要:62C20个,62G05型,62克20,62J05型

关键词:适应,聚合,银行识别码,高维回归,拉索,最低最高费率,稀疏度,稀疏oracle不等式

版权所有©2011数学统计研究所

第39卷•第2期•2011年4月
返回页首