摘要
在高维线性回归中,这里追求的目标是使用一组合适的协变量的线性组合来估计未知回归函数。在此设置中,任何统计程序成功的关键假设之一是假设线性组合在某种意义上是稀疏的,例如,它只涉及很少的协变量。我们考虑一个带有高斯噪声的一般非必然线性回归,并研究了一个相关问题,即寻找一个同时稀疏且具有较小均方误差(MSE)的近似函数的线性组合。我们引入了一个新的估计过程,称为指数筛选,显示出显著的适应特性。它适用于最佳平衡MSE和稀疏性的线性组合,无论后者是根据组合中非零项的数量来衡量的(ℓ0范数)或组合的全局权重(ℓ1规范)。这一自适应结果的威力通过表明指数筛选最优地同时解决了文献中讨论的高斯回归中的所有聚集问题来说明。此外,我们还表明,即使预先知道最佳稀疏度,指数筛选估计器的性能也无法在极大极小意义上得到改善。此外,还讨论了指数筛选与最新稀疏程序相比的理论和数值优势。
引用
下载引文
菲利普·里戈莱特(Philippe Rigollet)。
亚历山大·茨巴科夫(Alexandre Tsybakov)。
“指数筛选和稀疏估计的最佳速率。”
安。统计师。
39
(2)
731年至771年,
2011年4月。
https://doi.org/10.1214/10-AOS854网址
问询处
发布日期:2011年4月
首次在欧几里得项目中提供:2011年3月9日
数字对象标识符:10.1214/10-AOS854
学科:
主要用户:62G08号
次要:62C20个,62G05型,62克20,62J05型
关键词:适应,聚合,银行识别码,高维回归,拉索,最低最高费率,稀疏度,稀疏oracle不等式
版权所有©2011数学统计研究所