开放式访问
2019年12月 排序凹惩罚回归
龙凤,张存辉
安。统计师。 47(6): 3069-3098 (2019年12月)。 数字对象标识码:10.1214/18-AOS1759

摘要

拉索是有偏见的。凹减法最小二乘估计(PLSE)利用信号强度来减少这种偏差,从而在预测、系数估计和变量选择中产生更尖锐的误差界。对于预测和估计,拉索的偏差也可以通过采取比选择一致性要求更小的惩罚水平来降低,但这种较小的惩罚水平取决于真实系数向量的稀疏性。为了适应这种较小的惩罚水平,提出了排序的$\ell_{1}$惩罚估计(Slope)。然而,凹面PLSE和Slope的优点并不相互包含。我们提出了排序凹惩罚估计,以结合凹惩罚和排序惩罚的优点。我们证明了排序的凹惩罚自适应地选择较小的惩罚水平,同时受益于信号强度,特别是当很大一部分信号比相应的自适应选择的惩罚水平更强时。为了便于计算分类凹面PLSE,发展了分类凹面罚函数的局部凸近似,扩展了可分离凹面罚元的局部线性近似和二次近似,并证明了其具有期望的预测和估计误差界。我们对预测和估计误差的分析要求在设计中使用限制的特征值条件,而不是超出此条件,并在要求的最小信号强度条件下提供选择一致性。因此,我们的结果还通过删除稀疏Riesz条件的上稀疏特征值分量来锐化凹PLSE上的现有结果。

引用

下载引文

龙凤。 张存辉。 “排序凹面惩罚回归。” 安。统计师。 47 (6) 3069年至3098年, 2019年12月。 https://doi.org/10.1214/18-AOS1759

问询处

收到日期:2017年11月1日修订日期:2018年6月1日发布日期:2019年12月
首次在欧几里得项目中提供:2019年10月31日

数字对象标识符:10.1214/18-AOS1759

学科:
主要用户:62J05型,62J07型
次要:62甲12

关键词:凹形惩罚,局部凸逼近,最低最高利率,惩罚最小二乘,限制特征值,信号强度,斜坡,已排序的惩罚

版权所有©2019数学统计研究所

第47卷•第6期•2019年12月
返回页首