开放式访问
2021 使用自一致性对$M$估计量的有限样本分析
德米特里·奥斯特罗夫斯基,弗朗西斯·巴赫
电子。J.统计。 15(1): 326-391 (2021). 内政部:10.1214/20-EJS1780

摘要

参数$M$-估计量的经典渐近理论保证,在无限样本容量的极限下,即使在指定错误的情况下,超额风险也具有双平方型分布。我们演示了如何自我一致性损耗的百分比允许表征临界样本量足以保证对超额风险有一个chi-square类型的概率界限。具体来说,我们考虑两类损失:(i)Nesterov和Nemirovski经典意义上的自洽损失,即其三阶导数与二阶导数的3/2$幂一致有界;(ii)自动记录损失,为此断电。这些类别包含对应于几个广义线性模型的损失,包括逻辑损失和伪Huber损失。

我们在最小假设下的基本结果将临界样本大小限定为$O(d\cdot d_{\text{eff}})$,其中$d$是参数维,$d_{text{eff{}$是导致模型错误指定的有效维。与现有的结果相反,我们只是强加地方的与人口风险最小化器$\theta_{*}$有关的假设。也就是说,我们假设校准的预测因子,即按损失二阶导数平方根缩放的预测因子,在$\theta_{*}$处是亚高斯的。此外,对于i型损失,我们要求人口风险在$\theta_{*}$处曲率的某些度量具有有界性。

我们改进后的结果在稍强的假设下,将上述临界样本大小限定为开头{方程*}O(max\{d_{text{eff}},d\log d\})结束{方程*}。也就是说,局部假设必须在人口风险的Dikin椭球给出的$\theta_{*}$附近成立。有趣的是,我们发现,对于高斯设计的logistic回归,没有实际的条件限制:Dikin椭球上的次高斯参数和曲率测度保持近常数。最后,我们将这些结果推广到高维的$\ell_{1}$-spensived估计。

引用

下载引文

德米特里·奥斯特罗夫斯基。 弗朗西斯·巴赫。 “使用自我一致性对$M$估值器进行有限样本分析。” 电子。J.统计。 15 (1) 326 - 391, 2021 https://doi.org/10.1214/20-EJS1780

问询处

收到日期:2020年3月1日;发布日期:2021年
欧几里德项目首次推出:2021年1月6日

数字对象标识符:10.1214/20-EJS1780

受试者:
主要用户:10层62层,2012年12月62日,62F99型
次要:90 C90

关键词:$M$-估价师,经验风险最小化,快速利率,逻辑回归,随机设计,稳健性,自我一致性

第15卷•第1期•2021
返回页首