总结

我们考虑了同方差非参数回归模型中噪声方差的估计问题。对于低维协变量t吨∈ ℝd日,d日=1,2,基于差分的估计量已经在一系列论文中进行了研究。对于这种估计量的给定长度,可以计算出使渐近均方误差最小的差分格式d日=1和d日=2.然而,从数值研究中可以看出,对于有限样本量,由于存在较大的有限样本偏差,这些估计器的性能可能不足。我们为这些发现提供了理论支持。特别地,我们表明随着维数的增加d日这变得更加激烈。如果d日这些估计值甚至不一致。讨论了一类不同的估计量,它们可以更好地控制偏差,并在以下情况下保持一致d日4.将这些估计量与核型估计量(渐近有效)进行了数值比较,并对何时需要使用它们给出了一些指导。

1.简介

最近,误差方差的估计σ2=E类[ε2]在非参数回归模型中

Y(Y)=(t吨)+εt吨d日,=1,,N个,
(1)

受到了很多关注。信号估计本身需要方差的知识,例如计算置信带或带宽和其他平滑参数的最佳选择。此外,它的方差或变换在技术应用、图像恢复、金融时间序列分析等方面有着直接的意义。关于进一步的应用,我们参考Carroll和Ruppert(1988),凯(1988)哈德尔和茨巴科夫(1997). 特别是在一维预测器的情况下,t吨∈ ℝ1,已在文献中广泛讨论,并提出了各种估计值。这些估计中最流行的要追溯到冯·诺依曼(von Neumann)(1941),观测值的平方连续差的简单平均值,

σ^2=12(N个1)=2N个(Y(Y)Y(Y)1)2.
(2)

赖斯也使用了该估算值(1984)并以各种方式修改为所谓的基于差分的估计量(Gasser. (1986),凯(1988),霍尔. (1990,1991)和汤普森. (1991)等)。差分估值器仅适用于存在均匀噪声的情况,即误差方差不依赖于回归量t吨对于具有非均匀方差的回归模型,Müller和Stadtmüller提出了基于核的估计量(1987)、霍尔和卡罗尔(1989)、霍尔和马隆(1990)和诺依曼(1994)最近,Ruppert独立研究了局部多项式估计等。(1997)、哈德勒和茨巴科夫(1997)还有范和姚(1998).

尽管方差估计d日=1在文献中得到了广泛的治疗d日据我们所知,很少有人考虑=2d日3从未被明确处理过。这可能是基于一个诱人的推测,即原则上d日=1,2可以直接转移到高维情况。然而,我们将看到,对于基于差异的估计量,情况并非如此。

基于差异的估计量在实践中非常流行,因为它们很容易实现,特别是当协变量的维数大于1时。相比之下,平滑方法的计算复杂得多,数据驱动的平滑参数选择是一个困难的实际问题(Ruppert等。,1997). 特别是,当协变量为高维时,由于众所周知的“维数诅咒”,会出现额外的困难。正如霍尔所指出的那样,永不放弃等。(1990)差分估计量的渐近效率低于平滑方法,例如核估计量,其达到了渐近极小极大界(Hall和Marron,1990). 因此,在差分估计器类别中,选择通过最小化均方误差(MSE)获得的特定差分估计器是合理的目标。事实证明,这可以在最大观测次数(差分格式的长度)考虑计算这种估计所需的局部残差。霍尔利用了这个想法等。(1990)对于一维协变量并在Hall中扩展等。(1991)与案件有关d日=2.在这两种情况下,证明了具有规定长度的基于差分的估计类的偏差贡献是(渐近)可忽略的,因此仍然需要将方差最小化为MSE的渐近支配部分。结果估计值将被称为最优差分估计.

然而,在下文中,我们将说明d日∈ℕ类似的结果不再成立。更准确地说,我们证明了方差最小差分估计量的平方偏差是有序的O(运行)(N个−2/d日). 相反,差异是有序的O(运行)(N个−1/2),因此d日4对于渐近MSE,偏差不可忽略。更剧烈的是,如果d日4这意味着这些估计值不再√N个一致。这意味着冯·诺依曼的推广(1941)具有维数回归变量的估计量(2)d日4条引线至√N个-不一致估计。因此,相应的中心极限定理不成立。

这是众所周知的(霍尔等。,1991; 汤普森等。,1991)这个案子已经开始了d日=1,2最优基于差分的估计量可以提供相当大的有限样本偏差,尽管对于尖峰或快速变化的信号,渐近不相关.汤普森等。(1991)通过使用边缘检测算法,去除图像发生快速变化的点上的观测值,获得了改进的性能。第3节将通过偏差的二阶展开来解释这一点。此外,这表明已经d日=1,2,3基于差分的估计量渐近的应用MSE时必须更加谨慎,协变量的维数增加得越多。

为了克服最优差分格式的这些缺点,请参阅第节提出了一类特殊的基于差分的多项式加权差分估计。这些估计量的特征是估计σ2对任何人都是公平的d日-维多项式达到特定程度。这扩展了凯的想法(1988)、汤普森. (1991),塞弗特. (1993)和Dette. (1998). 结果表明,即使对于大维度,估计量也有足够小的偏差d日特别是,这些估计量保持一致,尽管它们的渐近效率不如核估计量。我们的发现与斯波科尼的极小极大结果有关(2002)世界卫生组织显示,对于两次可微回归函数,√N个-费率仅适用于d日8; 否则,最佳速率为N个−4/d日事实上,对他的证明进行了修改,得到了一个一次可微函数N个-费率d日4作为最小最大速率N个−2/d日如果d日>4.因此,我们的估计对于任何d日∈ℕ。要对此进行更详细的调查,请参见第节4我们推广了Hall和Marron的核估计(1990)与案件有关d日2,并将其与蒙特卡罗研究中的局部多项式和基于差分的估计进行比较。如有要求,可从作者处获得C++代码。我们的结果可以总结如下。实际上,在所有情况下,具有交叉验证带宽的核估计量都优于任何(渐近)最优差分估计量。除此之外,事实证明,局部线性估计器的额外改进是可以忽略不计的。对于波动信号,基于核的估计通常优于多项式加权估计。这种影响对于增加d日此外,基于核的估计量的计算量随着d日增加。相反,即使是大型d日,多项式加权估计量易于执行且在计算上可行。对于具有长度的多项式加权估计量,在偏差控制和小方差之间取得了很好的折衷第页4.对于非常平滑的信号,最优加权估值器或基于核的估值器可以获得显著的改进。总之,具有长度多项式加权方案的差分估计第页4是更有效但计算密集型内核估计器的有效替代方案。当无法排除时,应始终使用它们先验的信号尖峰或起伏。

为了使论文更具可读性,我们将所有校样推迟到附录A。我们将从下一节开始,简要总结可用于该案例的基于差分的估计量的MSE结果d日=1.这将有助于更好地理解案件d日2

2.差分估值器d日=1

假设在本节中,我们观察到模型(1)中的独立数据,其中d日=1和E类[ɛ]=0,E类[ε2]=σ2γ4:=σ4E类[ε4]<.让Y(Y)=(Y(Y)1,…,Y(Y)N个),并让tr()表示矩阵的迹在本文中,对于设计点的三角形方案(t吨1,N个,…,t吨N个,N个)我们只需写(t吨1,…,t吨N个).

定义1。差分(或加权)排序方案第页∈ℕ是向量d日=(d日k)k=0,…,第页∈ ℝ第页+1这样的话

k=0第页d日k=0,
k=0第页d日k2=1

阶(或长度)的差分估计第页∈ℕ是随机二次型

σ^2=Y(Y)T型Y(Y)/信托收据(),
(3)

哪里=˜T型˜

˜=(d日0d日第页0000d日0d日第页)(N个第页)×N个.

定理1(霍尔等人。,1990). 假设设计要点(t吨)=1,…,N个在单位间隔[0,1]内并满足条件

0t吨(f)(t吨)d日t吨=/N个,=1,,N个
(4)

对于任何N个∈ℕ,其中(f)是[0,1]上远离零的密度。进一步假设,(f)嘴唇γ[0,1]1,γ>14,其中

嘴唇γ[0,1]d日:={(f):[0,1]d日:c(c)服从|(f)(x个)(f)()|c(c)x个γ,x个,[0,1]d日}.

那么σ^*2在基于差分的阶估计类中最小化第页,当且仅当

=最大值(0,k)最小值(第页,第页k)d日d日+k=12第页
(5)

对于1|k|第页.相应的重量(d日0*,,d日第页*)(直至初始符号和反转顺序)唯一,且相应差分估计量的MSEσ^*2具有一阶展开

MSE公司(σ^*2)=σ4N个(γ41+1第页)+o个(N个1).
(6)

定理1的证明可以在霍尔找到. (1990). 我们提到,当用方案代替最小化问题时,可以得到更简单的证明(d日k)k=0,…,第页矩阵在方程式中()在适当的类别中最小化(Munk,2002). 从定理1可知第页的渐近MSEσ^*2减少。然而,如第节所述1这可以与有限样本MSE形成对比σ^*2这主要取决于和样本量N个.让C类()[0,1]是乘以[0,1]上的连续可微函数。

定理2( 德特等。,1998).γ:=σE类[ε]=0并假设设计间距相等,即。t吨=/N个,=1,…,N个.那么我们有,因为C类(2)[0,1]带22=012(t吨)d日t吨,

MSE公司(σ^*2)=σ4N个(γ41+1第页)+(2第页+1)2(第页+1)2144N个4(24+4σ2N个22)+o个(N个5).

从这个结果可以明显看出,对于较大的║值2和║′′2有限样本MSE变大。此外,MSE随着第页增加。回想一下,这与一阶展开式(6)相反,它表明我们选择第页尽可能大。对于一些示例和数值研究,我们参考汤普森. (1991)或Dette. (1998). 一类基于差分的估计量,允许将偏差减少到任何阶O(运行)(N个),∈ℕ,由Kay介绍(1988)、汤普森. (1991)和塞弗特. (1993). 它由多项式差分格式给出

d日k=(k)(1)k/(2)1/2,k=0,,.
(7)

如果我们将相应的估计量表示为σ^2可以看出,对于C类(2)[0,1],

MSE公司(σ^2)σ4N个{γ41+2(42)(2)2}+(2)2(()24N个4+4σ2(2)22N个4+1).

特别是,偏差是有序的O(运行)(N个−2). 注意,当信号为多项式时,多项式差分格式(7)提供了方差的无偏估计−1(汤普森等。,1991).

备注1。我们简要说明了如何将上述讨论转移到非等距或随机设计中。有关更多详细信息,请参阅Wagner(1999). 为了减少偏差O(运行)(N个−2)在任何非等距设计模型中,通常有两种选择。一个是矩阵根据差分法构造,类似于牛顿插值公式(参见斯托尔(1979)). 在这种情况下,产生的差分方案还取决于设计点t吨,并且它生成所有多项式的无偏估计在一定程度上,与等距情况完全相同(参见塞弗特等。(1993)).

另一种可能性是提出限制(f)C类(第页−1)密度[0,1](f)在条件(4)中生成设计点。在这种情况下,可以表明,与等距设计模型中相同的差分格式可以用于渐近实现相同阶的偏差。然而,请注意,对于回归多项式类,得到的估计量不再是无偏的。

按顺序减少随机设计模型中的偏差O(运行)(N个−2),不依赖于设计点的差分方案不再有效。要了解这一点,请考虑第页=2和(d日0,d日1,d日2)=(1,−2,1)√6. (x个)=x个并假设独立、相同分布的设计点X(X)U型(0,1)与误差无关ɛ在这种情况下,简单的计算表明方差估计器的偏差σ^2等于E类[X(X)(+2)X(X)(+1)−(X(X)(+1)X(X)())]2/√6=2/{√6(N个+1)(N个+2) },因此是有序的O(运行)(N个−2),而不是订单O(运行)(N个−4)至于固定设计。然而,减少偏差的一种有效可能性是构成矩阵作为函数的设计点与上述方法的区别。

3.更高的尺寸

现在我们来研究更高维的基于差分的估计量。特别是,本案d日=2发生在各种应用中(参见Bissantz和Munk(2002)对于天体物理学中的应用),并且对成像特别感兴趣,因为这里的模型(1)是数字图像处理的标准模型,其中图像的噪声版本必须从数据中恢复。在这里,方差的知识对于平滑参数的选择以及作为结果图像质量的全局度量都很重要。早期推荐人为Lee(1981)和Kay(1988); 更多参考资料见汤普森. (1991)或霍尔. (1991). 赫尔曼. (1995)考虑到所有可能的Delaunay三角网(Ripley,1981).

考虑模型(1),其中t吨=(t吨1,…,t吨d日)′ ∈ ℝd日。我们假设观测值来自d日-尺寸网格,以便k=1,…,n个k,k=1,…,d日。在下面的整个过程中,让

n个:=最小值k=1,,d日(n个k),N个:=k=1d日n个k,
(8)

然后让

kn个k=0t吨k(f)k()d日,k=1,,d日,
(9)

哪里(f)k,k=1,…,d日,是指远离零的设计密度。假设错误满足

E类[ε]=0,E类[ε2]=σ2,γ:=σE类[ε]<,  =,4}
(10)

概括Kay的想法(1988)、汤普森. (1991)和霍尔. (1991),我们引入了一类任意维的基于差分的估计量d日∈ℕ如下。

定义2。方差的广义差分格式估计σ2在回归模型中,(1)定义为

σ^2==1L(左)μn个1(j个J型d日j个()Y(Y)+j个)2=:=1L(左)μσ^2,
(11)

哪里σ^2由最后一个标识定义。这里是重量的总和μ等于1,以及所谓的广义差分格式(d日j个())j个J型,=1,,L(左),满足Σj个J型d日j个()=0Σj个J型(d日j个())2=1.

此外,J型⊂ℤd日表示某个索引集,该集由提供

:={×k=1d日{1,,n个k}j个J型:(+j个)×k=1d日{1,,n个k}},

哪里A类×B类表示两个集合的笛卡尔积A类B类,以及n个表示基数#属于.

为了说明这个定义和符号,我们将考虑以下各种特殊情况。

3.1. 示例1(案例d日=2)

n个1=n个2=n个。我们考虑以下配置。

  • (a)

    J型={(0,0),(1,1),(2,2),(3,3)},={(1,2):1,2=1,…,n个−3}和n个=(n个−3)2.

  • (b)

    J型={(0,0),(0,1),(0,2)},={(1,2):1=1,…,n个,2=1,…,n个−2}和n个=n个(n个−2).

  • (c)

    J型={(0,0),(−1,1),(0,1),(1,1)},={(1,2):1=2,…,n个−1,2=1,…,n个−1}和n个=(n个−1)(n个−2).

在(a)和(b)中,设计点t吨+k具有kJ型构成一条直线,而(c)中的设计点为“T形”(图。1).

示例1中描述的配置
图1

示例1中描述的配置

备注2。我们提到,对于合理的配置,一般认为0∈J型为所有人=1,…,L(左),以及将主要由集合组成×k=1d日{1,,n个k},,除了O(运行)(n个d日−1)位于配置边缘的点,以便n个=N个+O(运行)(n个d日−1)=n个d日+O(运行)(n个d日−1). 此外,通常L(左)=d日虽然这并不总是我们将看到的最佳选择。

霍尔. (1991)为显示d日=2在基于差分的估计类中,当局部残差在直线上且具有与d日=定理1中给出的1(或其断开的组合),即()∈ ℤ2残差支持于

J型={κ():κ=0,,第页},=1,,L(左).
(12)

类似的结果适用于d日=3,如我们将在定理3中所示。

3.2. 示例2(案例d日=3)

n个1=n个2=n个=n个.我们根据J型={(0,0,0),(0,0,1),(0,0,−1),(0,1,0),(0,−1,0),(1,0,0),(−1,0,0)},={(1,2,):1,2,=2,…,n个−1}和n个=(n个−2)(图。2).

示例2中描述的配置
图2

示例2中描述的配置

定理3。d日=1,2,3. 如果∈唇[0,1]d日,γ>d日/4,那么在条件(1)和(9)下,对于方程中定义的任何差分估计量,我们都有(11),

MSE公司(σ^2)=σ4N个{γ41+2k0(=1L(左)μj个d日j个()d日j个+k())2}+o个(N个1).
(13)

定理3的一个变种与随机二次型deJong的中心极限定理(1987)也给出√N个-一致性σ^2只要d日3,即。N个1/2(σ^2σ2)是渐近中心法向,方差有限,如等式右侧所示(13).

然而,正如所指出的d日霍尔=2. (1991)汤普森. (1991)对于有限样本大小的直线上的配置,特别是当信号急剧波动时,偏置贡献可能会变得非常大。因此,在霍尔. (1991)建议使用“紧凑”配置,而应避免使用“长线性”配置。这在下一个定理中得到了强调,该定理提供了σ^2对于任意d日∈ ℕ.

定理4。d日∈ℕ并假设模型(1),这样C类(2)[0,1]d日此外,假设条件(8)-(10)成立。那么,对于任何基于差分的估计量σ^2在方程式中定义(11)索引集上有残差J型如方程式所示(12),我们有

偏差2(σ^2)=[=1L(左){n个2μC类(第页),()22+o个(n个2)}]2,
(14)

哪里C类(第页)=(Σj个=0第页j个d日j个())2,=(/t吨1,,/t吨d日)T型表示偏导数向量和范数22相对于设计密度Πk=1d日(f)k.如果n个1=…=n个d日=n个,这简化为

偏差2(σ^2)=n个4{=1L(左)μC类(第页),()22}2+o个(n个4).

连同定义(12),定理4的证明遵循与Dette中的计算类似的路线. (1998),第755-756页。通过备注1,对于随机网格点的情况,可以得到类似的结果。

3.3. 示例3

在这种情况下d日=2,具有等距网格点(n个×n个)配置(用于L(左)=1)J型1={κ(1,0):κ=−2,…,2},以及配置(对于L(左)=2)J型˜1={κ1(1,0):κ1=1,0,1}J型˜2={κ2(0,1):κ2=1,0,1},将导致相同的渐进MSE,n个2σ4(γ41+14)+O(运行)(n个4),但顺序的有限样本项O(运行)(n个−4)对于(长线性)配置J型1是九倍大(这里第页=4)比(紧凑)配置的J型˜1J型˜2(此处第页=2),因为人们可以很容易地从定理4推导出。

如果d日增加时,偏差的一阶近似值变得更差,如下一示例所示。

3.4. 示例4

霍尔最优差分格式. (1990)(适用于每个L(左)方向)我们获得C类(第页)=(2第页+1)(第页+1)/12. 作为一个例子,我们考虑广义von Neumann(1941)估计器(另见Rice(1984)),第页=1,d日0()=d日1()=21/2L(左)=d日。这里是索引集J型={0,电子},其中电子,=1,…,d日,表示ℝ中的标准基础d日.假设n个1=…=n个d日=n个,μ=d日−1.然后定理4得出

偏差2(σ^2)=n个4(2d日)2(=1d日t吨22)2+o个(n个4),

它的顺序并不比O(运行)(n个−4),前提是不是恒定的。然而,对于任何差分格式,对MSE的方差贡献都是网格点数的倒数,O(运行)(n个d日).

因此,从这个简单的例子可以看出,对于d日4,一般来说,与案例相比,偏倚将主导MSEd日3.这尤其意味着冯·诺依曼(1941)估计值不再√N个一致,如果d日4.为了纠正这种偏差,方程式中的多项式加权方案(7)将变得必要。

定理5。假设d日∈ℕ并假设C类()[0,1]d日对于=[d日/4]+1. (此处[x个]表示小于的最大整数x个∈ℝ.)在模型(1)和假设(9)下,基于多项式差分的估计量的加权方案(7)阶第页,因此第页,MSE的渐近展开式(13)成立。此外,这些估计值为√N个一致。

我们已经看到,随着维度的增加d日偏差的控制成为基于差分估计的主要任务,特别是对于波动信号。这在定理4中得到了强调,在这些情况下,偏差的二阶项支配有限样本MSE。然而,如果信号只是缓慢波动,则一阶偏差项仍然是一个很好的近似值,对于以下情况,是否可以渐近地将MSE最小化可能是有意义的d日=1(定理1)。对于d日2由于差分方案的特殊配置(见定义2)可能会起作用,因此这项任务更为复杂。在下一个定理中,我们将确定使MSE渐近最小化的具体配置,前提是L(左)已修复。由于我们前面的讨论,有必要处理这些案例1d日3和d日4分开。然而,事实证明,对于这两种情况,考虑集合就足以使MSE最小化J型,=1,…,L(左),非平行直线,如方程式所示(12). 请注意,应用下一个定理时必须谨慎,因为它是基于一阶MSE的扩展,即渐近地有效,只要d日三。

定理6。d日=2和d日=3,以及∈唇[0,1]d日,使用γ>12γ>4分别是。假设模型(1)具有条件(9)和(10)。在定义2中的方差估计类中L(左)∈ ℕ,第页=#J型−1,=1,…,L(左),以及第页=Σ=1L(左)第页,渐近最优MSE

MSE公司(σ^选择,第页2)=σ4N个(γ41+1第页)+o个(N个1)

是针对差分估计器实现的σ^选择,第页2它有形状的重量μ=第页/第页,=1,…,L(左)、和J型是非平行直线。广义差分格式(d日j个())j个J型与霍尔所描述的一维情况完全相同. (1990),即它们满足一维渐近最优性准则Σj个J型(k)d日j个()d日j个+k()=1/2第页如方程式所示(5)对于所有0≠k具有J型(k)={j个J型:+kJ型}≠∅.

我们提到这一点是为了d日4可以得到类似的结果,但是,差分估计的类必须限制为阶多项式的无偏估计=[d日/4] +1(见Wagner(1999)). 最后一个定理可以通过下面的例子来说明。

3.5. 示例5

假设d日=2和等距设计。在图中。在这种情况下,给出了一个特定配置的示例L(左)=4,第页1=第页2=4(水平线和垂直线)和第页=第页4=2(对角线)。在广义差分估计类中实现渐近最小均方误差,其中第页=12,

MSE公司(σ^选择,122)=σ4N个(γ41+112)+o个(N个1),
d=2和L=4方差的差分格式估计的示例
图3

方差的差分格式估计的示例d日=2和L(左)=4

我们必须在第一步中根据定理6选择权重μ1=μ2=1μ=μ4=16第二步,霍尔最优差分格式等。(1990)必须用于第页=4和第页=2.注意这里d日L(左).

备注3。正如裁判所指出的,讨论L(左)在广义差分估计中。这在原则上非常困难,因为它不能与最佳长度问题分开第页沿每个方向一个全面的答案超出了本文的范围,但可以通过定理4给出一个定性的答案,前提是可以认为展开式(14)足够准确,这是振荡信号不太强烈的情况。然后,当方向()选择公式右侧的表达式(14)最小化。这是一个离散的最小化问题,并且可以达到最小值(如果已知)通过选择L(左)=1和(1)∈ ℤd日作为(1),22然而,一般来说,偏倚扩展中的高阶项将涉及混合导数,还有这里L(左)=1不一定是最佳选择。然而,定理4在一般配置中提供了理由,因此沿着下列方向计算残差:很小。如果在各个方向上剧烈波动,这只能通过少量的局部残差来实现第页但是很大L(左).如果沿特定方向的梯度较小,沿该方向的大量残差L(左)=1将给出一个好结果。这与汤普森的偏置微调算法一致. (1991)(用于d日=2),因为这些算法在第一步中识别出了那些网格点,其中预计将较大,并从进一步计算中排除这些因素。

最后,注意随着方差的增加σ2(噪声级)最佳估计值表现更好,因为偏差不取决于σ2(定理4)。然而,这一发现的实际优点是有限的,因为在这种情况下,估计值的整体质量会很差。

4.数值比较

4.1. 核估计量

在本节中,我们将基于差分的估计量与(渐近有效)d日-Hall和Marron的维数推广(1990)核估计和相应的局部线性估计。为了简洁起见,我们考虑产品内核K(K)(x个)=Π=1d日K(K)1(x个)订单的第页∈ℕ(此处x个=(x个1,…,x个d日)′ ∈ ℝd日)这样的话K(K)1:ℝ→\8477»对称,支架紧凑。此外,

d日K(K)(x个)d日x个=1,
d日x个x个j个kK(K)(x个)d日x个=0,j个,0,k<第页,
d日x个第页K(K)(x个)d日x个=μ第页(K(K))0,=1,,d日.

最后,假设带宽矩阵是对角的,H(H)=诊断(小时1,…,小时d日).

定理7。考虑非参数回归模型(1)C类(第页+1)[0,1]d日和设计要点t吨∈ [0,1]d日,=1,…,N个,在上d日-维度网格,所以条件(9)成立。对角线带宽矩阵H(H)它认为小时最小值:=最小值k=1,…,d日(小时k)>0,N个小时最小值d日λk,N个:=小时k/小时最小值λk∈ (0,∞),k=1,…,d日,作为N个→∞. K(K)成为d日-维序核第页然后,方差估计量的MSE

σ^K(K)2=1v(v)=1N个(Y(Y)j个=1N个w个j个Y(Y)j个)2
(15)

具有v(v)=N个2Σw个+Σ,j个w个j个2

w个,j个=K(K){H(H)1(t吨t吨j个)}/=1N个K(K){H(H)1(t吨t吨)}

由提供

MSE公司(σ^K(K)2)=1N个(γ41)σ4+C类1(N个2k=1d日小时k)1+C类22小时最小值4第页+o个{(N个2k=1d日小时k)1+小时最小值4第页}.

在这里

C类1=2σ4d日{(K(K)*K(K))(x个)2K(K)(x个)}2 d日x个,C类2=κ第页2d日{((f))(第页)(x个)(x个)(f)(第页)(x个)}2(f)(x个)1 d日x个,               κ第页=(1)第页第页!μ第页(K(K)),

函数的位置(f)C类(第页)[0,1]d日我们使用

(f)(第页)(x个)=k=1d日λk第页第页(t吨k)第页(f)(t吨)|t吨=x个.

证据被省略,原则上遵循霍尔和马隆发现的一维情况的模式(1990). 注意,由于产品内核的特殊选择,不涉及混合衍生产品C类2.

备注4。作为最后一个定理的副产品,我们得到了4第页>d日C类22小时4第页=C类1N个2小时d日形式的最优对角带宽矩阵H(H)=小时d日,其渐近最小化MSE,作为

小时0={C类1(C类2N个)2}1/(4第页+d日)=O(运行)(N个2/(4第页+d日)).
(16)

在这种情况下,使用小时0在方程式中(16),我们可以证明N个(σ^K(K)2σ2)具有方差的渐近中心正态(γ4−1)σ4因此为√N个高效。

4.2. 模拟研究

在下文中,对这些案例进行了模拟研究d日=2,3,4将被呈现(见汤普森. (1991),或Dette. (1998),用于广泛的数值研究,当d日=1). 为此,我们假设了正态分布的误差;对于倾斜误差,也发现了类似的结果,但没有显示出来。考虑中的所有功能均在[0,1]中定义d日,采用等间距设计。对于核估计量,我们选择了由Epanechnikov核生成的乘积核,K(K)1(x个)=4(1x个2)1{|x个|1}和带宽矩阵H(H)=小时d日除了核估计量(15)外,还研究了具有相同核的局部线性估计量(Wand和Jones,1995). 这些估计器所需的带宽是通过交叉验证获得的。最后,对于每个设置,计算“oracle”估计值,即当真回归函数为已知(汤普森的“理想”估计. (1991)). 这是最佳估计器的基准。在每个模拟场景中,执行500(或1000)次运行,其中使用了来自数值算法组C++的随机生成器g05ddc(数值算法组,1998).

4.2.1. 这个案子d日=2

根据我们之前的讨论,可以预计信号的振荡和平滑度将显著影响权重方案的有效选择。因此,我们考虑了以下回归函数(图。4):

1(x个,)=(8πx个)

(在x个-方向);

2(x个,)=(2πx个)

(在x个-方向);

(x个,)={2π(x个+)}

(双向摆动);

4(x个,)={5π(x个+)}

(双向强烈振荡);

5(x个,)=x个

(多项式函数);

6(x个,)=经验{(x个+)/2}

(单调函数);

7(x个,)=最大值{7小时(x个),7小时()}7小时(x个)7小时()

(棋盘式功能);

7小时(x个)={1,1<x个2,0,否则;8(x个,)=最大值{8小时(x个),8小时()}
(17)

(尖峰函数);

8小时(x个)={1/8,x个=0,5/8,x个=0.5,2/8,x个=1,0,否则。 
(18)
函数(a)g3(x,y),(b)g7(x,y)(■,g7(x,y)=1)和(c)g8(x,y)
图4

功能(a)(x个,),(b)7(x个,) (■,7(x个,)=1)和(c)8(x个,)

考虑了以下差异估计值:

  • (a)

    σ^S公司,2残差如图所示。5(a) ,其中每行上都有多项式差分格式(d日0,d日1,d日2)选择=(1,−2,1)/√6;

  • (b)

    σ^K(K),2残差如图所示。5(b) 多项式差分格式,如(a)所示;

  • (c)

    σ^2,2残差如图所示。5(c) 多项式差分格式,如(a)所示;

  • (d)

    σ^x个4,2残差如图所示。5(d) 和多项式差分格式(d日0,d日1,d日2,d日,d日4)=(1,−4,6,−4,1)/√70;

  • (e)

    σ^2,2残差如图所示。5(e) 多项式差分格式,如(a)所示;

  • (f)

    σ^4,2残差如图所示。5(f) 多项式差分格式,如(d)所示。

各种差分估计器的剩余配置
图5

各种差分估计器的剩余配置

此外,对于具有2阶最优差分格式的相同估计(d日0,d日1,d日2)=(0.809,−0.5,−0.309),顺序为4(d日0,d日1,d日2,d日,d日4)=(0.2708,-0.0142,0.6909,-0.4858,-0.4617)(霍尔等。,1990). 结果估计值表示为σ^S公司,o个2,σ^K(K),o个2,,σ^4,o个2。在下表中,我们使用符号4.222用于4.22×10−2等等。

在表中1,中强烈振荡信号的结果x个-方向(1)显示,其中σ2=0.25,0.5. 注意这里-方向是线性的。从表1可以得出结论,对于较大的样本量,沿x个-正如预期的那样,轴方向导致的偏差比多项式估计值大得多。当然,如果在-方向,所得估计器的性能优于多项式加权方案,特别是对于样本大小,其中n个1,n个230.此外,在x个-当样本量增加时,方向导致MSE降低(n个1=n个2=100). 对于较小的样本大小(n个1,n个230)未观察到这种情况。注意,这与我们在定理4中的理论发现一致,其中偏差随着第页增加。对于较大的样本量,在大多数情况下,方差在这种设置中占主导地位。然而,对于沿x个-方差由平方偏差控制。用于沿着x个-方向上,多项式差分格式的性能优于相应的最优差分格式。此外,根据表1显然,对于多项式加权方案第页=2在大多数情况下优于第页=4,这是由于方差较小。这符合霍尔的建议等。(1991)使用短而紧凑的配置。最后,我们提到这些发现与噪声水平无关;类似结果适用于σ2=1(未显示)。

表1

偏见2回归函数的方差1为了这个案子d日=2

σ2(n个1,n个2)方差估计量多项式差分格式的结果最佳差异的结果甲骨文公司
第页=2第页=4第页=2第页=4
σ^x个2,2σ^2,2σ^x个4,2σ^4,2σ^x个2,o个2σ^2,o个2σ^x个4,o个2σ^4,o个2
0.25(10,10)偏见22.4911.4356.6013.6954.5121.2147.3825.9749.136
方差1.7722.784.4424.954.751.817.232.321.12
(10,25)偏见22.3415.4466.2111.0924.1324.7466.7221.9753.517
方差7.441.091.8623.131.856.3942.736.8044.844
(25,10)偏见21.021.3081.6055.192.9226.1855.9724.5641.297
方差1.081.151.5211.447.5342.299.6145.024
(30,30)偏见22.2942.9071.5763.7571.5421.6664.9129.4365.777
方差2.9642.7444.0343.9943.1341.8145.5541.7741.404
(100,100)偏见21.6092.188195.2381.684<1.0121.361.8981.468
方差2.4852.2553.4153.0751.6051.5351.5151.4251.225
0.5(10,10)偏见22.4413.9066.4911.0354.4721.0447.3025.4641.185
方差4.2421.1521.0111.8521.3427.501.8429.075.25
(10,25)偏见22.3518.5366.2214.2124.3024.8067.0121.5254.246
方差1.6024.513.9121.3225.232.717.222.591.90
(25,10)偏见21.052.2251.875222.9421.2145.8926.1841.525
方差4.354.435.943.564.523.046.223.772.27
(30,30)偏见21.5046.2474.0461.7161.4921.7974.8029.7382.556
方差1.151.111.651.641.067.6641.607.2045.864
(100,100)偏见23.5092.0371.3182.8771.7643.2481.376.7982.509
方差1.0149.3651.4041.3145.9656.0455.5155.4554.615
σ2(n个1,n个2)方差估计量多项式差分格式的结果最佳差异的结果甲骨文公司
第页=2第页=4第页=2第页=4
σ^x个2,2σ^2,2σ^x个4,2σ^4,2σ^x个2,o个2σ^2,o个2σ^x个4,o个2σ^4,o个2
0.25(10,10)偏见22.4911.4356.6013.6954.5121.2147.3825.9749.136
方差1.7722.784.4424.954.751.817.232.321.12
(10,25)偏见22.3415.4466.2111.0924.1324.7466.7221.9753.517
方差7.441.091.8623.131.856.3942.736.8044.844
(25,10)偏见21.021.3081.6055.192.9226.1855.9724.5641.297
方差1.081.151.5211.447.5342.299.6145.024
(30,30)偏见22.2942.9071.5763.7571.5421.6664.9129.4365.777
方差2.9642.7444.0343.9943.1341.8145.5541.7741.404
(100,100)偏见21.6092.188195.2381.684<1.0121.361.8981.468
方差2.4852.2553.4153.0751.6051.5351.5151.4251.225
0.5(10,10)偏见22.4413.9066.4911.0354.4721.0447.3025.4641.185
方差4.2421.1521.0111.8521.3427.501.8429.075.25
(10,25)偏见22.3518.5366.2214.2124.3024.8067.0121.5254.246
方差1.6024.513.9121.3225.232.717.222.591.90
(25,10)偏见21.052.2251.875222.9421.2145.8926.1841.525
方差4.354.435.943.564.523.046.223.772.27
(30,30)偏见21.5046.2474.0461.7161.4921.7974.8029.7382.556
方差1.151.111.651.641.067.6641.607.2045.864
(100,100)偏见23.5092.0371.3182.8771.7643.2481.376.7982.509
方差1.0149.3651.4041.3145.9656.0455.5155.4554.615
表1

偏见2回归函数的方差1为了这个案子d日=2

σ2(n个1,n个2)方差估计量多项式差分格式的结果最佳差异的结果甲骨文公司
第页=2第页=4第页=2第页=4
σ^x个2,2σ^2,2σ^x个4,2σ^4,2σ^x个2,o个2σ^2,o个2σ^x个4,o个2σ^4,o个2
0.25(10,10)偏见22.4911.4356.6013.6954.5121.2147.3825.9749.136
方差1.7722.784.4424.954.751.817.232.321.12
(10,25)偏差22.3415.4466.2111.0924.1324.7466.7221.9753.517
方差7.441.091.8623.131.856.3942.736.8044.844
(25,10)偏见21.021.3081.6055.192.9226.1855.9724.5641.297
方差1.081.151.5211.447.5342.299.6145.024
(30,30)偏见22.2942.9071.5763.7571.5421.6664.9129.4365.777
方差2.9642.7444.0343.9943.1341.8145.5541.7741.404
(100,100)偏见21.6092.188195.2381.684<1.0121.361.8981.468
方差2.4852.2553.4153.0751.6051.5351.5151.4251.225
0.5(10,10)偏见22.4413.9066.4911.0354.4721.0447.3025.4641.185
方差4.2421.1521.0111.8521.3427.501.8429.075.25
(10,25)偏见22.3518.5366.2214.2124.3024.8067.0121.5254.246
方差1.6024.513.9121.3225.232.717.222.591.90
(25,10)偏差21.052.2251.875222.9421.2145.8926.1841.525
方差4.354.435.943.564.523.046.223.772.27
(30,30)偏见21.5046.2474.0461.7161.4921.7974.8029.7382.556
方差1.151.111.651.641.067.6641.607.2045.864
(100,100)偏见23.5092.0371.3182.8771.7643.2481.376.7982.509
方差1.0149.3651.4041.3145.9656.0455.5155.4554.615
σ2(n个1,n个2)方差估计量多项式差分格式的结果最佳差异的结果甲骨文公司
第页=2第页=4第页=2第页=4
σ^x个2,2σ^2,2σ^x个4,2σ^4,2σ^x个2,o个2σ^2,o个2σ^x个4,o个2σ^4,o个2
0.25(10,10)偏见22.4911.4356.6013.6954.5121.2147.3825.9749.136
方差1.7722.784.4424.954.751.817.232.321.12
(10,25)偏见22.3415.4466.2111.0924.1324.7466.7221.9753.517
方差7.441.091.8623.131.856.3942.736.8044.844
(25,10)偏见21.021.3081.6055.192.9226.1855.9724.5641.297
方差1.081.151.5211.447.5342.299.6145.024
(30,30)偏见22.2942.9071.5763.7571.5421.6664.9129.4365.777
方差2.9642.7444.0343.9943.1341.8145.5541.7741.404
(100,100)偏见21.6092.188195.2381.684<1.0121.361.8981.468
方差2.4852.2553.4153.0751.6051.5351.5151.4251.225
0.5(10,10)偏见22.4413.9066.4911.0354.4721.0447.3025.4641.185
方差4.2421.1521.0111.8521.3427.501.8429.075.25
(10,25)偏见22.3518.5366.2214.2124.3024.8067.0121.5254.246
方差1.6024.513.9121.3225.232.717.222.591.90
(25,10)偏见21.052.2251.875222.9421.2145.8926.1841.525
方差4.354.435.943.564.523.046.223.772.27
(30,30)偏见21.5046.2474.0461.7161.4921.7974.8029.7382.556
方差1.151.111.651.641.067.6641.607.2045.864
(100,100)偏见23.5092.0371.3182.8771.7643.2481.376.7982.509
方差1.0149.3651.4041.3145.9656.0455.5155.4554.615

在表中2比较了各种回归函数。这里只有残差的短而紧凑的配置,如图5(a) 以及5(b) 已考虑。在大多数情况下,除了强振荡信号外,方差主导平方偏差(4). 表2每一行的差异大多具有可比性。对于振荡和非平滑信号,多项式加权方案产生的偏差小于最佳加权方案,尤其是对于较大的样本量。很明显,对于基于差分的估计量,对于振荡不太强烈的光滑函数,星形配置往往优于十字配置。这是由于第一名估计员考虑的残差数量较多,导致方差减少。就MSE而言,多项式加权方案往往优于振荡函数的最优加权方案(4)和棋盘型函数7一般来说,核估计量和局部线性估计量与基于差分的估计量相比具有可比性,甚至效率更高,但强振荡信号除外,其中应使用多项式差分估计量(8). 然而,必须考虑到,由于带宽的交叉验证,核和局部线性估计器的计算时间远高于基于差分的估计器。例如,对于n个1,n个2=30在具有512 MB随机访问内存和1.8 GHz差分估计器的奔腾4计算机上,单个估计器需要15 ms,而核估计器大约需要15 s(1000倍)。

表2

偏见2和方差σ2=0.5(对于这种情况)d日=2

(n个1,n个2)回归函数方差估计器σ^S公司,2σ^K(K),2σ^S公司,o个2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(10,10)2偏见27.4951.7453.602.081.7241.0744.766
方差8.521.0227.377.606.646.774.99
偏见23.942.0949.2126.9621.971.312.395
方差8.489.481.1821.1427.248.294.63
4偏见22.8712.0812.8016.2312.4812.6314.898
方差2.5622.4722.2424.2621.6221.6624.77
5偏见26.1076.1366.9355.1655.4353.2752.738
方差9.531.1527.368.325.525.445
6偏见21.0461.7674.7962.5986.4552.0257.936
方差1.0121.2327.878.635.785.494.85
7偏见21.6728.204.3623.7427.708.481.295
方差1.3421.5921.3121.4028.699.225.38
8偏见24.202.283.701.801.711.828.907
方差1.1921.2328.418.526.637.684.99
(30,30)2偏见23.597184.6752.1051.8452.7351.128
方差6.8949.0145.8546.2345.2045.8745.104
偏见21.356.2245.6332.112.167.107
方差8.4148.8648.1548.1648.2147.82464
4偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
5偏见21.8261.7664.8671.0166.3782.8096.037
方差7.6749.4346.5646.9045.8245.5945.874
6偏见25.4881.3781102.2284.8883.5371.177
方差7.8049.4747.0147.3646.2845.4145.704
7偏见25.6866.5661.979.6149.2457.1951.926
方差7.5048.9146.6647.1446.2046.6545.514
8偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
(n个1,n个2)回归函数方差估计量σ^S公司,2σ^K(K),2σ^S公司,o个2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(10,10)2偏见27.4951.7453.602.081.7241.0744.766
方差8.521.0227.377.606.646.774.99
偏见23.942.0949.2126.9621.971.312.395
方差8.489.481.1821.1427.248.294.63
4偏见22.8712.0812.8016.2312.4812.6314.898
方差2.5622.4722.2424.2621.6221.6624.77
5偏见26.1076.1366.9355.1655.4353.2752.738
方差9.531.1527.368.325.525.445
6偏见21.0461.7674.7962.5986.4552.0257.936
方差1.0121.2327.878.635.785.494.85
7偏见21.6728.204.3623.7427.708.481.295
方差1.3421.5921.3121.4028.699.225.38
8偏见24.202.283.701.801.711.828.907
方差1.1921.2328.418.526.637.684.99
(30,30)2偏见23.597184.6752.1051.8452.7351.128
方差6.8949.0145.8546.2345.2045.8745.104
偏见21.356.2245.6332.112.167.107
方差8.4148.8648.1548.1648.2147.82464
4偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
5偏见21.8261.7664.8671.0166.3782.8096.037
方差7.6749.4346.5646.9045.8245.5945.874
6偏见25.4881.3781102.2284.8883.5371.177
方差7.8049.4747.0147.3646.2845.4145.704
7偏见25.6866.5661.979.6149.2457.1951.926
方差7.5048.9146.6647.1446.2046.6545.514
8偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
表2

偏见2和方差σ2=0.5(对于这种情况)d日=2

(n个1,n个2)回归函数方差估计量σ^S公司,2σ^K(K),2σ^S公司,o个2σ^K(K),o个2σ^科恩2σ^本地林2甲骨文公司
(10,10)2偏见27.4951.7453.602.081.7241.0744.766
方差8.521.0227.377.606.646.774.99
偏见23.942.0949.2126.9621.971.312.395
方差8.489.481.1821.1427.248.294.63
4偏见22.8712.0812.8016.2312.4812.6314.898
方差2.5622.4722.2424.2621.6221.6624.77
5偏见26.1076.1366.9355.1655.4353.2752.738
方差9.531.1527.368.325.525.445
6偏见21.0461.7674.7962.5986.4552.0257.936
方差1.0121.2327.878.635.785.494.85
7偏见21.6728.204.3623.7427.708.481.295
方差1.3421.5921.3121.4028.699.225.38
8偏见24.202.283.701.801.711.828.907
方差1.1921.2328.418.526.637.684.99
(30,30)2偏见23.597184.6752.1051.8452.7351.128
方差6.8949.0145.8546.2345.2045.8745.104
偏见21.356.2245.6332.112.167.107
方差8.4148.8648.1548.1648.2147.82464
4偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
5偏见21.8261.7664.8671.0166.3782.8096.037
方差7.6749.4346.5646.9045.8245.5945.874
6偏见25.4881.3781102.2284.8883.5371.177
方差7.8049.4747.0147.3646.2845.4145.704
7偏见25.6866.5661.979.6149.2457.1951.926
方差7.5048.9146.6647.1446.2046.6545.514
8偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
(n个1,n个2)回归函数方差估计量σ^S公司,2σ^K(K),2σ^S公司,o个2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(10,10)2偏见27.4951.7453.602.081.7241.0744.766
方差8.521.0227.377.606.646.774.99
偏见23.942.0949.2126.9621.971.312.395
方差8.489.481.1821.1427.248.294.63
4偏见22.8712.0812.8016.2312.4812.6314.898
方差2.5622.4722.2424.2621.6221.6624.77
5偏见26.1076.1366.9355.1655.4353.2752.738
方差9.531.1527.368.325.525.445
6偏见21.0461.7674.7962.5986.4552.0257.936
方差1.0121.2327.878.635.785.494.85
7偏见21.6728.204.3623.7427.708.481.295
方差1.3421.5921.3121.4028.699.225.38
8偏见24.202.283.701.801.711.828.907
方差1.1921.2328.418.526.637.684.99
(30,30)2偏见23.597184.6752.1051.8452.7351.128
方差6.8949.0145.8546.2345.2045.8745.104
偏见21.356.2245.6332.112.167.107
方差8.4148.8648.1548.1648.2147.82464
4偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464
5偏见21.8261.7664.8671.0166.3782.8096.037
方差7.6749.4346.5646.9045.8245.5945.874
6偏见25.4881.3781102.2284.8883.5371.177
方差7.8049.4747.0147.3646.2845.4145.704
7偏见25.6866.5661.979.6149.2457.1951.926
方差7.5048.9146.6647.1446.2046.6545.514
8偏见27.9846.7054.7122.9021.129.6241.676
方差8.4149.7549.2449.0641.069.93464

4.2.2. 这个案子d日=3

在下面的内容中,我们简要地考虑一下这个案例d日=3,使用回归函数

1(x个,,z(z))={2π(x个++z(z))},
2(x个,,z(z))={5π(x个++z(z))},
(x个,,z(z))=最大值{7小时(x个),7小时(),7小时(z(z))}7小时(x个)7小时()7小时(z(z))

具有7小时根据方程式(17),

4(x个,,z(z))=最大值{8小时(x个),8小时(),8小时(z(z))},

具有8小时根据方程式(18),和基于“星形”差分的阶估计第页=2,

σ^W公司,2:=126第页,,t吨=111n个j个(d日0Y(Y)j个(第页,,t吨)+d日1Y(Y)j个+d日2Y(Y)j个+(第页,,t吨))2

采用多项式差分格式。使用最优差分方案的相同估计器称为σ^W公司,o个2.基数:=×k=1{2,,n个k1}n个:=#此外,我们研究了“十字形”估计量

σ^K(K),2:=1=11n个j个(d日0Y(Y)j个1+d日1Y(Y)j个+d日2Y(Y)j个+1)2

用多项式差分格式及其对应项σ^K(K),o个2具有最优差分方案。基数:={j个=(j个1,j个2,j个)×k=1{1,,n个k}:j个{2,,n个1}}n个:=#对于=1,2,3.

在表格中4为选择的结果d日显示=3。可以看出,对于振荡信号,多项式加权方案的性能大多优于最佳加权方案,并且十字形估值器σ^K(K),*2往往优于相应的星形估值器σ^W公司,*2(*,o个)在大多数情况下,平方偏差主导估计值的方差。有趣的是,这对于棋盘型函数来说是不成立的随着样本量的增加,采用多项式加权方案。同样,核估计量和局部线性估计量对所考虑的样本大小产生了可比较的结果,并且对于非强烈振荡信号,其性能优于基于差分的估计量,而估计量σ^K(K),2产生振荡信号的最佳结果,特别是对于较大的样本大小。请注意,例如,对于n个1,n个2,n个=10,核估计量的计算时间约为差分估计量的1300倍。对于较大的样本量(50,50,50)和(100100100),最优加权差分估计量总是优于偏减多项式加权估计量。这里很明显d日则偏置越成为MSE的主导项。

表3

偏见2和方差σ2=0.25(对于这种情况)d日=3

(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(5,5,5)1偏差22.5812.6811.1815.6912.4812.4113.506
方差1.4829.814.201.0525.735.821.01
2偏见22.9912.5519.6414.5712.5612.5717.258
方差1.9421.0821.9921.0425.215.291.01
偏见25.2725.2425.0825.1421.7222.3222.426
方差9.735.214.093.252.792.899.734
4偏见26.683.073.322.101.462.033.516
方差6.082.802.251.611.841.831.02
(10,10,10)1偏见21.4021.1413.5146.9921.731.531.768
方差2.9545.3041.6643.0941.5641.9541.154
2偏见22.5712.7212.1116.0312.4912.50119
方差1.048.9046.1141.317.0646.3741.214
偏见28.762.3822.411.2121.731.792.047
方差3.5243.5041.9842.1542.0942.2041.224
4偏见24.994.931.061.109.5241.171.067
方差4.2842.9842.2441.6942.8843.4141.254
(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(5,5,5)1偏见22.5812.6811.1815.6912.4812.4113.506
方差1.4829.814.201.0525.735.821.01
2偏见22.9912.5519.6414.5712.5612.5717.258
方差1.9421.0821.9921.0425.215.291.01
偏见25.2725.2425.0825.1421.7222.3222.426
方差9.735.214.093.252.792.899.734
4偏见26.683.073.322.101.462.033.516
方差6.082.802.251.611.841.831.02
(10,10,10)1偏见21.4021.1413.5146.9921.731.531.768
方差2.9545.3041.6643.0941.5641.9541.154
2偏差22.5712.7212.1116.0312.4912.50119
方差1.048.9046.1141.317.0646.3741.214
偏见28.762.3822.411.2121.731.792.047
方差3.5243.5041.9842.1542.0942.2041.224
4偏见24.994.931.061.109.5241.171.067
方差4.2842.9842.2441.6942.8843.4141.254
表3

偏差2和方差σ2=0.25(对于这种情况)d日=3

(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(5,5,5)1偏见22.5812.6811.1815.6912.4812.4113.506
方差1.4829.814.201.0525.735.821.01
2偏见22.9912.5519.6414.5712.5612.5717.258
方差1.9421.0821.9921.0425.215.291.01
偏见25.2725.2425.0825.1421.7222.3222.426
方差9.735.214.093.252.792.899.734
4偏见26.683.073.322.101.462.033.516
方差6.082.802.251.611.841.831.02
(10,10,10)1偏见21.4021.1413.5146.9921.731.531.768
方差2.9545.3041.6643.0941.5641.9541.154
2偏见22.5712.7212.1116.0312.4912.50119
方差1.048.9046.1141.317.0646.3741.214
偏见28.762.3822.411.2121.731.792.047
方差3.5243.5041.9842.1542.0942.2041.224
4偏见24.994.931.061.109.5241.171.067
方差4.2842.9842.2441.6942.8843.4141.254
(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
(5,5,5)1偏见22.5812.6811.1815.6912.4812.4113.506
方差1.4829.814.201.0525.735.821.01
2偏见22.9912.5519.6414.5712.5612.5717.258
方差1.9421.0821.9921.0425.215.291.01
偏见25.2725.2425.0825.1421.7222.3222.426
方差9.735.214.093.252.792.899.734
4偏见26.683.073.322.101.462.033.516
方差6.082.802.251.611.841.831.02
(10,10,10)1偏见21.4021.1413.5146.9921.731.531.768
方差2.9545.3041.6643.0941.5641.9541.154
2偏见22.5712.7212.1116.0312.4912.50119
方差1.048.9046.1141.317.0646.3741.214
偏见28.762.3822.411.2121.731.792.047
方差3.5243.5041.9842.1542.0942.2041.224
4偏见24.994.931.061.109.5241.171.067
方差4.2842.9842.2441.6942.8843.4141.254
表4

偏见2和方差σ2=0.25(对于这种情况)d日=3

(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(50,50,50)1偏见22.5741.196.1853.124410
方差1.3161.2961.4061.1861.036
2偏见22.5742.6145.9856.235210
方差1.4561.2561.4561.1661.026
偏见25.3984.3442.2091.054<1.012
方差1.1961.1161.3661.1361.026
4偏见26.6051.3427.4673.89<1.012
方差1.2661.4261.4161.2261.046
(100,100,100)1偏见26.1252.9741.4457.285110
方差1.5371.4971.7371.4771.317
2偏见26.8757.3751.5551.575210
方差1.4871.3671.6271.3371.197
偏见22102.6951106.256<1.012
方差1.3871.3071.6271.3471.247
4偏见22.8579.9443.8092.444<1.012
方差1.3771.3071.6571.3371.197
(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(50,50,50)1偏见22.5741.196.1853.124410
方差1.3161.2961.4061.1861.036
2偏见22.5742.6145.9856.235210
方差1.4561.2561.4561.1661.026
偏见25.3984.3442.2091.054<1.012
方差1.1961.1161.3661.1361.026
4偏见26.6051.3427.4673.89<1.012
方差1.2661.4261.4161.2261.046
(100,100,100)1偏见26.1252.9741.4457.285110
方差1.5371.4971.7371.4771.317
2偏见26.8757.3751.5551.575210
方差1.4871.3671.6271.3371.197
偏见22102.6951106.256<1.012
方差1.3871.3071.6271.3471.247
4偏见22.8579.9443.8092.444<1.012
方差1.3771.3071.6571.3371.197
表4

偏差2和方差σ2=0.25(对于这种情况)d日=3

(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(50,50,50)1偏见22.5741.196.1853.124410
方差1.3161.2961.4061.1861.036
2偏差22.5742.6145.9856.235210
方差1.4561.2561.4561.1661.026
偏见25.3984.3442.2091.054<1.012
方差1.1961.1161.3661.1361.026
4偏见26.6051.3427.4673.89<1.012
方差1.2661.4261.4161.2261.046
(100,100,100)1偏差26.1252.9741.4457.285110
方差1.5371.4971.7371.4771.317
2偏见26.8757.3751.5551.575210
方差1.4871.3671.6271.3371.197
偏见22102.6951106.256<1.012
方差1.3871.3071.6271.3471.247
4偏见22.8579.9443.8092.444<1.012
方差1.3771.3071.6571.3371.197
(n个1,n个2,n个)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(50,50,50)1偏见22.5741.196.1853.124410
方差1.3161.2961.4061.1861.036
2偏见22.5742.6145.9856.235210
方差1.4561.2561.4561.1661.026
偏见25.3984.3442.2091.054<1.012
方差1.1961.1161.3661.1361.026
4偏见26.6051.3427.4673.89<1.012
方差1.2661.4261.4161.2261.046
(100,100,100)1偏见26.1252.9741.4457.285110
方差1.5371.4971.7371.4771.317
2偏见26.8757.3751.5551.575210
方差1.4871.3671.6271.3371.197
偏见22102.6951106.256<1.012
方差1.3871.3071.6271.3471.247
4偏见22.8579.9443.8092.444<1.012
方差1.3771.3071.6571.3371.197

4.2.3. 这个案子d日=4

对于本案d日=4我们考虑了回归函数

1(x个,,z(z),)={π(x个++z(z)+)},
2(x个,,z(z),)={2π(x个++z(z)+)},(x个,,z(z),)=最大值t吨{x个,,z(z),}{7小时(t吨)}7小时(x个)7小时()7小时(z(z))7小时()

具有7小时根据方程式(17),

4(x个,,z(z),)=最大值{8小时(x个),8小时(),8小时(z(z)),8小时()}

具有8小时根据方程式(18),以及与案例类似的基于差分的估计d日=3.表格56显示我们模拟研究的选定结果。我们提到,核和局部多项式估值器仅在小样本情况下计算可行,例如n个=5,=1,…,4,由于交叉验证程序。在这种情况下,核估计量的计算需要13 s,对于n个=6需要54秒n个=7超过3分钟。

表5

偏见2和方差(n个1,n个2,n个,n个4)=(5、5、5和5)d日=4

σ2回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^本地林2甲骨文公司
0.251偏见25.0421.6218.4641.0513.573.087.647
方差2.221.772.8646.2343.1442.8942.024
2偏见22.4612.5311.1315.6312.5112.4711.026
方差5.202.888.4342.221.061.032.174
偏见22.8522.8523.0623.0528.639.984.057
方差2.281.095.9444.7743.8344.4141.944
4偏见23.551.721.531.041.011.211.417
方差1.466.2943.4042.7543.4043.8241.934
0.51偏差25.0621.6019.6341.0514.624.445.186
方差6.895.211.131.941.441.417.954
2偏见22.4212.5011.1115.5512.4812.5014.897
方差1.0925.911.884.822.532.358.834
偏见22.8522.8323.0423.0621.0321.1721.776
方差6.673.561.871.631.451.528.174
4偏见23.631.601.328.9241.521.514.116
方差4.502.071.2711.161.058.134
σ2回归函数方差估计器σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
0.251偏见25.0421.6218.4641.0513.573.087.647
方差2.221.772.8646.2343.1442.8942.024
2偏见22.4612.5311.1315.6312.5112.4711.026
方差5.202.888.4342.221.061.032.174
偏见22.8522.8523.0623.0528.639.984.057
方差2.281.095.9444.7743.8344.4141.944
4偏见23.551.721.531.041.011.211.417
方差1.466.2943.4042.7543.4043.8241.934
0.51偏见25.0621.6019.6341.0514.624.445.186
方差6.895.211.131.941.441.417.954
2偏见22.4212.5011.1115.5512.4812.5014.897
方差1.0925.911.884.822.532.358.834
偏见22.8522.8323.0423.0621.0321.1721.776
方差6.673.561.871.631.451.528.174
4偏见23.631.601.328.9241.521.514.116
方差4.502.071.2711.161.058.134
表5

偏见2和的方差(n个1,n个2,n个,n个4)=(5、5、5和5)d日=4

σ2回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
0.251偏见25.0421.6218.4641.0513.573.087.647
方差2.221.772.8646.2343.1442.8942.024
2偏见22.4612.5311.1315.6312.5112.4711.026
方差5.202.888.4342.221.061.032.174
偏见22.8522.8523.0623.0528.639.984.057
方差2.281.095.9444.7743.8344.4141.944
4偏见23.551.721.531.041.011.211.417
方差1.466.2943.4042.7543.4043.8241.934
0.51偏见25.0621.6019.6341.0514.624.445.186
方差6.895.211.131.941.441.417.954
2偏见22.4212.5011.1115.5512.4812.5014.897
方差1.0925.911.884.822.532.358.834
偏见22.8522.8323.0423.0621.0321.1721.776
方差6.673.561.871.631.451.528.174
4偏见23.631.601.328.9241.521.514.116
方差4.502.071.2711.161.058.134
σ2回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2σ^科恩2σ^locLin公司2甲骨文公司
0.251偏差25.0421.6218.4641.0513.573.087.647
方差2.221.772.8646.2343.1442.8942.024
2偏见22.4612.5311.1315.6312.5112.4711.026
方差5.202.888.4342.221.061.032.174
偏见22.8522.8523.0623.0528.639.984.057
方差2.281.095.9444.7743.8344.4141.944
4偏见23.551.721.531.041.011.211.417
方差1.466.2943.4042.7543.4043.8241.934
0.51偏见25.0621.6019.6341.0514.624.445.186
方差6.895.211.131.941.441.417.954
2偏见22.4212.5011.1115.5512.4812.5014.897
方差1.0925.911.884.822.532.358.834
偏见22.8522.8323.0423.0621.0321.1721.776
方差6.673.561.871.631.451.528.174
4偏见23.631.601.328.9241.521.514.116
方差4.502.071.2711.161.058.134
表6

偏见2和方差σ2=0.25(对于这种情况)d日=4

(n个1,n个2,n个,n个4)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(10,10,10,10)1偏见23.6442.6521.2165.395.409
方差2.7253.3451.6451.5651.155
2偏见22.9321.3613.3847.0521.508
方差3.7456.0751.6452.9251.215
偏见24.131.0629.4844.804.709
方差4.1053.6551.7651.6851.165
4偏见25.675.206.9546.9841.268
方差4.8953.3451.9451.4851.195
(50,50,50,50)1偏见23104.7151106.486110
方差2.3082.1982.5582.1581.988
2偏见21.7277.2145101.044<1.012
方差2.0781.9982.338281.868
偏见21.5647.0442.3351.184<1.012
方差2.4482.4382.5982.1881.968
4偏见24.1144.1545.6955.895<1.012
方差2.7682.5082.6582.1581.988
(n个1,n个2,n个,n个4)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(10,10,10,10)1偏见23.6442.6521.2165.395.409
方差2.7253.3451.6451.5651.155
2偏见22.9321.3613.3847.0521.508
方差3.7456.0751.6452.9251.215
偏见24.131.0629.4844.804.709
方差4.1053.6551.7651.6851.165
4偏见25.675.206.9546.9841.268
方差4.8953.3451.9451.4851.195
(50,50,50,50)1偏差23104.7151106.486110
方差2.3082.1982.5582.1581.988
2偏见21.7277.2145101.044<1.012
方差2.0781.9982.338281.868
偏见21.5647.0442.3351.184<1.012
方差2.4482.4382.5982.1881.968
4偏见24.1144.1545.6955.895<1.012
方差2.7682.5082.6582.1581.988
表6

偏见2和方差σ2=0.25(对于这种情况)d日=4

(n个1,n个2,n个,n个4)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(10,10,10,10)1偏见23.6442.6521.2165.395.409
方差2.7253.3451.6451.5651.155
2偏见22.9321.3613.3847.0521.508
方差3.7456.0751.6452.9251.215
偏见24.131.0629.4844.804.709
方差4.1053.6551.7651.6851.165
4偏见25.675.206.9546.9841.268
方差4.8953.3451.9451.4851.195
(50,50,50,50)1偏见23104.7151106.486110
方差2.3082.1982.5582.1581.988
2偏见21.7277.2145101.044<1.012
方差2.0781.9982.338281.868
偏见21.5647.0442.3351.184<1.012
方差2.4482.4382.5982.1881.968
4偏差24.1144.1545.6955.895<1.012
方差2.7682.5082.6582.1581.988
(n个1,n个2,n个,n个4)回归函数方差估计量σ^W公司,2σ^W公司,o个2σ^K(K),2σ^K(K),o个2甲骨文公司
(10,10,10,10)1偏见23.6442.6521.2165.395.409
方差2.7253.3451.6451.5651.155
2偏见22.9321.3613.3847.0521.508
方差3.7456.0751.6452.9251.215
偏见24.131.0629.4844.804.709
方差4.1053.6551.7651.6851.165
4偏见25.675.206.9546.9841.268
方差4.8953.3451.9451.4851.195
(50,50,50,50)1偏见23104.7151106.486110
方差2.3082.1982.5582.1581.988
2偏见21.7277.2145101.044<1.012
方差2.0781.9982.338281.868
偏见21.5647.0442.3351.184<1.012
方差2.4482.4382.5982.1881.968
4偏见24.1144.1545.6955.895<1.012
方差2.7682.5082.6582.1581.988

再说一遍,至于d日=3,估计量σ^K(K),2在基于差分的估计器中几乎总是表现得最好。从表6我们发现,根据定理4和5,随着样本量的增加,多项式加权方案的使用纠正了偏差,而广义冯·诺依曼(1941)估计器完全失败1。注意4接近常量函数。

4.2.4. 尺寸之间的比较

为了说明最优加权方案估计器(包括von Neumann(1941)对于增加维数(参见示例4),我们考虑了函数

˜d日(x个):=21/2π1(π=1d日x个),             d日=2,3,4.

请注意/t吨22=1,=1,…,d日,以使函数具有可比性。

图。6表明偏差(用√归一化N个源于中心极限定理;见下面的注释定理3)随着d日除了多项式加权方案估值器。相比之下,方差只起到很小的作用(图。7).

√N偏差依赖于N(--,d=2;--,d=3;····,d=4):(a)冯·诺依曼估计量(r=1);(b) σ^K,o2(r=2);(c) σ^K,p2(r=2)
图6

N个依赖性偏差N个(——,d日=2; - - - - - -,d日=3; · · · · · ·,d日=4):(a)冯·诺依曼估算师(第页=1); (b)σ^K(K),o个2(第页=2); (c)σ^K(K),2(第页=2)

√(N方差)依赖于N(--,d=2;---,d=3;····,d=4):(a)von Neu-mann估计量(r=1);(b) σ^K,o2(r=2);(c) σ^K,p2(r=2)
图7

√(N个方差)依赖于N个(——,d日=2; - - - - - -,d日=3; · · · · · ·,d日=4):(a)冯·诺伊曼估计量(第页=1); (b)σ^K(K),o个2(第页=2); (c)σ^K(K),2(第页=2)

5.结论

总之,我们发现具有“紧凑”配置且局部残差长度不太大的多项式差分估计量(第页4在我们考虑的所有设置中都足够)对于小样本和中等样本大小表现良好,前提是不能排除波动信号先验的多项式差分估计量计算简单,√N个在回归空间的任意维度上一致。如果已知信号缓慢振荡,则由于其优越的效率,使用核型估计器是可行的。然而,这里需要一个比交叉验证更具计算可行性的带宽选择(参见Herrmann等。(1995)). 我们在本文中没有探讨这个主题。未发现局部线性估计与核估计存在显著差异。这可能是因为,当方差为常数时,边界效应与当σ2是一个函数(参见Ruppert等。(1997)). 因此,可以使用更简单的核估计器来代替,而不会显著降低性能。然而,请注意,与差分估计器相比,这些估计器的计算时间随着维度的增加而急剧增加。这会产生相当大的实际负担,例如在通常需要实时计算的图像分析中。对于d日>2,根本不推荐使用最优差分格式,包括冯·诺依曼的推广(1941)估计器。请注意,这些估计值甚至不能是√N个如果回归空间的维数大于3,则一致。

致谢

作者们感谢德国论坛(DFG Mu1230/8-1)的支持。我们感谢L.Boysen和H.Dette的宝贵意见。本文的部分内容可以在Wagner中找到(1999). 作者感谢两位审稿人和一位副主编的评论,这些评论使本文的表述得到了很大改进。

工具书类

1

比桑茨
,
N。
蒙克
,
A。
(
2002
)
噪声非均匀回归中参数模型的图形选择方法
.
Mnthly Notes R.Astron公司。Soc公司。
,
336
,
131
138
.

2

卡罗尔
,
R。
鲁珀特
,
D。
(
1988
)
回归中的变换和加权
.伦敦:
查普曼和霍尔
.

德特
,
H。
,
蒙克
,
A。
瓦格纳
,
T。
(
1998
)
估计非参数回归中的方差——什么是合理的选择
?
J.R.统计。Soc公司。
B、,
60
,
751
764
.

4

风扇
,
J。
姚明
,
问:。
(
1998
)
随机回归中条件方差函数的有效估计
.
生物特征
,
85
,
645
660
.

5

Gasser公司
,
T。
,
斯罗卡
,
L。
詹尼·斯泰因梅茨
,
C、。
(
1986
)
非线性回归中的残差方差和残差模式
.
生物特征
,
73
,
625
633
.

6

霍尔
,
第页。
卡罗尔
,
R·J。
(
1989
)
回归中的方差函数估计:估计平均值的影响
.
J.R.统计。Soc公司。
B、,
51
,
14
.

7

霍尔
,
第页。
,
,
J。
Titterington公司
,
D。
(
1990
)
非参数回归中基于差分的渐近最优方差估计
.
生物特征
,
77
,
521
528
.

8

霍尔
,
第页。
,
,
J。
Titterington公司
,
D。
(
1991
)
二维信号处理中噪声方差的估计
.
高级申请。普罗巴伯。
,
23
,
476
495
.

9

霍尔
,
第页。
马龙
,
J。
(
1990
)
非参数回归中的方差估计
.
生物特征
,
77
,
415
419
.

10

哈德尔
,
西。
齐巴科夫
,
A。
(
1997
)
非参数自回归中波动函数的局部多项式估计
.
《计量经济学杂志》。
,
81
,
223
242
.

11

赫尔曼
,
E.公司。
,
魔杖
,
米。
,
恩格尔
,
J。
Gasser公司
,
T。
(
1995
)
二元核回归的带宽选择器
.
J.R.统计。Soc公司。
B、,
57
,
171
180
.

12

德容
,
第页。
(
1987
)
广义二次型的中心极限定理
.
普罗巴伯。理论相关Flds
,
75
,
261
277
.

13

,
J。
(
1988
)
图像恢复中调节参数的选择
.
莱克特。注释计算。科学。
,
301
,
587
596
.

14

,
J.S.公司。
(
1981
)
基于局部统计的图像噪声精细滤波
.
计算。图表。图像处理。
,
15
,
380
389
.

15

米勒
,
H。
斯塔特米勒
,
美国。
(
1987
)
回归分析中异方差的估计
.
安。统计师。
,
15
,
610
625
.

16

蒙克
,
A。
(
2002
)
用随机toeplitz形式检验非线性回归模型的拟合不足
.
扫描。J.统计。
,
29
,
501
535
.

17

冯·诺依曼
,
J。
(
1941
)
均方连续差分与方差之比的分布
.
安。数学。统计师。
,
12
,
367
395
.

18

诺依曼
,
米。
(
1994
)
完全数据驱动的非参数方差估计
.
统计
,
25
,
189
212
.

20

大米
,
J。
(
1984
)
非参数回归的带宽选择
.
安。统计师。
,
12
,
1215
1230
.

21

雷普利
,
B。
(
1981
)
空间统计
纽约:
威利
.

22

鲁珀特
,
D。
,
魔杖
,
米。
,
霍尔斯特
,
美国。
霍斯杰
,
O。
(
1997
)
局部多项式方差函数估计
.
技术计量学
,
39
,
262
272
.

23

塞弗特
,
B。
,
Gasser公司
,
T。
,
A。
(
1993
)
残差方差的非参数估计
.
生物特征
,
80
,
373
383
.

24

斯波科尼
,
对。
(
2002
)
高维回归模型的方差估计
.
J.多媒体。分析。
,
82
,
111
133
.

25

斯托尔
,
J。
(
1979
)
《数字数学》中的埃因夫·胡龙
,第一卷,柏林:
施普林格
.

26

汤普森
,
A。
,
,
J。
Titterington公司
,
D。
(
1991
)
基于正则化的信号恢复中的噪声估计
.
生物特征
,
78
,
475
488
.

27

瓦格纳
,
T。
(
1999
)
nichtparametrischer回归中的Untersuchungenüber die Varianz
.
博士论文
.
Fakultät für Mathematik公司
波鸿,Ruhr-Universtät Bochum。

28

魔杖
,
米。
琼斯
,
米。
(
1995
)
平滑化
.伦敦:
查普曼和霍尔
.

附录A:证明

A.1、。定理3的证明

如霍尔定理2.1的证明等。(1991),

E类[σ˜2σ˜j个2]=1n个n个j个12j个j个11,j个12J型j个21,j个22J型j个d日j个11()d日j个12()d日j个21(j个)d日j个22(j个)E类[ε1+j个11ε1+j个12ε2+j个21ε2+j个22]=σ4+N个1(E类[ε4]σ4+2σ4j个11J型j个21J型j个kd日j个11()d日j个11+k()d日j个21(j个)d日j个21+k(j个))+o个(N个1)=σ4+σ4N个{γ41+2k0(j个11J型d日j个11()d日j个11+k())j个21J型j个d日j个21(j个)d日j个21+k(j个)}+o个(N个1),

哪里Σ˜kΣ˜k0表示总和{k∈ ℤd日:j个11+kJ型j个21+kJ型j个}和{k∈ ℤd日∖{0}:j个11+kJ型j个21+kJ型j个}分别是。因为偏差是有序的O(运行)(n个−2γ)=o个(n个d日/2)=o个(N个−1/2)与一维情形相同,顺序的方差贡献O(运行)(N个−1)主宰着MSE。方差等于

无功功率,无功功率(σ^2)=无功功率,无功功率(=1L(左)μσ^2)=,k=1L(左)μμk{覆盖(cov)(σ˜2,σ˜k2)+O(运行)(n个2γ)覆盖(cov)(ξ,ξk)+O(运行)(n个γ)覆盖(cov)(ξ,σ˜k2)}

具有

覆盖(cov)(ξ,ξk)=1n个n个kj个kνJ型ηJ型kd日ν()d日η(k)E类[ε+νεj个+η]=1n个n个k+ν=j个+ηνJ型,ηJ型k,j个kd日ν()d日η(k)E类[ε+νεj个+η]=O(运行)(N个1),

因为#=n个=N个+O(运行)(n个d日−1)的=1,…,L(左).以同样的方式,覆盖(cov)(ξ,σ˜k2)=O(运行)(N个1).因为E类[σ˜2]=σ2结果来自条件∑μ=1.

A.2、。定理5的证明

为了简洁起见,我们只给出定理5证明的草图。与定理3的证明类似的计算表明,任何差分估计量的方差σ^2由等式右侧渐近给出(13). 因此,仍需证明对MSE的偏差贡献是有序的o个(N个−1). 对于这个注记,广义差分格式(d日j个())j个J型,=1,,L(左),满足条件(7),因此∑第页=第页然后泰勒级数展开表明,偏差是有序的O(运行)(n个−2)通过与一维情况(Dette)类似的计算等。,1998). 发件人=[d日/4] +1,结果如下。

答3。定理6的证明

非平行直线的条件意味着k,使得0≠k∈ ℤd日,最多一套J型(k)={j个J型:j个+kJ型}一个非空∈ {1,…,L(左)}. 因此,MSE中依赖于广义差分格式的部分等于

k0(=1L(左)μj个d日j个()d日j个+k())2=k01=1L(左)2=1L(左)μ1μ2(j个1J型1(k)d日j个1(1)d日j个1+k(1))j个2J型2(k)d日j个2(2)d日j个2+k(2)=k0=1L(左)μ2(j个J型(k)d日j个()d日j个+k())2+k012μ1μ2(j个1J型1(k)d日j个1(1)d日j个1+k(1))×j个2J型2(k)d日j个2(2)d日j个2+k(2)==1L(左)μ2k0(j个J型(k)d日j个()d日j个+k())2,
(19)

因为方程第二项的和(19)的为012k≠0。此外#{k≠0:J型(k)≠∅}=2第页,因此MSE可以扩展为

MSE公司(σ^2)=σ4N个{γ41+2=1L(左)(第页第页)2k0(j个J型(k)d日j个()d日j个+k())2}+o个(N个1).

现在有一个与本案类似的论点d日=1(大厅等。,1990)显示了的渐近最优性σ^选择,第页2,我们获得

MSE公司(σ^选择,第页2)=σ4N个{γ41+2=1L(左)(第页第页)2(2第页)(12第页)2}+o个(N个1)=σ4N个1(γ41+1第页)+o个(N个1),

在我们使用过的地方

k0(j个J型(k)d日j个()d日j个+k())2=12第页.

还有待证明σ^选择,第页2在定义2的方差估计类中,渐近最小化MSE。我们指出了以下证据d日=2; 一般情况d日可以类推。

Y(Y)=(Y(Y)11,,Y(Y)1n个2,,Y(Y)n个11,,Y(Y)n个1n个2)T型;

然后

σ^2==12μ信托收据()Y(Y)T型Y(Y)=:Y(Y)T型U型Y(Y),

哪里=˜T型˜,以及

˜=(d日0()d日第页()0000d日0()d日第页())(n个1n个2第页)×n个1n个2.

我们有tr()=n个=N个+O(运行)(n个d日−1),其中n个=最小值(n个1,n个2). 此外,

信托收据(U型)=1+o个(1),信托收据{诊断(U型)2}=N个1+o个(N个1).

因此,我们发现

MSE公司(σ^2)=σ4{(γ4)N个1+2信托收据(U型2)}+O(运行)(N个1)=σ4{(γ41)N个1+2j个u个,j个2}+O(运行)(N个1),

哪里u个,j个表示的元素U型最后,Σj个u个,j个2最小化,如果u个,j个=−1/2第页,j个,最高可达O(运行)(n个d日−1)条款。现在,非对角元素为-1/2第页,=1,…,L(左),用于σ^选择,第页2符合订单条款O(运行)(n个d日−1); 因此,对于μ=第页/第页根据需要。

本文根据牛津大学出版社标准期刊出版模式的条款出版和发行(https://academic.oup.com/journals/pages/open_access/funder_policies/chorus/standard_publication_model)