纵向数据分析中的稳健估计函数和偏差修正

摘要

当与模型假设存在微小偏差时，稳健方法有助于做出可靠的统计推断。通过将标准化残差替换为M（M）-残差。如果假设皮尔逊残差为零无偏，则当误差分布不对称时，稳健方法的参数估计量是渐近有偏的。我们提出了一种无分布的方法来纠正这种偏差。我们的大量数值研究表明，所提出的方法可以大大降低偏差。举例说明。

1.简介

纵向研究的特点是在一定时间内对个体进行重复测量。这些研究导致了有趣的统计研究，以考虑重复观测之间可能的相关性。纵向数据分析的统计方法通常也适用于具有嵌套、空间和家庭/窝结构的数据(Diggle等人，2002年).

广义线性模型的方法提供了一个方便的框架，用于将异质方差建模为分析连续/离散数据时均值的函数。然而，这种框架不能用于分析相关数据，因为很难建立具有必要边缘属性的多元似然函数。这激发了梁泽格（1986）开发广义估计方程（GEE）方法，该方法涉及“工作”相关矩阵，以提高估计效率。事实上，协方差矩阵应被视为“工作”矩阵，因为方差函数在实践中也会出现错误规定(王和林，2005).

分析纵向数据有几种方法，包括随机效应模型、边际模型和条件模型。特别是，众所周知的GEE方法只需要指定边际均值和协方差函数。该理论来源于构造参数估计的皮尔逊残差的最佳线性组合。该方法原则上与加权最小二乘法非常相似，不具有任何鲁棒性。

传统的稳健方法M（M）-独立数据的估计可以很好地描述为Huber（1981）最近，一些作者考虑了纵向数据分析的稳健方法。例如，何、朱、冯（2002）提出M（M）-部分线性模型中的估计量，以及Jung和Ying（2003）探索了重复测量的排序方法。但他们的方法忽略了来自同一主题的观察结果之间的相关性。Preisser和Qaqish（1999）通过向下加权有影响的数据点，提出了GEE方法的抵抗版本。如果权重取决于响应，则需要高阶矩假设才能获得无偏估计方程。哈金斯（1993）和吉尔（2000）还将稳健方法应用于基于多元正态分布的重复测量。他们的方法类似于使用稳健似然作为工作模型。Welsh和Richardson（1997）调查的多变量t吨-分布和截断正态分布。皮尔逊残差的线性变换可以导致不相关的残差，因此传统的M（M）-可以使用估计。然而，对于这些方法，需要联合分布的对称性，这是一个很强的假设。

Hu和Lachin（2001）建议通过将Huber函数应用于标准化残差来对GEE方法进行稳健化。这种方法仅适用于误差分布对称的情况。许多其他人也需要这种假设(Schrader和Hettmansperger，1980年;街道、卡罗尔和鲁珀特，1988年;Chi，1994年;吉尔，2000).Hu和Lachin（2001）对受到各种其他误差分布（可能是倾斜的）污染的正态和柯西响应进行了广泛的模拟，并得出结论，稳健GEE总体上优于普通GEE。Cantoni和Ronchetti（2001）考虑分布通常不对称的广义线性模型的稳健分析。他们还展示了当核心分布为二项式或泊松分布时，如何获得Huber函数的偏差项。

过度分散和偏斜在实践中很常见。纵向数据中的主题相关性使得稳健推断更具挑战性。在本文中，我们考虑了GEE方法的一个稳健版本，并介绍了一种不需要任何分布假设的一步偏差校正技术。我们的大量仿真研究表明，所提出的方法可以大大减少从鲁棒函数继承的参数估计中的偏差。还利用一项癫痫发作研究的数据说明了所提出的方法。

2.稳健估计函数

让年_它表示t吨第个观察结果我第个主题，其中我= 1, … , K（K）和t吨= 1, … , n个_我，然后年_我==========================================================(年_我1, … , 年⁠)^T型是我主题。还让X（X）_我= (x个_我1, … , x个⁠)^T型是的设计矩阵n个_我×第页尺寸我第个主题，其中x个_它= (x个_它1, … , x个_{信息技术计划})是t吨th观察值和βis第页-维度向量。所以我们有E(年_我) =μ_我=克(X（X）^T型_我β） ，其中克（·）是广义线性模型（GLM）框架中定义的链接函数，响应的方差定义为平均值var的函数(年_我) =φA类²_我(μ_我)，其中φ是色散参数A类²_我(μ_我)是一个n个_我×n个_我对角方差函数。稍后，我们将抑制对A类_我在μ上_我当没有混淆时。对于GEE方法(Liang和Zeger，1986年)，让D类_我=∂μ_我/∂β^T型; 我们可以得到第页-向量β通过求解以下估算方程：

哪里对_我（α） 是一个“工作”相关矩阵，通常假设其具有参数α的指定结构。相关参数α可以通过基于残差的方法获得，如矩法、高斯法和准最小二乘法(Wang和Carey，2003年,2004).

假设是β的估计量，通过求解U型_克(β) = 0. 正如所指出的Hu和Lachin（2001）GEE方法在纵向数据分析中非常有用；然而，在某些情况下，它对非正态残差和异常值的敏感性可能导致矛盾的结果。因此，稳健的方法也适用于纵向数据。独立数据的传统方法是将总损失函数定义为个人数据损失的总和。然而，这种方法忽略了相关性，这对于分析纵向数据是不可取的。还很难定义多元损失函数，以便有效地考虑相关性。

为了继续，让第页_我= (第页_我1, …,第页⁠)^T型= (φ^1/2A类_我)⁻¹(年_我-μ_我)为标准化残差。当以真实值进行评估时，β=β₀,第页_我成为真实误差（未观察到），表示为ε_我假设ε的cdf和pdf_它是F类_它和（f）_它分别是。对于选定的函数ψ，我们指ψ(第页_我) ={ψ(第页_我1), … , ψ(第页⁠)}^T型作为M（M）-残差。这里ψ（·）是一个向下加权函数。例如，众所周知的Huber函数是ψ(第页)=最小{τ，最大{第页，-τ}}（τ是一个正调谐常数，通常选为1.345）。如果L（左）_第页使用范数，我们有ψ(第页) = |第页|^第页−1sgn公司(第页). 请注意L（左）_第页范数不会导致有界推理，除非第页= 1. 稳健残差ψ(第页_我)，也称为M（M）-本文中的残差。

考虑基本估计函数η似乎是合理的_我=ψ(第页_我)−E｛ψ（ε_我)}并构造这些鲁棒残差的最优或次优线性组合用于参数估计(Qaqish和Preisser，1999年). 请注意t吨η的th元素_我是ψ(第页_它)−E{ψ（ε_它)}，仅涉及第页_它但不是第页_伊尔对于我≠t吨这种方法将使我们能够利用单变量“稳健”损失函数，例如L（左）_第页纵向数据的范数和Huber函数。根据广义高斯-马尔可夫定理，基估计函数的最佳线性组合形式为(Small和McLeish，1994年)

哪里是由var（η）组成的对角矩阵_我)、和为corr（η_我). 方差矩阵可以选择为常量，因为第页_我是标准化的。例如，（此处我是单位矩阵），用于与τ=0的Huber函数相对应的中值回归或L（左）_第页规范第页= 1 (Jung，1996年).

与GEE方法相同和应被视为“工作”矩阵，用于M（M）-残差ψ(第页_我). 尽管(2)提供了一种可行的鲁棒推理方法，有一些基本问题需要解决，（i）E{ψ（ε_它)}理论上取决于误差分布，以及（ii）雅可比矩阵和工作矩阵还需要进一步建模或近似。

一般来说，⁠，它变为对于Huber函数，以及对于L（左）_第页规范。显然，我们有E{ψ（ε_它)}对称分布为0。我们将考虑ε_它可能不是对称的。

如果ψ（·）是可微的，我们让一_它=E[ε_它ψ′(ε_它)]和b条_它=E[ψ′（ε_它)]. 为了更一般并涵盖ψ（·）不可微的情况，设(一_它,b条_它)由以下展开式确定：

作为δ²₁+δ²₂→ 0。这意味着

在哪儿B类_我=诊断(b条_它)和S公司_我=诊断(一_它)是对角矩阵，F类_我=∂σ_我/∂β^T型是一个n个_我×第页矩阵和σ²_我={var(年_它)}/φ、 对角矩阵。

对于已知或给定的E{ψ（ε_我)}，最佳估计函数为

当σ²_我不是β的函数，F类_我是0的矩阵。矩阵A类_我和D类_我是熟悉的，而B类_我和F类_我在文献中不太熟悉。对于Huber函数，b条_它=Pr（|ɛ_它|≤τ），即2F类_它（τ） −1，和⁠。对于L（左）_第页正常，我们有一_它=0和

估算F类^T型_我S公司_我和因此很难，因为它涉及ε的密度函数_它另一方面，F类^T型_我S公司_我通常很小，如果不是0，var（η_我)应近似为常数；因此，我们建议使用以下次优稳健估计函数，

然而，上述估计函数仍需要计算E{ψ（ε_我)}如果没有分配假设，这也被认为是很困难的。假设对称误差分布和B类_我=计算机接口对于某个常量标量c（c）,U型_N个（β） 成为评估函数Hu和Lachin（2001）,

得到的估计器，⁠，当E{ψ（ε_我)}≠0，当误差分布倾斜时为真。

为了考虑非对称分布，我们需要推导E{ψ（ε_我)},一_它和b条_它，这需要指定错误分布。例如，Cantoni和Ronchetti（2001）导出E｛ψ（ε_我)}假设二项分布和泊松分布的Huber函数。我们旨在纠正不做任何分配假设。

要消除中的偏差⁠，我们可以相提并论（5）而不是0，即。，

其中右侧是E的估计量[U型_对(β₀)]. 这导致了偏差校正的鲁棒估计器，⁠。让我们再次检查⁠.将泰勒级数展开应用于U型_对（β） 实际值β₀，我们有

因此我们得到了⁠，其中

注意，通过在将不起作用，因为根据以下定义，估计偏差将变为0⁠.尽管不具备稳健性，可以用它来获得Δ的合理估计。这导致了偏差修正估计函数(6).

如果ψ（·）是可微的，则⁠，对于中值回归，我们可以使用⁠，其中包括2个估计值（f）_它(0) (Jung，1996年). 平均值（f）_它（0）可以通过

其中δ是哦(K（K）^−1/5)Ind是指示函数。因此，我们得到Δas的估计量

因此是一个偏差修正估计量⁠这里，α和φ也是用稳健方法估计的。例如，Hu和Lachin（2001）使用以下稳健的规模估计：

哪里是皮尔逊残差小时是一个常数，取决于误差的分布(小时≈1.483（正常残差）。α的稳健估计可以通过矩方法获得，

对于自回归模型和

对于可交换模型，其中S公司²是{ψ的平均值²(第页_它)},我= 1, … , K（K）和t吨= 1, … , n个_我。的渐近协方差可以通过夹心法获得

3.数值研究

为了研究偏差校正方法的性能，我们对通过组合不同分布、污染率（λ）、相关结构和协变量结构获得的各种模型进行了仿真研究。考虑了两种类型的分布：

• 回应年_它正态分布，平均μ_它和方差1，但误差受χ污染²（4） −4，概率λ；

• 污染泊松数据，年_它，因此

  

  哪里Z轴_它～泊松（μ_它). 我们将表示年_它～（1-λ）泊松（μ_它)+λ泊松(M（M）μ_它). 的平均值年_它, μ_它，为β₁+β₂x个_它对于情况（i）和exp（β₁+β₂x个_它)对于情况（ii）。（β）的真值₁, β₂)是（1，1），以及样本大小K（K）等于100n个_我=5，对于平衡情况和n个_我=4或8，对于不平衡情况。考虑了两种类型的协变量：（a）协变量随时间变化：x个_它均匀分布在(j个,j个+ 1),j个= 1, … , n个_我(n个_我=5）对于情况（i）和exp(x个_它)均匀分布在(j个,j个+1）对于情况（ii）；（b） 受试者特有的协变量，50%的受试者取值为0，其他50%的受测者取值为1。此设置表示使用相同数量患者的两种治疗方法的比较。估计中使用了两种工作相关结构，一阶自回归（AR1）和可交换（EXC）。使用5%和20%这两种污染率来观察λ变化时结果的差异。

对于正常响应，稳健估计确实改进了GEE方法，并且U型_N个类似于U型_克在偏差和MSE方面(表1). 这是因为母N（0,1）分布使E{ψ（ε_我)}=0近似为真，在这种情况下，稳健的GEE比GEE工作得更好(胡和拉钦，2001). 注意，对于对称分布（如正态分布）的响应，U型_C类与…一致U型_对。因此没有关于的结果U型_C类在里面表1.

然而，由于稳健估计中存在大量偏差，泊松响应不再如此。偏差校正还导致MSE降低。当污染率较高（20%）时，稳健GEE估计值可能会有很大偏差。表2使用Huber方法比较泊松数据的估计量的偏差和均方误差（MSE）；注意，表中的“φ”表示泊松数据的过度分散。对于泊松数据，我们还使用Cantoni和Ronchetti（2001）（表示为U型_C类).

即使在正常情况下，如果污染分布不对称，也存在明显的偏差。当λ=20%时，所有情况下的偏差都会变得更大。我们的方法在所有情况下都成功地消除了稳健GEE估计中的偏差。EXC和AR1工作模型下的类似结果表明，工作相关性矩阵似乎对性能没有影响。

然而，对于对称分布（正态），正如我们所预期的那样，在偏差校正中没有增益。在表3，偏差对于受污染的泊松数据，即使λ=5%，也约为12%，这表明需要对有效的统计推断进行偏差校正。

表3还显示了50%的受试者有四个观察值，而其他50%受试者则有八个观察值时泊松数据估计值的MSE。考虑了两种类型的协变量（簇级和簇内）。同样已基本移除。与其他估计量相比，偏差修正估计量的MSE也大大降低。

偏差修正估计器的性能与GEE估计器类似。这是因为对于GEE方法，平均值和方差函数几乎是正确指定的。但对于稳健方法，均值和方差函数总是被错误指定。因此，我们的模拟设置有利于GEE方法。

偏差校正成功地减少了偏差。但这通常会导致新估计器的方差较大，因此MSE较大。的确，如所示表1和2，在某些情况下，建议的方法效果较差。因为我们对偏差的估计是基于对异常值不敏感的稳健估计函数，所以我们期望在某些情况下表现良好（请参阅表3).

我们还检查了各种其他λ值和M（M）结合不同的协变量设计和Huber函数中不同的τ值（簇大小相等和不等），得出了非常相似的结论。

4.示例

我们现在使用癫痫发作研究的数据集进行说明。有关研究的详细信息，请参阅塔尔和维尔（1990）这项随机试验包括31名接受进展治疗的患者和28名接受安慰剂治疗的患者。59名患者的癫痫发作计数以连续4个2周的间隔进行记录，基线周期为8周。实验期间使用了两种不同的治疗方法（安慰剂和药物）。我们在模型中考虑了四个因素：治疗（安慰剂为0，药物为1），年龄对数，基线发作次数（除以4，然后进行对数转换），以及治疗与基线发作之间的相互作用。log-link函数，μ_它=经验(x个^T型_它β） ，以及过分散的泊松方差var(年_它) =φμ_它在我们的分析中使用。发现与受试者的相关性很强(⁠对于具有AR1工作相关假设的GEE方法），提出了各种协方差模型来解释泊松回归模型中的额外变化。

我们首先使用GLM（独立GEE模型）对数据进行拟合，发现过度分散参数φ为3.8。所有受试者的平均成对剩余产品也显示出显著的受试者内相关性。因此，我们采用了普通的GEE方法（即。，L（左）_第页-标准，第页=2）具有AR1工作相关结构。β及其相应标准误差的估计值见表4.正如所指出的Diggle等人（2002年），207号患者在基线检查时癫痫发作次数极高，治疗后癫痫发作次数增加了一倍（见图1.5Diggle等人，2002年). 一种简单的方法是丢弃该患者的数据(Diggle等人，2002年). 然而，我们的残差图显示，112、207、225和227名患者都可能是“异常值”(图1)，并且很难证明将它们全部排除在分析之外是合理的，因为这样做没有临床依据(塔尔和维尔，1990年). 因此，使用一些稳健估计方法进行分析非常有趣。

我们使用τ=1.345的Huber函数进一步应用了稳健的GEE方法。这种方法导致估计值发生了重大变化。正如人们所料，残差图显示出高度偏斜。因此，在应用稳健方法时，有必要进行偏差修正。因此，我们考虑了两者和⁠。请注意与GEE估计值有很大不同，这意味着在评估E｛ψ（ε_它)}可能不合适。因此，我们的无分布偏差校正方法在稳健估计过程中可能有用。我们还发现E的偏差(U型_对)用这两种方法估计和⁠，显示出实质性差异。作为进一步的检查，我们使用预测值作为平均值生成了泊松数据，并获得了皮尔逊残差。情节比年的情节对称得多图1，表明发作计数数据比泊松分布更为偏斜。

另一种使GEE估计器鲁棒的方法是使用L（左）_第页-范数而不是Huber函数。这是因为当1≤第页< 2. 在表4，我们还对第页= 1.5. 与GEE相比（即。，第页=2）结果，估计值，尤其是截距，差异很大。然而，对于第页=1.5，稳健GEE的估计值显示出与普通GEE的一些显著差异。注意，所有稳健估计，包括Huber方法的估计，都不再保留相同的含义。因此，我们预计估计值会有所不同，因为残差是高度倾斜的，为了进行有效的推断，有必要进行偏差校正。此外，通过偏差修正，估计值应具有相同的含义，以便直接比较变得有意义。带有偏差修正的估计值更接近GEE估计值。从Huber估计结果中也可以得出关于偏差修正的类似结论。

5.讨论

考虑的稳健方法Preisser和Qaqish（1999）,Hu和Lachin（2001）、和Cantoni和Ronchetti（2001）为稳健推断建立了一种有用且方便的方法。我们的目的是消除由于增强GEE估计量而产生的偏差。这里提出的方法是无分布的，一般适用。我们的模拟研究表明，偏差校正对连续分布和离散分布都有效。如前所述，U型_选择（β） 是理论上的最优估计函数。但它需要分布假设，因此它仍然是一种基于相似性的方法。当难以指定“真实”分布时，我们的无分布方法提供了一种有用的替代方法。

在存在过度分散的情况下Cantoni和Ronchetti（2001）只能根据二项式或泊松分布等已知分布校正部分偏差。通过使用β二项式和负二项式分布，将他们的方法推广到过分散二项式和泊松分布是很有意思的。然而，这种偏差校正是特定于分布的，即诱导过度分散的不同分布将导致不同的偏差表达式。当可能性出现错误时，进一步检查这些基于相似性的偏差校正方法的性能也很有意思。另一方面，我们可能希望根据转换后的残差（如中位数）得出结论，即使对于偏态分布，也可能不需要进行偏差校正。例如，在比较两种治疗方法时，中位数而不是平均值也是合适的，并且无需校正中位数估计值以使其成为平均值估计值。

致谢

我们要感谢联合主编和副主编的建设性意见，这些意见使论文得到了很大的改进。这项研究得到了新加坡国立大学拨款R-155-000-037-112的部分支持。

工具书类