A novel group VIF regression for group variable selection with application to multiple change-point detection

Hao Ding; Yan Zhang; Yuehua Wu

doi:10.1080/02664763.2021.1987400

J应用统计。2023; 50(2): 247–263.

2021年10月14日在线发布。数字对象标识：10.1080/02664763.2021.1987400

预防性维修识别码：项目经理C9869998

PMID：36698544

一种新的用于组变量选择的组VIF回归及其在多变化点检测中的应用

郝丁, 张燕（音译）,和吴月华

作者信息版权和许可信息 PMC免责声明

摘要

在本文中，我们提出了一种新的群体方差膨胀因子（VIF）回归模型，用于处理数据遵循分组结构的大型数据集。与经典的惩罚方法不同，该方法可以在稀疏模型中执行组变量选择，这与经典的处罚方法有很大不同。我们进一步调整了与检测线性模型中多个变化点的两阶段过程相关联的建议方法。我们进行了大量的仿真研究，结果表明所提出的群变量选择和变点检测方法是稳定有效的。最后，我们提供了两个实际数据示例，包括一个体脂数据集和一个空气污染数据集，以说明我们的算法在组选择和变化点检测中的性能。

关键词：组变量选择、多变点检测、分段回归、VIF回归

1.简介

变量选择是统计建模中的一个重要且具有挑战性的问题，在过去的几十年中得到了广泛的研究。惩罚方法，如最小绝对收缩和选择算子（LASSO）[20]，平滑剪裁绝对偏差（SCAD）[4]，自适应套索[27]，最小最大凹罚（MCP）[23]，因处理此任务而受欢迎。这些方法主要侧重于选择单个变量。然而，一些数据集具有分组结构：例如，具有多层次分类变量的经济调查数据、基因表达微观阵列数据和来自不同金融部门的投资组合数据。例如，在体脂数据分析中，研究体脂百分比与其他12项身体测量值之间的关系很有意思，这些测量值可分为6类，参见[16]. 然而，这六组中的一些可能并不重要。因此，在数据分析中，分组选择是有用和必要的。近年来，文献中已经讨论了群体选择问题。袁和林[22]提出了套索群，它是套索的自然延伸。迈尔等。 [17]研究了logistic回归模型的群套索，提出了一种高维数据的有效算法。赵等。 [25]提出了一种通用的复合绝对惩罚，其中包含了群套索作为特例。黄等。 [10]提出了一种同时选择群体和群体内个体变量的桥接方法。综述了群选择的发展，以及群选择的理论和计算算法[9].

上述所有研究工作都集中在惩罚方法上。这些方法对于大型数据集可能效率不高，因为不仅潜在模型的数量变得过大，而且针对交叉验证标准进行优化的实现可能会变得计算成本高昂。受大数据VIF回归算法的启发[15]，我们提出了一种前向分段过程，称为组VIF过程，以解决分组结构数据的组选择问题。前向分段过程是一种古老而贪婪的技术，但由于过去有限的计算资源，统计学家往往忽视了它。然而，正如中所评论的[21]前向分段由于其简单的迭代，计算成本低，因此从现代角度来看是有效的。

近年来，文献中使用变量选择方法来解决多个变点检测问题。变化点检测和估计的统计分析已经进行了很多探索，可以看到一种系统的方法[2]. Harchaoui和莱维·莱杜克[7,8]通过Lasso估计一维分段恒定信号中多个变化点的位置。金等人。[11]提出了一种基于SCAD和MCP惩罚的非平稳时间序列模型多结构突变估计和变量选择的快速算法。金等人。[12]进一步考虑了线性回归中估计多变化点的有效两阶段方法。陈等人。[1]、和张等人。[24]采用群拉索方法分别估计了时间序列模型中的结构突变和线性回归模型中的变化点。施等人。[18]提出了一种通过VIF回归方法检测均值漂移模型中多个变化点的方法[15]. 受此启发，我们还将我们提出的组VIF过程应用于多变化点检测。我们的研究与[18]我们的变点检测方法应用于线性模型，而不仅仅是均值漂移模型。

我们在本文中有三个主要贡献。首先，我们提出了一种在多元线性回归中使用检验统计量的组VIF回归程序。其次，我们将所提出的组VIF方法应用于处理多线性模型中的多变化点检测。第三，我们提供了所提方法的理论依据。我们还提供了仿真研究和两个实例，其中分析了体脂数据集和空气污染数据集（PM10），以检验所提出的组VIF方法的性能及其在多变化点检测中的应用。

本文的其余部分组织如下。在节中2，我们引入组VIF回归进行组选择。在节中三，我们在多元线性回归设置中为我们的方法提供了理论依据。在节中4，我们给出了仿真结果。在节中5，我们将我们的方法应用于两个实际示例。我们在第节中总结了本文6.章节的重要符号及其说明2–三在附录1中提供，所有理论结果的证明在附录2中给出。

在本文的其余部分中，我们使用了以下符号。 $我 (\cdot)$ 是一个指示函数。 $我$ 是单位矩阵。对于向量 $一$ , $∥ 一 ∥$ 表示其 $我_{2}$ 规范。对于正方形矩阵 $A类$ , $λ_{最大值} (A类)$ 和 $λ_{最小值} (A类)$ 分别表示其最大和最小特征值。 $⌊ c（c） ⌋$ 和 $⌈ c（c） ⌉$ 是整数，因此 $0 \leq c（c） - ⌊ c（c） ⌋ < 1$ 和 $0 \leq ⌈ c（c）中国 - c（c） < 1$ .

2.VIF组回归

考虑以下多元线性回归J型组：

年 = \sum_{j = 1}^{J型} {X（X）}_{j} β_{j} + ϵ_{0},

(1)

哪里 $年$ 是一个 $n个 \times 1$ 矢量， ${X（X）}_{j}$ 是一个 $n个 \times {第页}_{j}$ 设计矩阵， $\sum_{j = 1}^{J型} {第页}_{j} = 第页$ (第页可以比n个，即。 $第页 ≫ n个$ ), $β_{j}$ 是未知的 ${第页}_{j}$ -与j第th组 ${X（X）}_{j}$ ，和随机错误向量 $ϵ_{0} \sim {N个}_{n个} (0, σ_{0}^{2} 我)$ .在不失一般性的情况下，我们假设 $年$ 和 ${X（X）}_{j}$ s均居中。自从一些 $β_{j}$ s可以是零向量，我们将非零回归系数向量的指标集表示为 $G公司 = {j : β_{j} \neq 0, j = 1, \dots, J型} \subseteq {1, \dots, J型}$ 。我们假设 $\sum_{j \in G公司} {第页}_{j} \leq n个$ .让 ${X（X）}_{G公司}$ 成为 $n个 \times (\sum_{j \in G公司} {第页}_{j})$ 由预测器跨越的矩阵 ${{X（X）}_{j}, j \in G公司}$ 。我们假设 ${X（X）}_{G公司}^{⊤} {X（X）}_{G公司}$ 是可逆的。本文旨在选择与集合相对应的所有组预测因子 $G公司$ 在模型中(1).

然后是林等人。[15]，我们考虑以下逐步回归模型：

年 = \sum_{米 = 1}^{M（M）} {X（X）}_{j_{米}} β_{j_{米}} + {X（X）}_{n个 e（电子） w个} β_{n个 e（电子） w个} + ϵ, ϵ \sim {N个}_{n个} (0, σ_{M（M）}^{2} 我),

(2)

哪里 ${X（X）}_{j_{米}}$ , $j_{米} \in G公司, 米 = 1, \dots, M（M）$ ，是 $n个 \times {第页}_{米}$ 已添加到模型中的组预测因子， ${X（X）}_{n个 e（电子） w个}$ 是新的 $n个 \times {第页}_{n个 e（电子） w个}$ 组预测值， $β_{j_{米}}$ 是 ${第页}_{米}$ -与关联的维数未知参数向量米第th组 ${X（X）}_{j_{米}}$ 。我们需要决定新的组预测值 ${X（X）}_{n个 e（电子） w个}$ 是否应该添加，也就是说，我们需要测试 $β_{n个 e（电子） w个} = 0$ .表示 ${X（X）}_{M（M）} = ({X（X）}_{j_{1}}, \dots, {X（X）}_{j_{M（M）}})$ ，然后 ${X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）}$ 是可逆的，这是由关于 ${X（X）}_{G公司}^{⊤} {X（X）}_{G公司}$ .让 ${H（H）}_{M（M）} = {X（X）}_{M（M）} ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} {X（X）}_{M（M）}^{⊤}$ , $第页 = (我 - {H（H）}_{M（M）}) 年$ 是投影的剩余向量 $年$ 在 ${X（X）}_{M（M）}$ 根据分阶段算法，我们只需要对新的组预测因子进行回归 ${X（X）}_{n个 e（电子） w个}$ 关于残差 $第页$ .动机[15]，我们考虑以下阶段回归：

第页 = {X（X）}_{n个 e（电子） w个} γ_{n个 e（电子） w个} + \tilde{ϵ}, \tilde{ϵ} \sim {N个}_{n个} (0, {\tilde{σ}}^{2} 我) .

（3）

让 ${\hat{β}}_{n个 e（电子） w个}$ 是的最小二乘估计 $β_{n个 e（电子） w个}$ 在模型中(2)，以及 ${\hat{γ}}_{n个 e（电子） w个}$ 是的最小二乘估计 $γ_{n个 e（电子） w个}$ 在模型中(三)带有 ${X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}$ 可逆的。我们有以下建议。

提议2.1

在模型下(2)和(三)，我们有

{\hat{γ}}_{n个 e（电子） w个} = ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个})^{- 1} Λ^{2} {\hat{β}}_{n个 e（电子） w个},

(4)

哪里 $Λ^{2} = {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) {X（X）}_{n个 e（电子） w个}$ .

由(4)，估计值 ${\hat{γ}}_{n个 e（电子） w个}$ 只是一个线性变换 ${\hat{β}}_{n个 e（电子） w个}$ 因此，两种假设检验 $β_{n个 e（电子） w个} = 0$ 和 $γ_{n个 e（电子） w个} = 0$ 可用于确定新预测值是否 ${X（X）}_{n个 e（电子） w个}$ 有助于线性模型。

提议2.2

在模型下(2)和(三)，我们有

{\hat{β}}_{n个 e（电子） w个} = Λ^{- 2} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) {\hat{γ}}_{n个 e（电子） w个} \overset{d日}{\sim} {N个}_{{第页}_{n个 e（电子） w个}} (β_{n个 e（电子） w个}, σ_{M（M）}^{2} Λ^{- 2}) .

(5)

我们的目的是检验无效假设

{H（H）}_{0} : β_{n个 e（电子） w个} = 0 .

低于 ${H（H）}_{0}$ 和(5)，我们有测试统计

吨 = {\hat{γ}}_{n个 e（电子） w个}^{⊤} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) Λ^{- 2} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) {\hat{γ}}_{n个 e（电子） w个} / σ_{M（M）}^{2} \overset{d日}{\sim} χ_{{第页}_{n个 e（电子） w个}}^{2} .

请注意 $χ_{{第页}_{n个 e（电子） w个}}^{2}$ 代表χ-平方分布 ${第页}_{n个 e（电子） w个}$ 自由度。类似于[15], $σ_{M（M）}^{2}$ 可以通过零假设下的均方误差（MSE）来估计 ${H（H）}_{0}$ ，可以防止过度拟合或产生选择偏差[5]. 从命题2.1中，我们知道

({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个})^{- 1} Λ^{2} = 我 - ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个})^{- 1} {X（X）}_{n个 e（电子） w个}^{⊤} {H（H）}_{M（M）} {X（X）}_{n个 e（电子） w个} .

因此，我们将建议的方法称为组VIF（gVIF）回归，而不是[15].

上述gVIF程序可总结如下：

获取 $第页 = (我 - {H（H）}_{M（M）}) 年$ 和 ${\hat{σ}}_{M（M）}^{2} = ∥ 第页 ∥^{2} / (n个 - ♯ M（M）)$ ，其中 $♯ M（M） = \sum_{米 = 1}^{M（M）} {第页}_{米}$ .
计算 $Λ^{2} = {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) {X（X）}_{n个 e（电子） w个}$ .
计算测试统计
$\begin{aligned} \hat{吨} & = {\hat{γ}}_{n个 e（电子） w个}^{⊤} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) Λ^{- 2} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) {\hat{γ}}_{n个 e（电子） w个} / {\hat{σ}}_{M（M）}^{2} \\ = ({X（X）}_{n个 e（电子） w个}^{⊤} 第页)^{⊤} Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} 第页 / {\hat{σ}}_{M（M）}^{2} . \end{aligned}$
(6)
如果 $\hat{吨} > χ_{{第页}_{n个 e（电子） w个}}^{2} (α)$ ，然后是新的预测值 ${X（X）}_{n个 e（电子） w个}$ 添加到模型中，其中 $χ_{{第页}_{n个 e（电子） w个}}^{2} (α)$ 代表上部α分位数χ-平方分布 ${第页}_{n个 e（电子） w个}$ 自由度。

鉴于[15]，我们使用α-投资规则[6]. 阶段回归算法是一类特征选择方法，其中每个潜在特征只被顺序考虑一次，以添加到预测模型中[26]. 这个α-投资规则是一种自适应过程，它通过比较阈值来控制错误发现率（FDR）的界限 $α_{我}$ 具有第页-测试统计值并动态调整，以便在搜索新特征时控制过拟合[6]. 表示所谓α财富依据w个。我们通常设置w个为0.05，这是I型误差的容差。然后在我第th次测试，水平 $α_{我}$ 如果发生拒绝，当前的财富 ${w个}_{我}$ 赚取a支付 $△ w个$ ; 否则，它将减少 $α_{我} / (1 - α_{我})$ . Theα-投资规则自然会实现Bonferroni规则，因为在此过程中存在有界类型I错误。

我们的gVIF回归算法如下：

输入数据 $年, {X（X）}_{1}, {X（X）}_{2}, \dots$ （居中）；设置初始值 ${w个}_{0} = 0.05$ , $△ w个 = 0.05$ , $第页 = 年 - \bar{年}$ , $\hat{σ} = 秒 d日 (年)$ ,（f） = 0, $\hat{C类} = 秒 e（电子） t吨$ ,我 = 1
设置 $α_{我} = {w个}_{我} / (1 + 我 - （f）)$ ，获取测试统计信息 ${\hat{吨}}_{我}$ 由(6). 如果 ${\hat{吨}}_{我} > χ_{{第页}_{我}}^{2} (α_{我})$ ，然后 $\hat{C类} \leftarrow \hat{C类} \cup {我}$ , ${w个}_{我 + 1} \leftarrow {w个}_{我} + △ w个$ ,（f） = 我，否则， ${w个}_{我 + 1} \leftarrow {w个}_{我} - α_{我} / (1 - α_{我})$ .
重复（b），直到考虑所有候选组预测因素。

3.应用于多变点检测

在本节中，我们使用gVIF回归来检测线性回归模型中的多个变化点。考虑以下模型：

\begin{aligned} 年_{t吨} & = {x个}_{t吨}^{⊤} (β_{0} + \sum_{k个 = 1}^{b条} δ_{k个} 我 ({c（c）}_{k个} < t吨 \leq n个)) + ϵ_{t吨}, t吨 = 1, \dots, n个, \\ = \{\begin{array}{cc} {x个}_{t吨}^{⊤} β_{0} + ϵ_{t吨}, & 1 \leq t吨 \leq {c（c）}_{1}, \\ {x个}_{t吨}^{⊤} (β_{0} + δ_{1}) + ϵ_{t吨}, & {c（c）}_{1} < t吨 \leq {c（c）}_{2}, \\ ⋮ & ⋮ \\ {x个}_{t吨}^{⊤} (β_{0} + \sum_{k个 = 1}^{b条} δ_{k个}) + ϵ_{t吨}, & {c（c）}_{b条} < t吨 \leq n个, \end{array} \end{aligned}

(7)

哪里 ${x个}_{t吨}$ 是一个q个（假定为固定的）维度预测向量， $β_{0}$ 是未知的q个-回归参数向量， $δ_{k个} = (δ_{k个 1}, \dots, δ_{k个 q个})^{⊤}$ 是未知变化位置处变化矢量的大小 ${c（c）}_{k个}$ ,b条是未知的更改点数量， ${c（c）}_{k个} (k个 = 1, \dots, b条)$ 是未知的转换点位置， $1 < {c（c）}_{1} < \dots < {c（c）}_{b条} < n个$ 、和 $ϵ_{t吨}$ 是随机误差项。为了找到b条和 ${c（c）}_{k个}$ ，我们采用我们提出的基于两阶段多变化点检测过程的gVIF方法来解决此问题。

3.1. 切割阶段

基于[11,12]，我们剪切了样本序列 ${1, \dots, n个}$ 进入之内一 + 1段，使每个段都有长度 $我 = ⌊ n个 / (一 + 1) ⌋$ 除了第一个有长度的n个−铝。然后，我们将第一段表示为 ${S公司}_{1} = {1, \dots, n个 - 一我}$ 和我第个 $(2 \leq 我 \leq 一 + 1)$ 分段依据 ${S公司}_{我} = {n个 - (一 - 我 + 2) 我 + 1, \dots, n个 - (一 - 我 + 1) 我}$ .假设每个段中最多有一个变更点 ${S公司}_{我} (我 = 1, \dots, 一 + 1)$ .

表示 $年_{{S公司}_{1}} = (年_{1}, \dots, 年_{(n个 - 一) 我})^{⊤}$ , $年_{{S公司}_{我}} = (年_{n个 - (一 - 我 + 2) 我 + 1}, \dots, 年_{n个 - (一 - 我 + 1) 我})^{⊤}$ 对于 $我 = 2, \dots, 一 + 1$ , $年 = (年_{{S公司}_{1}}^{⊤}, \dots, 年_{{S公司}_{一 + 1}}^{⊤})^{⊤}$ .相应地，写下 ${X（X）}_{{S公司}_{1}} = ({x个}_{1}, \dots, {x个}_{n个 - 一我})^{⊤}$ , ${X（X）}_{{S公司}_{我}} = ({x个}_{n个 - (一 - 我 + 2) 我 + 1}, \dots, {x个}_{n个 - (一 - 我 + 1) 我})^{⊤}$ 对于 $我 = 2, \dots, 一 + 1$ .表示 ${X（X）}_{0} = ({X（X）}_{{S公司}_{1}}^{⊤}, \dots, {X（X）}_{{S公司}_{一 + 1}}^{⊤})^{⊤}$ .让 ${X（X）}_{我} = (0^{⊤}, \dots, 0^{⊤}, {X（X）}_{{S公司}_{我 + 1}}^{⊤}, \dots, {X（X）}_{{S公司}_{一 + 1}}^{⊤})^{⊤}$ 是替换第一个 ${n个 - (一 - 我 + 1) 我} \times q个$ 条目 ${X（X）}_{0}$ 以零表示， $我 = 1, \dots, 一$ .然后建模(7)可以重写为

年 = \sum_{我 = 0}^{一} {X（X）}_{我} θ_{我} - η + ϵ,

(8)

哪里 $θ_{0} = β_{0}$ 、和 $θ_{我}$ $(我 = 1, \dots, 一)$ 是零矢量，除非是人工分段 ${S公司}_{我 + 1}$ $(我 = 1, \dots, 一)$ 包含更改点。 $η$ 是满足以下条件的校正向量 $η = \sum_{我 = 1}^{一} {D类}_{我} θ_{我},$ 哪里 ${D类}_{我}$ 是零矩阵，并且 $θ_{我} = 0$ 如果没有转换点 ${S公司}_{我 + 1}$ ; 否则， ${D类}_{我} = {X（X）}_{我} - {\tilde{X（X）}}_{{c（c）}_{k个}}$ $(k个 = 1, \dots, b条)$ 、和 $θ_{我} = δ_{k个}$ 如果k个第个转换点 ${c（c）}_{k个}$ 位于 ${S公司}_{我 + 1}$ ，也就是说，如果 ${n个 - (一 - 我 + 1) 我} \leq {c（c）}_{k个} \leq {n个 - (一 - 我) 我 - 1}$ , ${\tilde{X（X）}}_{{c（c）}_{k个}}$ 是替换第一个 ${c（c）}_{k个} \times q个$ 条目 ${X（X）}_{0}$ 以零表示，因此 ${D类}_{我}$ 是 ${X（X）}_{0}$ 第一次 ${n个 - (一 - 我 + 1) 我} \times q个$ 和最后一个 $(n个 - {c（c）}_{k个}) \times q个$ 条目为零。

然后，我们通过我们提出的gVIF方法搜索可能包含变化点的非零段。我们注意到(8)差异仅在于 $O（运行） (我) = o个 (n个)$ 在我们的条件下，因此是渐近相关的。因此，我们进行了以下修改。

假设M（M）群体预测因子 ${X（X）}_{1}^{(我)}, \dots, {X（X）}_{M（M）}^{(我)}$ 已根据第一个 ${n个 - (一 - 我 + 1) 我}$ 第行，共行 $年$ ，其中 ${X（X）}_{米}^{(我)}$ $(米 = 1, \dots, M（M）)$ 是第一个 ${n个 - (一 - 我 + 1) 我}$ 行，共行 ${X（X）}_{0}$ 用第一个 ${n个 - (一 - 秒_{米} + 1) 我}$ 行为零，每个更改点位于 $(秒_{米} + 1)$ 第h段和 $1 \leq 秒_{1} < \dots < 秒_{M（M）} < 我$ .让 ${X（X）}_{n个 e（电子） w个}^{(我 + 1)}$ 成为第一个 ${n个 - (一 - 我) 我}$ 第行，共行 ${X（X）}_{0}$ 与第一个 ${n个 - (一 - 我 + 1) 我}$ 行为零，我们的目的是检查 ${X（X）}_{n个 e（电子） w个}^{(我 + 1)}$ 应通过以下模型添加为新的预测值

年^{(我 + 1)} = \sum_{米 = 0}^{M（M）} {X（X）}_{米}^{(我 + 1)} θ_{米}^{(我 + 1)} + {X（X）}_{n个 e（电子） w个}^{(我 + 1)} θ_{n个 e（电子） w个}^{(我 + 1)} - η^{(我 + 1)} + ϵ^{(我 + 1)},

（9）

哪里 $年^{(我 + 1)}$ , ${X（X）}_{0}^{(我 + 1)}$ , $η^{(我 + 1)}$ , $ϵ^{(我 + 1)}$ 是第一个 ${n个 - (一 - 我) 我}$ 行截断自 $年$ , ${X（X）}_{0}$ , $η$ 和 $ϵ$ 分别是。

让 ${H（H）}_{(我 + 1)} = {X（X）}^{(我 + 1)} [({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1} ({X（X）}^{(我 + 1)})^{⊤}$ , $Λ_{(我 + 1)}^{2} = ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) {X（X）}_{n个 e（电子） w个}^{(我 + 1)},$ 哪里 ${X（X）}^{(我 + 1)} = ({X（X）}_{0}^{(我 + 1)}, \dots, {X（X）}_{M（M）}^{(我 + 1)})$ ，然后 $θ_{n个 e（电子） w个}^{(我 + 1)}$ 可以通过以下方式进行估算

{\hat{θ}}_{n个 e（电子） w个}^{(我 + 1)} = Λ_{(我 + 1)}^{- 2} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) 年^{(我 + 1)},

与一起(9)，因此

{\hat{θ}}_{n个 e（电子） w个}^{(我 + 1)} = θ_{n个 e（电子） w个}^{(我 + 1)} + Λ_{(我 + 1)}^{- 2} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) (- η^{(我 + 1)} + ϵ^{(我 + 1)}) .

我们的目的是测试无效假设：

{H（H）}_{0}^{(我 + 1)} : θ_{n个 e（电子） w个}^{(我 + 1)} = 0 .

(10)

根据下面的定理3.1，让我们测试统计

\hat{吨} = [({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {第页}_{(我 + 1)}]^{⊤} Λ_{(我 + 1)}^{- 2} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {第页}_{(我 + 1)} / {\hat{σ}}_{(我 + 1)}^{2},

(11)

哪里 ${第页}_{(我 + 1)} = (我 - {H（H）}_{(我 + 1)}) 年^{(我 + 1)}$ 、和

{\hat{σ}}_{(我 + 1)}^{2} = \frac{∥ {第页}_{(我 + 1)} ∥^{2}}{n个 - (一 - 我) 我 - (M（M） + 1) q个} .

如果 $\hat{吨} > χ_{q个}^{2} (α)$ ，然后我们设置 ${X（X）}_{M（M） + 1}^{(我 + 1)} = {X（X）}_{n个 e（电子） w个}^{(我 + 1)}$ 和 $秒_{M（M） + 1} = 我 + 1$ ，即在 $(我 + 1)$ 第段。否则，重复上述过程并更换我通过我 + 1

在继续之前，我们介绍以下技术条件。

（C1）
回归参数位于紧凑空间中，真实值为内部点。
（C2）
${c（c）}_{k个} / n个 \to τ_{k个}$ $(1 \leq k个 \leq b条)$ , $0 < τ_{k个} \leq 1$ . $我^{三 / 2} = o个 (n个)$ .
（C3）
$\sum_{t吨 = {t吨}_{1} + 1}^{{t吨}_{2}} {x个}_{t吨} {x个}_{t吨}^{⊤} / ({t吨}_{2} - {t吨}_{1}) \to W公司$ 作为 ${t吨}_{2} - {t吨}_{1} \to \infty$ ，其中 $W公司$ 是正定矩阵。
（C4）
${¦Β}_{t吨}$ 独立且同分布（i.i.d.），均值为零且方差为 $σ^{2}$ 、和 $E类 | ϵ_{t吨} |^{2 + ν} < \infty$ 对于一些常量 $ν > 0$ .

根据条件（C2），我们有 $我 / n个 \to 0$ ，则每个段中最多有一个转换点n个.

定理3.1

在模型下(7)和中的无效假设(10)，当条件（C1）–（C4）成立时，我们有

Λ_{(我 + 1)} {\hat{θ}}_{n个 e（电子） w个}^{(我 + 1)} \overset{d日}{\to} {N个}_{q个} (0, σ^{2} 我) .

3.2. 搜索阶段

在人工段中定位变更点 $[n个 - (一 - 我 + 1) 我 + 1, n个 - (一 - 我) 我]$ ，可以对该段上的单个转换点进行测试，该转换点与[12]建议只需在路段上进行测试 $[n个 - (一 - 我 + 2) 我 + 1, n个 - (一 - 我) 我]$ .此阶段可以通过使用R包来实现变点[13]. 选择我应确保在任何段中不存在多个更改点。为了确保这一要求，我们建议选择 $我^{\frac{三}{2}} ≪ n个$ 作为 $n个 \to \infty$ 。有关选择的更多详细信息我在第节中给出4.2.

3.3. GVIFMCP算法

我们将基于gVIF的检测多个变化点的算法表示为GVIFMCP，并将其表示如下：

输入数据 $年, {X（X）}_{1}, {X（X）}_{2}, \dots$ （居中），设置初始值 $一 = ⌊ n个 / 我 ⌋ - 1$ ,w个 = 0.05时， $△ w个 = 0.05$ ,（f） = 0, $\hat{C类} = 秒 e（电子） t吨$ ,我 = 1,j = 1
设置 $α_{我} = {w个}_{我} / (1 + 我 - （f）)$ ，获取测试统计信息 ${\hat{吨}}_{我}$ 由(11). 如果 ${\hat{吨}}_{我} > χ_{q个}^{2} (α_{我})$ ，测试变化点 ${c（c）}^{*}$ 在里面 $[n个 - (一 - 我 + 2) 我 + 1, n个 - (一 - 我) 我]$ 搜索阶段。如果这两个测试都很重要，请获取 ${\hat{c（c）}}_{j}$ ，然后 $\hat{C类} \leftarrow \hat{C类} \cup {{\hat{c（c）}}_{j}}$ ,（f） = 我, ${w个}_{我 + 1} \leftarrow {w个}_{我} + △ w个$ ,j = j + 1，否则， ${w个}_{我 + 1} \leftarrow {w个}_{我} - α_{我} / (1 - α_{我})$ .
重复（b）直到 $我 \geq 一 + 1$ 或 ${w个}_{我} \leq 0$ 。我们获得 $\hat{C类}$ .

4.模拟研究

4.1. 组VIF回归

在本小节中，将进行仿真研究，以证明所提出的gVIF回归的性能。考虑模型 $年 = X（X） β + ϵ$ ，其中 $X（X）$ 由多元正态分布生成 ${N个}_{第页} (0, 我)$ ,第页是的尺寸 $β$ 和随机误差 $ϵ_{我} \sim N个 (0, σ^{2}), 我 = 1, \dots, 1000$ .

（1）示例1：真正的参数向量是 $β = (β_{1}^{⊤}, β_{2}^{⊤}, \dots, β_{7}^{⊤})^{⊤}$ 具有 $β_{1} = 1.5$ , $β_{2} = (\underset{25}{\underset{⏟}{0, \dots, 0}})^{⊤}$ , $β_{三} = (2, 三, 1, 2, - 1, 1)^{⊤}$ , $β_{4} = (\underset{40}{\underset{⏟}{0, \dots, 0}})^{⊤}$ , $β_{5} = (1, 0, 1, 0, 1, 0, 1, 0)^{⊤}$ , $β_{6} = (\underset{15}{\underset{⏟}{0, \dots, 0}})^{⊤}$ , $β_{7} = (- 1, 0, 0, 1, 1.5)^{⊤}$ 因此 $β$ 是 $第页 = 100$ .设置 $σ = 1$ .

（2）示例2：在这个示例中，我们增加了潜在组的数量。真正的参数向量是 $β = (β_{1}^{⊤}, β_{2}^{⊤}, \dots, β_{15}^{⊤})^{⊤}$ 具有 $β_{1} = \dots = β_{5} = (2, 2, 2)^{⊤}$ , $β_{6} = \cdot = β_{10} = (2, 1.5, 0, 三, - 1)^{⊤}$ , $β_{11} = \dots = β_{15} = (\underset{20}{\underset{⏟}{0, \dots, 0}})^{⊤}$ 因此，第页 = 140.设置 $σ = 1.5$ .

（3）例3：在这个例子中，我们不仅考虑连续协变量，还考虑类别协变量。真正的参数向量是 $β = (β_{1}^{⊤}, β_{2}^{⊤}, \dots, β_{30}^{⊤})^{⊤}$ 具有 $β_{1} = \dots = β_{5} = (\underset{5}{\underset{⏟}{三, \dots, 三}})^{⊤}$ , $β_{6} = \dots = β_{10} = (1, 0, - 1.5, 2, 0)^{⊤}$ , $β_{11} = \dots = β_{30} = (\underset{20}{\underset{⏟}{0, \dots, 0}})^{⊤} .$ 因此，第页 = 450.当预测值属于区间时，我们将前25列预测值分为1、2、3或4 $(- \infty, - 0.5)$ , $(- 0.5, 0)$ , $(0, 0.5)$ , $(0.5, + \infty)$ 分别是。设置 $σ = 1.5$ .

我们运行了1000次复制，并在表中总结了模拟结果1注意，术语“正确%”表示选择正确模型的百分比，“mFDR%”表示经验边际错误发现率（mFDR）的百分比，mFDR的估计值定义为

\hat{米 F类 D类 对} = \frac{\hat{E类 (V（V）)}}{\hat{E类 (V（V）)} + \hat{E类 (S公司)} + η}

哪里 $\hat{E类 (V（V）)}$ 是错误发现的平均数量， $\hat{E类 (S公司)}$ 是实际发现的平均数量，以及 $η = 10$ 选择如下[15]和[三]. 我们以秒为单位报告平均运行时间。我们将gVIF方法与Bridge组（gBridge）、Lasso组（gLasso）、SCAD组（gSCAD）和MCP组（gMCP）进行了比较。对于gBridge，我们使用中推荐的BIC标准选择惩罚参数[10]. 对于gLasso、gSCAD和gMCP，我们使用十倍交叉验证来选择它们的惩罚参数。从表中可以观察到1gVIF在“正确%”或“mFDR%”方面的性能要比所有其他方法好得多。然而，在相同的设置下，gBridge在执行时间方面优于gVIF。因此，我们使用示例3进行了进一步的模拟研究，以比较gVIF和gBridge。我们将样本量从500到2000不等，并在表中报告其估计精度2从表中可以看出，当样本缩小时，gVIF比gBridge具有更好的预测准确性和稳定性。

表1。

五种不同方法的“正确%”、“mFDR%”和“时间”摘要。

方法		全球VIF	网桥（BIC）	gLASSO公司	gSCAD公司	gMCP公司
示例1(G公司 = 7)	正确的%	96.7	96.1	7.2	76	80.90
	mFDR%（百万英尺/小时）	0.2352	0.2849	13.31	2.9395	1.9127
	时间（s）	0.1994	0.0434	0.5137	0.4868	0.4756
示例2(G公司 = 15)	正确的%	94.1	81.3	0.300	71.8	81
	mFDR%（百万英尺/小时）	0.2991	1.0391	18.0126	3.0585	1.6281
	时间（s）	0.5269	0.0698	0.7055	0.6589	0.6413
示例3(G公司 = 30)	正确%	87.6	83.9	0.200	68.4	74.9
	mFDR%（百万英尺/小时）	0.6409	1.4390	36.1382	6.2353	3.4982
	时间（s）	1.5751	0.3954	2.4668	2.5317	2.4982

在单独的窗口中打开

表2。

示例3中基于gBridge和gVIF的“correct%”和“mFDR%”摘要。

样本量		n个 = 2000	n个 = 1500	n个 = 1000	n个 = 800	n个 = 500
全球VIF	正确的%	86.8	86.7	87.9	87.8	88.6
	mFDR%（百万英尺/小时）	0.7198	0.7001	0.6409	0.6853	0.6162
网桥（BIC）	正确的%	95	91.6	83.3	78	52.1
	mFDR%（百万英尺/小时）	0.4430	0.7198	1.5021	2.1479	4.9339

在单独的窗口中打开

4.2. 多切换点检测

在我们的模拟研究的第二部分中，我们应用gVIF检测线性回归模型中的多个变化点。我们比较了我们的算法GVIFMCP（用于检测多个变化点的组VIF）和在[12]在下面的两个例子中。在第一个示例中，我们考虑以下线性模型：

年_{t吨} = \{\begin{cases} {x个}_{t吨}^{⊤} β_{0} + ϵ_{t吨}, & 1 \leq t吨 \leq 150, \\ {x个}_{t吨}^{⊤} (β_{0} + δ_{1}) + ϵ_{t吨}, & 150 < t吨 \leq 350, \\ {x个}_{t吨}^{⊤} (β_{0} + δ_{1} + δ_{2}) + ϵ_{t吨}, & 350 < t吨 \leq 600, \\ {x个}_{t吨}^{⊤} (β_{0} + δ_{1} + δ_{2} + δ_{三}) + ϵ_{t吨}, & 600 < t吨 \leq 1000, \end{cases}

哪里 ${{x个}_{t吨} = ({x个}_{t吨, 1}, {x个}_{t吨, 2}, {x个}_{t吨, 三})^{⊤}$ , $t吨 = 1, 2, \dots, n个}$ 是 $q个 = 三$ 多维正态分布生成的维数预测因子 ${N个}_{三} (0, 我)$ 。参数为 $β_{0} = (1, 1, 1)^{⊤}$ , $δ_{1} = (- 2, 0, 1)^{⊤}$ , $δ_{2} = (1.5, - 2, 0)^{⊤}$ , $δ_{三} = (- 2, 1, 1)^{⊤}$ 、和随机错误 $ϵ_{t吨} \sim N个 (0, σ^{2})$ , $σ = 0.2, 0.4$ 和0.8。图1使用不同的值显示模拟数据的示例σ.

保存图片、插图等的外部文件。对象名称为CJAS_A_1987400_F001_OB.jpg

在单独的窗口中打开

图1。

多变化点检测的模拟数据。蓝色虚线显示了设计的变更点位置 $σ = 0.2, 0.4 一 n个 d日 0.8$ （来自顶部到底部面板）。

选择我在上述两阶段程序中非常重要，其实施总结如下：

选择适当的间隔，并将其划分为K（K）−1个相等长度的子间隔。定义 $我_{k个} = ⌈ ϖ_{k个} \sqrt{n个} ⌉, k个 = 1, 2, \dots, K（K）$ ，其中 $ϖ_{k个}$ 从中获取网格值K（K）子区间的端点。通常，所选间隔应满足 $2 我_{k个} \geq q个$ 确保在搜索阶段执行GVIFMCP程序。
对于每个 $我_{k个}, k个 = 1, 2, \dots, K（K）$ ，应用变点检测算法（GVIFMCP或FTSMCD）找到多个变点估计。计算 ${B类我 C类}_{k个}$ （详细公式见（13）in[12])每个的值k个并选择 $我_{{k个}_{米}}$ 哪里 ${B类我 C类}_{{k个}_{米}}$ 具有最小值，即。 ${B类我 C类}_{{k个}_{米}} \leq {B类我 C类}_{k个}$ , $k个 = 1, 2, \dots, K（K）$ . $我 = 我_{{k个}_{米}}$ 将用于切割阶段。

为了说明这个过程的实现，我们从上面的示例中生成一个示例并选择间隔 $[0.1, 1]$ 然后，我们将间隔切成九个相等的子间隔，以便 $ϖ_{k个}$ 从中获取值 ${0.1, 0.2, \dots, 1}$ . The我在1000个重复中选择了个 $σ = 0.2$ 显示在表中三，其中GVIFMCP算法用于上述过程。从这张表中可以看出 $我 = 10$ 在1000次复制中频率最高。

表3。

选定的分布我1000次模拟中的s $σ = 0.2$ 和n个 = 1000，其中使用GVIFMCP算法。

$我_{k个} = ⌈ ϖ_{k个} \sqrt{n个} ⌉$	4	7	10	13	16	19	23	26	29	32
频率	18	5	976	0	0	1	0	0	0	0

在单独的窗口中打开

然后，我们将GVIFMCP算法与表中的FTSMCD算法进行比较4，其中线段的长度我在每个模拟中，根据上述程序选择。我们定义了一些事件来评估更改点检测的性能，这些事件是 ${| {\hat{一}}_{1} - 150 | \leq 5}$ , ${| {\hat{一}}_{2} - 350 | \leq 5}$ 和 ${| {\hat{一}}_{三} - 600 | \leq 5}$ 。在表中4，术语“cp.number”表示正确估计变更点实际数量的模拟次数。术语“cp”。“ALL”表示发生所有这些事件的模拟百分比。表4显示GVIFMCP和FTSMCDs在估计变化点的位置方面都表现得很好，而FTSMCDs的性能略好于GVIFMCP，尤其是在“cp.number”和“cp。全部”。结果还表明σ对变点估计性能有一定影响。

表4。

基于三种不同噪声水平的1000次仿真，我们设计的线性模型的GVIFMCP和FTSMCD的仿真结果( $σ = 0.2, 0.4$ 和0.8）。

	GVIFMCP公司			FTSMCD（适配）			FTSMCD（SCAD）			FTSMCD（MCP）
σ	0.2	0.4	0.8	0.2	0.4	0.8	0.2	0.4	0.8	0.2	0.4	0.8
$# {\| {\hat{一}}_{1} - 150 \| \leq 5}$	1000	999	990	1000	998	989	1000	999	993	1000	1000	993
$# {\| {\hat{一}}_{2} - 350 \| \leq 5}$	1000	1000	985	1000	1000	991	1000	1000	998	1000	999	997
$# {\| {\hat{一}}_{三} - 600 \| \leq 5}$	1000	999	995	1000	1000	998	1000	1000	997	1000	1000	997
cp.编号	995	986	964	998	996	993	992	987	977	993	990	989
cp.ALL（%）	99.4	98.5	93.5	99.5	99.1	97.1	99.2	98.6	97.4	99.3	99	97.6

在单独的窗口中打开

在第二个示例中，我们考虑在[12]模拟地面臭氧数据。表中报告了这两种方法的性能5。这里的事件是 ${| {\hat{一}}_{1} - 200 | \leq 10}$ , ${| {\hat{一}}_{2} - 350 | \leq 10}$ , ${| {\hat{一}}_{三} - 450 | \leq 10}$ , ${| {\hat{一}}_{4} - 550 | \leq 10}$ , ${| {\hat{一}}_{5} - 700 | \leq 10}$ 、和 ${| {\hat{一}}_{6} - 850 | \leq 10}$ .按表格5可以看出，GVIFMCP和FTSMCD在检测每个变更点位置方面都表现良好，而GVIFMCC在“cp.number”和“cp”方面优于FTSMCD。全部”。

表5。

设计的线性模型的GVIFCP和FTSMCD的仿真结果[12]基于1000个重复。

		FTSMCD公司	FTSMCD公司	FTSMCD公司
	GVIFMCP公司	（适配）	（SCAD）	（最大持续功率）
$# {\| {\hat{一}}_{1} - 200 \| \leq 10}$	997	987	764	970
$# {\| {\hat{一}}_{2} - 350 \| \leq 10}$	1000	1000	1000	1000
$# {\| {\hat{一}}_{三} - 450 \| \leq 10}$	995	1000	998	1000
$# {\| {\hat{一}}_{4} - 550 \| \leq 10}$	882	967	961	952
$# {\| {\hat{一}}_{5} - 700 \| \leq 10}$	998	998	971	967
$# {\| {\hat{一}}_{6} - 850 \| \leq 10}$	985	999	997	977
cp.编号	911	237	620	640
cp.ALL（%）	67.6	21.9	59.4	60.8

在单独的窗口中打开

还应注意，表5，所有的方法都不如第一个示例中的性能好，这可能是因为第二个示例中有更多的变化点。

5.实例

在本节中，我们研究了两个真实的数据集，可以在网站上找到http://lib.stat.cmu.edu/datasets我们将把我们的gVIF和GVIFMCP算法应用于这两个实际示例，并报告它们的性能。

5.1. 体脂研究的分组选择

我们使用gVIF算法分析体脂数据集（bodyfat）。在这项研究中，我们通过估计个人的体脂百分比来评估其健康状况。一个人的体脂百分比可以通过测量身体密度来估计[19]. 我们的目的是研究体脂百分比与其他12项身体测量值之间的关系，这些测量值分别属于以下类别之一：（1）年龄（岁）；（2）体重指数 $(= \frac{w个 e（电子）我克小时 t吨 (我 b条秒) \times 703}{(小时 e（电子）我克小时 t吨 (我 n个))^{2}})$ ; （3）颈部周长（cm）、胸围（cm）；（4）腹部周长（cm）、臀围（cm）；（5）大腿周长（cm）、膝盖周长（cm）、脚踝周长（厘米）；（6）肱二头肌（伸展）周长（cm）、前臂周长（mm）、腕围（cm）[16]. 因此，协变量分为六组。该数据集对252名个人进行了测量。由于有一种情况下人体脂肪的百分比为零，因此我们在研究中删除了它。

从表6结果表明，gVIF或gMCP均未选择与腿部测量值相对应的第5组，而gBridge仅选择与腹部和手臂测量值相匹配的第4组和第6组。其他两种方法选择所有协变量组。由[19]身体脂肪的百分比可以通过身体密度来估计，而“Siri方程”也显示了身体密度与瘦组织和脂肪组织的比例之间的关系。这意味着肌肉、肌腱和韧带的组成与身体脂肪的百分比高度相关。因此，gVIF和gMCP都为我们在实际数据中提供了更合理的选择。

表6。

体脂数据的分组选择结果。对于每个条目，矢量通过不同的方法显示选定的组。

方法	全球VIF	g桥	格拉索	gSCAD公司	gMCP公司
选择的组	（1、2、3、4、6）	(4, 6)	(1, 2, 3, 4, 5, 6)	(1, 2, 3, 4, 5, 6)	(1, 2, 3, 4, 6)

在单独的窗口中打开

5.2. 空气污染研究中的多变化点检测

本小节将应用GVIFMCP算法检测空气污染数据集（PM10）中的多个变化点。该数据集是挪威公共道路管理局（Norwegian Public Roads Administration）针对道路污染、交通量和气象变量之间的关系进行的一项研究得出的数据集中500个观测值的子样本。响应变量包括2001年10月至2003年8月在挪威奥斯陆Alnabru测量的PM10（颗粒）浓度对数的每小时观测值。预测因子为：（1）每小时汽车数量的对数；（2）温度（离地2米，摄氏度）；（3）风速（米/秒）；（4）温差（地面以上2至25米之间，摄氏度）；（5）风向（0至360度）；（6）从2001年10月1日开始的一天中的小时数和日数。在我们的分析中，所有预测变量都进行了标准化。

我们采用了选择线段长度的程序我第4.2节中给出的数据，并获得 $我 = 4$ GVIFMCP的应用产生了估计的转换点位置95、283和359。为了评估我们的GVIFMCP算法的性能，我们将我们的结果与[14]，这是检测多个更改点的常用方法，已在R包中实现变点[13]. PELT对数据的应用产生了变化点位置23、25、383、385、490和492。图中的虚线垂直线显示了通过GVIFMCP和PELT进行的变更点估算2.

保存图片、插图等的外部文件。对象名称为CJAS_A_1987400_F0002_OC.jpg

在单独的窗口中打开

图2。

检测空气污染数据中的多个变化点。顶部和底部面板中的虚线显示通过应用GVIFMCP和PELT分别获得的估计的多个变更点。

我们使用三个中值指数来评估GVIFMCP和PELT的性能，并将其报告在表中7：（1）绝对预测误差的中位数 ${| {Y（Y）}_{我} - {\hat{Y（Y）}}_{我} |}$ （MAPE）；（2）加性相对预测误差的中位数 ${| {Y（Y）}_{我} - {\hat{Y（Y）}}_{我} | / {Y（Y）}_{我} + | {Y（Y）}_{我} - {\hat{Y（Y）}}_{我} | / {\hat{Y（Y）}}_{我}}$ （MARPE）；（3）平方预测误差的中位数 ${({Y（Y）}_{我} - {\hat{Y（Y）}}_{我})^{2}}$ （MSPE），其中 ${\hat{Y（Y）}}_{我}$ 是的拟合值 ${Y（Y）}_{我}$ , $我 = 1, 2, \dots, n个$ .表7表明GVIFMCP的性能略优于PELT，因为GVIFMCC的MAPE、MARPE和MSPE均小于PELT的相应值。此外，表中预测误差的中值指数表明，模型拟合由估计的变化点划分的分段比不考虑任何变化点的分段具有更好的预测精度。

表7。

空气污染数据的模型拟合结果。

	MAPE公司	大理石花纹	MSPE公司
GVIFMCP公司	0.1543	0.3152	0.2605
PELT公司	0.1576	0.3200	0.2620
无更改点	0.5337	0.3369	0.2849

在单独的窗口中打开

6.结论

本文提出了一种用于处理具有分组结构特征的数据集的组VIF回归算法，并开发了一种基于gVIF的两阶段多变化点检测程序。我们为我们提出的方法提供了理论依据。通过仿真和实际数据，我们将gVIF与gBridge、gLasso、gSCAD和gMCP在组模型选择性能上进行了比较。仿真研究和实例表明，gVIF在估计精度方面比其他惩罚模型选择方法具有更好的性能。然而，就执行时间而言，gBridge优于gVIF。我们进一步比较了不同样本大小的gVIF和gBridge。我们发现，如果样本缩小，gVIF的预测比gBridge的预测更稳定。我们还通过数据示例比较了基于gVIF的两阶段多变点检测程序和GVIFMCP算法。数值结果表明，我们的方法在估计变化点数量及其位置方面与最后两阶段的多变化点检测具有相当的性能[12].

致谢

作者感谢副主编和三位匿名审稿人的宝贵意见和建议，这些意见和建议使本文得以改进。

附录1.重要注释

表A1。

章节中的注释2.

符号	描述
${N个}_{d日} (\cdot, \cdot)$	d日-多维正态分布
$G公司$	非零系数向量的索引集： ${j : β_{j} \neq 0, j = 1, \dots, J型}$
${X（X）}_{G公司}$	由预测器跨越的矩阵 ${{X（X）}_{j}, j \in G公司}$
${X（X）}_{M（M）}$	$({X（X）}_{j_{1}}, \dots, {X（X）}_{j_{M（M）}})$ ，其中 $M（M） = {j_{1}, \dots, j_{M（M）}}$
$Λ^{2}$	${X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) {X（X）}_{n个 e（电子） w个}$ ，其中 ${H（H）}_{M（M）} = {X（X）}_{M（M）} ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} {X（X）}_{M（M）}^{⊤}$

在单独的窗口中打开

表A2。

章节中的新注释三.

符号	描述
${X（X）}_{0}$	$({X（X）}_{{S公司}_{1}}^{⊤}, \dots, {X（X）}_{{S公司}_{一 + 1}}^{⊤})^{⊤}$
${X（X）}_{我}$ $(我 = 1, \dots, 一)$	$(0^{⊤}, \dots, 0^{⊤}, {X（X）}_{{S公司}_{我 + 1}}^{⊤}, \dots, {X（X）}_{{S公司}_{一 + 1}}^{⊤})^{⊤}$
${X（X）}_{米}^{(我)}$ $(米 = 1, \dots, M（M）)$	第一个 ${n个 - (一 - 我 + 1) 我}$ 行，共行 ${X（X）}_{0}$ 用第一个 ${n个 - (一 - 秒_{米} + 1) 我}$ 行为零
${X（X）}_{n个 e（电子） w个}^{(我 + 1)}$	第一个 ${n个 - (一 - 我) 我}$ 行，共行 ${X（X）}_{0}$ 用第一个 ${n个 - (一 - 我 + 1) 我}$ 行为零
${X（X）}^{(我 + 1)}$	$({X（X）}_{0}^{(我 + 1)}, \dots, {X（X）}_{M（M）}^{(我 + 1)})$ ，其中 ${X（X）}_{0}^{(我 + 1)}$ 是第一个 ${n个 - (一 - 我) 我}$ 行截断自 ${X（X）}_{0}$
$Λ_{(我 + 1)}^{2}$	$({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) {X（X）}_{n个 e（电子） w个}^{(我 + 1)}$ ，其中 ${H（H）}_{(我 + 1)} = {X（X）}^{(我 + 1)} [({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1} ({X（X）}^{(我 + 1)})^{⊤}$

在单独的窗口中打开

附录2.证明

证明

命题2.1的证明-

表示 $\tilde{X（X）} = [{X（X）}_{M（M）}, {X（X）}_{n个 e（电子） w个}]$ ，其中 ${X（X）}_{M（M）} = ({X（X）}_{j_{1}}, \dots, {X（X）}_{j_{M（M）}})$ ，然后

{\tilde{X（X）}}^{⊤} \tilde{X（X）} = (\begin{array}{cc} {X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）} & {X（X）}_{M（M）}^{⊤} {X（X）}_{n个 e（电子） w个} \\ {X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{M（M）} & {X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个} \end{array}),

和

({\tilde{X（X）}}^{⊤} \tilde{X（X）})^{- 1} = (\begin{array}{cc} {A类}_{11} & {A类}_{12} \\ - \land^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{M（M）} ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} & Λ^{- 2} \end{array}),

哪里 ${A类}_{11} = ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} + ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} {X（X）}_{M（M）}^{⊤} {X（X）}_{n个 e（电子） w个} \land^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{M（M）} ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1}$ , ${A类}_{12} = - ({X（X）}_{M（M）}^{⊤} {X（X）}_{M（M）})^{- 1} {X（X）}_{M（M）}^{⊤} {X（X）}_{n个 e（电子） w个} Λ^{- 2}$ , $Λ^{2} = {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) {X（X）}_{n个 e（电子） w个}$ .

请注意 ${\hat{β}}_{n个 e（电子） w个}$ 是由最后一个 ${第页}_{n个 e（电子） w个}$ 的元素 $({\tilde{X（X）}}^{⊤} \tilde{X（X）})^{- 1} {\tilde{X（X）}}^{⊤} 年$ ，然后

\begin{aligned} {\hat{β}}_{n个 e（电子） w个} & = - Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} {H（H）}_{M（M）} 年 + Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} 年 \\ = Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) 年 \\ = Λ^{- 2} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个})^{- 1} {X（X）}_{n个 e（电子） w个}^{⊤} 第页 \\ = Λ^{- 2} ({X（X）}_{n个 e（电子） w个}^{⊤} {X（X）}_{n个 e（电子） w个}) {\hat{γ}}_{n个 e（电子） w个} . \end{aligned}

它完成了证明。

证明

命题2.2的证明-

根据命题1的证明，我们有

\begin{aligned} {\hat{β}}_{n个 e（电子） w个} & = Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) 年 \\ = Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) (\sum_{米 = 1}^{M（M）} {X（X）}_{j_{米}} β_{j_{米}} + {X（X）}_{n个 e（电子） w个} β_{n个 e（电子） w个} + ¦Β) \\ = Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) ({X（X）}_{n个 e（电子） w个} β_{n个 e（电子） w个} + ϵ) \\ = β_{n个 e（电子） w个} + Λ^{- 2} {X（X）}_{n个 e（电子） w个}^{⊤} (我 - {H（H）}_{M（M）}) ϵ . \end{aligned}

请注意 $¦Β \sim {N个}_{n个} (0, σ_{M（M）}^{2} 我)$ 和 $我 - {H（H）}_{M（M）}$ 是幂等对称矩阵。那么 ${\hat{β}}_{n个 e（电子） w个} \sim {N个}_{{第页}_{n个 e（电子） w个}} (β_{n个 e（电子） w个}, σ_{M（M）}^{2} Λ^{- 2})$ 它完成了证明。

证明

定理证明3.1-

请注意 $({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)} = ({U型}^{(我 + 1)})^{⊤} {V（V）}^{(我 + 1)} {U型}^{(我 + 1)}$ ，其中

\begin{aligned} {U型}^{(我 + 1)} & = {(\begin{array}{ccccc} 我_{q个} & 0 & \dots & \dots & 0 \\ 我_{q个} & 我_{q个} & 0 & \dots & ⋮ \\ ⋮ & \dots & ⋱ & ⋮ & ⋮ \\ ⋮ & \dots & \dots & 我_{q个} & 0 \\ 我_{q个} & \dots & \dots & \dots & 我_{q个} \end{array})}_{((M（M） + 1) q个, (M（M） + 1) q个)}, \\ {V（V）}^{(我 + 1)} & = (\begin{array}{ccccc} {V（V）}_{1}^{(我 + 1)} & 0 & \dots & \dots & 0 \\ 0 & {V（V）}_{2}^{(我 + 1)} & 0 & \dots & ⋮ \\ ⋮ & \dots & ⋱ & ⋮ & ⋮ \\ ⋮ & \dots & 0 & {V（V）}_{M（M）}^{(我 + 1)} & 0 \\ 0 & \dots & \dots & 0 & {V（V）}_{M（M） + 1}^{(我 + 1)} \end{array}), \end{aligned}

哪里 ${V（V）}_{1}^{(我 + 1)} = \sum_{j = 1}^{n个 - (一 - 秒_{1} + 1) 我} {x个}_{j} {x个}_{j}^{⊤}$ , ${V（V）}_{2}^{(我 + 1)} = \sum_{j = n个 - (一 - 秒_{1} + 1) 我 + 1}^{n个 - (一 - 秒_{2} + 1) 我} {x个}_{j} {x个}_{j}^{⊤}$ , …, ${V（V）}_{M（M）}^{(我 + 1)} = \sum_{j = n个 - (一 - 秒_{M（M） - 1} + 1) 我 + 1}^{n个 - (一 - 秒_{M（M）} + 1) 我} {x个}_{j} {x个}_{j}^{⊤}$ , ${V（V）}_{M（M） + 1}^{(我 + 1)} = \sum_{j = n个 - (一 - 秒_{M（M）} + 1) 我 + 1}^{n个 - (一 - 我) 我} {x个}_{j} {x个}_{j}^{⊤}$ .从条件 $(C类 2) - (C类三)$ ，转换点很好地分开 $({V（V）}^{(我 + 1)})^{- 1}$ 正常 $O（运行） (1 / n个)$ ，这是 $\tilde{λ} (({V（V）}^{(我 + 1)})^{- 1}) \approx 1 / n个$ ，这意味着 $λ_{最大值} (({V（V）}^{(我 + 1)})^{- 1}) = {c（c）}_{1} {n个}^{- 1}$ 和 $λ_{最小值} (({V（V）}^{(我 + 1)})^{- 1}) = {c（c）}_{2} {n个}^{- 1}$ 对于正常数 ${c（c）}_{1}$ 和 ${c（c）}_{2}$ .那么我们就有了 $[({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1}$ 也是正常的 $O（运行） (1 / n个)$ .

请注意 ${X（X）}_{n个 e（电子） w个}^{(我 + 1)}$ 是第一个 $(我 + 1) 我$ 行，共行 ${X（X）}_{0}$ 用第一个伊尔行为零， $({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {X（X）}_{n个 e（电子） w个}^{(我 + 1)} = \sum_{j = n个 - (一 - 我 + 1) 我 + 1}^{n个 - (一 - 我) 我} {x个}_{j} {x个}_{j}^{⊤}$ 正常我,

∥ ({X（X）}^{(我 + 1)})^{⊤} {X（X）}_{n个 e（电子） w个}^{(我 + 1)}) ∥_{最大值} = O（运行） (我),

哪里 $∥ A类 ∥_{最大值} = \sqrt{λ_{最大值} ({A类}^{⊤} A类)}$ 。那么我们有

\begin{aligned} \tilde{λ} (Λ_{(我 + 1)}^{2}) & = \tilde{λ} (({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {我 - {X（X）}^{(我 + 1)} [({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1} ({X（X）}^{(我 + 1)})^{⊤}} {X（X）}_{n个 e（电子） w个}^{(我 + 1)}) \\ = \tilde{λ} (({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {X（X）}_{n个 e（电子） w个}^{(我 + 1)}) (1 + o个 (1)) \approx 我 . \end{aligned}

在零假设下，段中没有变化点 $[n个 - (一 - 我 + 1) 我 + 1, n个 - (一 - 我) 我]$ ，然后是最后一个我行，共行 $η^{(我 + 1)}$ 是零和 $({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} η^{(我 + 1)} = 0$ 此外，根据条件（C1）和（C3），我们有 $∥ θ_{米} ∥ < \infty$ 、和

∥ ({X（X）}^{(我 + 1)})^{⊤} η^{(我 + 1)} ∥ = \sum_{米 = 1}^{M（M）} O（运行） (λ_{最大值} (\sum_{j = n个 - (一 - 秒_{米} + 1) 我 + 1}^{{c（c）}_{米}} {x个}_{j} {x个}_{j}^{⊤})) = O（运行） (我) .

（A1）

根据条件（C2）， $我^{三 / 2} = o个 (n个)$ ，我们有

\begin{aligned} ∥ Λ_{(我 + 1)}^{- 1} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {我 - {X（X）}^{(我 + 1)} [({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1} ({X（X）}^{(我 + 1)})^{⊤}} η^{(我 + 1)} ∥ \\ = ∥ Λ_{(我 + 1)}^{- 1} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)} [({X（X）}^{(我 + 1)})^{⊤} {X（X）}^{(我 + 1)}]^{- 1} ({X（X）}^{(我 + 1)})^{⊤} η^{(我 + 1)} ∥ \\ = O（运行） (我^{- \frac{1}{2}}) O（运行） (我) O（运行） ({n个}^{- 1}) O（运行） (我) = O（运行） ({n个}^{- 1} 我^{三 / 2}) = o个 (1) . \end{aligned}

请注意 $θ_{n个 e（电子） w个}^{(我 + 1)} = 0$ ，然后

Λ_{(我 + 1)} {\hat{θ}}_{n个 e（电子） w个}^{(我 + 1)} = Λ_{(我 + 1)}^{- 1} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) ϵ^{(我 + 1)} + o个 (1) .

通过Lindeberg–Feller中心极限定理和条件（C4），我们可以得到

Λ_{(我 + 1)}^{- 1} ({X（X）}_{n个 e（电子） w个}^{(我 + 1)})^{⊤} (我 - {H（H）}_{(我 + 1)}) ϵ^{(我 + 1)} \overset{d日}{\to} {N个}_{q个} (0, σ^{2} 我) .

因此，我们有

Λ_{(我 + 1)} {\hat{θ}}_{n个 e（电子） w个}^{(我 + 1)} \overset{d日}{\to} {N个}_{q个} (0, σ^{2} 我) .

它完成了证明。

资金筹措表

这项工作得到了加拿大自然科学与工程研究委员会的支持[批准号RGPIN-2017-05720]。

披露声明

提交人没有报告任何潜在的利益冲突。

工具书类

1Chan N.H.、Yau C.Y.和Zhang R.M。，结构断裂时间序列的LASSO组,美国统计协会。 109（1993），第590-599页。[谷歌学者]

2Chen J.和Gupta A.K。，参数统计变化点分析：应用于遗传学、医学和金融第二版，Springer Science&Business Media，纽约，2011年。[谷歌学者]

三。Dupuis D.J.和Victoria-Feser M.P。，稳健VIF回归及其在大数据集变量选择中的应用,附录申请。斯达。 7（2013），第319-341页。[谷歌学者]

4范J.和李R。，基于非冲突惩罚似然的变量选择及其oracle性质,美国统计协会。 96（2001），第1348–1360页。[谷歌学者]

5Foster D.P.和Stine R.A。，数据挖掘中的变量选择：建立破产预测模型,美国统计协会。 99（2004），第303–313页。[谷歌学者]

6Foster D.P.和Stine R.A。，α-投资：预期错误发现的顺序控制程序,J.R.统计。Soc.B（统计方法） 70（2008），第429-444页。[谷歌学者]

7Harchaoui Z.和Lévy-Leduc C。，用套索捕捉变化点，Adv Neural Inf过程系统。第卷。20麻省理工学院出版社，马萨诸塞州剑桥，2008年。[谷歌学者]

8Harchaoui Z.和Lévy-Leduc C。，具有总变差惩罚的多变点估计,美国统计协会。 105（2010），第1480–1493页。[谷歌学者]

9黄J.、Breheny P.和Ma S。，高维模型中群体选择的选择性综述,统计科学。 27（2012），第481-499页。[PMC免费文章][公共医学][谷歌学者]

10黄J.、马S.、谢H.、张C.-H。，一种用于变量选择的群桥方法,生物特征 96（2009），第339-355页。[PMC免费文章][公共医学][谷歌学者]

11金斌、石旭、吴毅。，一种新的快速非平稳时间序列模型多结构突变估计和变量选择方法,统计计算。 23（2013），第221-231页。[谷歌学者]

12金碧、吴瑜、石霞。，线性模型中一致的两阶段多变点检测,可以。J.统计。 44（2016），第161-179页。[谷歌学者]

13Killick R.和Eckley I。，变更点：用于变更点分析的R包,J.统计软件。 58（2014），第1-19页。[谷歌学者]

14Killick R.、Fearnhead P.和Eckley I。，具有线性计算代价的变化点的最优检测,美国统计协会。 107（2012），第1590–1598页。[谷歌学者]

15Lin D.、Foster D.P.和Ungar L.H。，Vif回归：一种大数据的快速回归算法,美国统计协会。 106（2011），第232-247页。[谷歌学者]

16刘昕、林毅、王忠。，相对误差回归的组变量选择,J.统计计划。推断。 175（2016），第40-50页。[谷歌学者]

17Meier L.、van de Geer S.和Bühlmann P。，相对误差回归的组变量选择,J.R.统计社会服务。B（统计方法） 70（2008），第53-71页。[谷歌学者]

18史旭、王旭、魏德、吴勇。，基于vif回归的序列多变点检测方法,压缩机。斯达。 31（2016），第671-691页。[谷歌学者]

19Siri W.E.公司。，身体的总成分,高级生物学。医学物理。 4（1956年），第239-280页。[公共医学][谷歌学者]

20Tibshirani R。，通过套索回归收缩和选择,J.R.统计社会服务。B（方法学） 58（1996），第267-288页。[谷歌学者]

21Tibshirani R.J。，快速分段算法的通用框架,J.马赫。学习。物件。 16（2015），第2543–2588页。[谷歌学者]

22袁明、林毅。，分组变量回归中的模型选择与估计,J.R.统计社会服务。B（统计方法） 68（2006），第49-67页。[谷歌学者]

23张春华。，极小极大凹惩罚下的几乎无偏变量选择,Ann.统计。 38（2010），第894-942页。[谷歌学者]

24张斌、耿杰、赖磊。，线性回归模型中基于稀疏群套索的多变点估计,IEEE传输。信号处理。 63（2015），第2209-2224页。[谷歌学者]

25赵P.、罗查G.和于波。，用于分组和分层变量选择的复合绝对惩罚族,Ann.统计。 37（2009），第3468–3497页。[谷歌学者]

26周杰（Zhou J.）、福斯特·D.P.（Foster D.P.）、斯汀·R.A.（Stine R.A.）和安加·L.H（Ungar L.H），流式功能选择,J.马赫。学习。物件。 7（2006），第1861-1885页。[谷歌学者]

27邹华。，自适应套索及其oracle性质,美国统计协会。 101（2006），第1418-1429页。[谷歌学者]

文章来自应用统计学杂志由以下人员提供泰勒和弗朗西斯