Ordering and Selecting Components in Multivariate or Functional Data Linear Prediction

Hall, Peter; Yang, You-Jun

doi:10.1111/j.1467-9868.2009.00727.x

总结

基于回归的预测中的成分选择问题由来已久。必须做出重要选择的主要情况是函数数据分析，以及解释变量是相对高维向量的问题。事实上，主成分分析已经成为函数线性回归方法的基础。在这种情况下，分量的数量也可以解释为一个平滑参数，因此该观点与标准线性回归的观点略有不同。然而，支持和反对传统组件选择方法的论据与这两种设置都相关，最近受到了很大的关注。我们给出了一个适用于各种环境的理论论证，证明了传统方法的合理性。虽然我们的结果是极小极大型的，但本质上它不是渐近的；它适用于每个样本大小。基于从该分析中获得的洞察力，我们为用于预测的组件数量的交叉验证选择提供了理论和数值依据。特别地，我们表明，在包括函数数据分析的设置中，交叉验证导致平均和平方误差的渐近最小化。

基础选择,交叉验证,尺寸缩减,特征向量,功能数据分析,高维数据,线性回归,均方误差,正交级数,主成分分析

1.简介

1.1. 一般多元问题中的主成分

假设我们观察到独立且相同分布的数据对(X（X）₁,Y（Y）₁),…,(X（X）_n个,Y（Y）_n个)，生成为(X（X）,Y（Y）)根据模型

Y（Y） = α + 〈 β, X（X） 〉 + ε .

(1.1)

在这里Y（Y）,α和ɛ是标量，X（X）和β是空间中的向量或函数 $F类, 〈 \cdot, \cdot 〉$ 表示上的内积 $F类$ 和实验误差ɛ平均值为零，方差有限，与解释变量无关X（X）。对于给定值x个属于X（X），我们希望估计Y（Y）考虑到这一点X（X）=x个:

μ (x个) = E类 (Y（Y） ∣ X（X） = x个) = α + 〈 β, x个 〉 .

(1.2)

在以下背景下k个-变量线性回归，其中β= (β⁽¹⁾,…,β^(k个))^T型和X（X）= (X（X）⁽¹⁾,…,X（X）^(k个))^T型都是向量，模型中的内积(1.1)由向量乘法给出：〈β,X（X）〉 =β^T型X（X）。在功能数据分析中，其中β和X（X）这两个函数都是在一个区域上定义的吗 $R（右）$ ⁠例如，内积表示一个积分：

〈 β, X（X） 〉 = \int_{R（右）} β (t吨) X（X） (t吨) d日 t吨 .

(1.3)

估算的传统方法μ(x个)基于估计值 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ 各自的正交特征向量φ₁,φ₂，…出现在协方差函数的正则分解中，K（K）(秒,t吨)=覆盖{X（X）(秒),X（X）(t吨)}，第页，共页X（X）。（在本公式及以下公式中t吨在里面X（X）(t吨)指的是X（X）如果X（X）是一个向量，对于X（X）如果X（X）是一个函数。）数量 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ 通常根据其重要性的经验度量排序，通过要求相应的特征值估值器 ${\hat{θ}}_{j个}$ 按递减顺序：

{\hat{θ}}_{1} ⩾ {\hat{θ}}_{2} ⩾ \dots

(1.4)

在非常高的维度设置中，只有前几个特征向量 ${\hat{ϕ}}_{j个}$ 用于预测。因此，按顺序订购(1.4)，并使用交叉验证等技术来选择频率截止值，从而产生了一种降维方法。正是这种背景推动了我们的工作。

这些参数支持主成分方法来选择和排序回归变量，在这种情况下，它们至少可以追溯到Kendall的工作(1957)，第75页。最近，在功能数据分析中，这些参数通常被用于服务。有关此类相对较新的贡献，请参见Bosq(2000)、卡多特(2000)、卡多特等。(2000,2003)、吉拉德(2000)、詹姆斯等。(2000)、Kneip和Utikal(2001)Boente和Fraiman(2000)，他等。(2003)、Yamanishi和Tanaka(2005)，霍尔等。(2006)、姚明和李(2006)、卡多特(2007)蔡和霍尔(2006)霍尔和侯赛尼·纳萨布(2006)。

1.2. 关于如何选择组件的不同观点

按顺序规定的方式排序(1.4)是一个合理的首选，但由于它完全基于数据，因此存在疑问X（X）_我特别是，它没有考虑x个在函数中μ(x个). 当然，方法至少应该考虑x个; 例如，它应该x个在对特征向量排序时考虑 ${\hat{ϕ}}_{j个}$ 用于估算μ(x个). 也可以进行估算μ(x个)通过使用不同于 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ ⁠对两者都很适应x个以及X（X）_我第条。

当然，前一段中提出的问题有历史记录。考克斯(1968)，第272页，认为x个应予以考虑，并注意

“[传统方法]的一个困难似乎是，没有逻辑上的理由说明因变量不应与最不重要的主成分紧密联系”。

考克斯接着考虑了另一种方法，即“简单的组合，而不是主成分，可以用作回归变量”。莫斯特勒和塔基(1977)第397页，认为这种方法可能不必要地悲观，因为它采取了一种不合理的观点，即自然纵容使主要成分相反：

“一个知道我们的x个和我们为他们制定的计划年让我们的选择看起来很可怕。但我们不相信大自然是这样运作的——正如爱因斯坦（用德语）所说，大自然几乎是“摇摇欲坠，但并非彻头彻尾的卑鄙”因此，我们提供了一种经常有帮助的技术……”

Mosteller和Tukey继续讨论了主成分方法，并认可了由序列决定的成分排名(1.4)在某种程度上，“将大组件与小组件分离可能是有效的”。然而，他们也默认了考克斯的(1968)替代方法（不提及论文），除其他外，建议统计学家可以

“选择几个最大主成分的新线性组合，使其更容易理解”。

肯德尔的(1957)相对简单的方法今天仍然很流行。例如，请参阅前面引用的关于功能数据分析中主成分方法的参考。这种方法长期以来一直有支持者，包括斯普雷尔(1963)和曲棍球(1976). 库克对其中一些问题和其他问题进行了更详细的讨论(2007)讨论者Christensen(2007)，李(2007)还有李和纳赫茨海姆(2007)库克的(2007)。

1.3。量化

上述问题仍然存在争议，尤其是在很大程度上没有理论量化。在第2节在本文中，我们讨论了这一问题，表明了基于标准特征值的组件排序，at表达式(1.4)，在极大极小意义上是最优的。特别是，如果我们拥有的关于模型的唯一信息是斜率的范数，β，不超过某个值，并且如果我们的预测是基于正交序列 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ ⁠然后，在每一步中，根据我们关于β，通过使用排序 ${\hat{ϕ}}_{j个}$ s根据顺序(1.4)参见中的定理1第2.2条。

重要的是，这不是一个渐近结果；它支持的每个值n个以及每套X（X）₁,…,X（X）_n个解释变量。结果与考克斯提出的问题并不矛盾(1968)，但这确实使他的言论具有正确的观点。它表明，在预测相当困难的情况下，特别是在平均预测误差尽可能大或近似大的情况下（鉴于我们对β)，考克斯评论中提出的问题并不重要。然而，如果我们有其他信息，我们可能会做出改进。下面将给出一个示例第2.2节，在功能数据分析的背景下。

我们还研究了基于二者选择一个完全通用的正交序列的问题x个以及解释变量，并表明在这种情况下的解决方案再次简化为传统方法。特别是，虽然可以选择一般正交序列中的分量来消除偏置展开中的几乎任意项，但该操作实际上相当于选择常规序列的相应分量 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ ⁠事实上，用这个序列表示的单项展开可以与多项展开一样执行；参见中的定理2第2.3条。这些结果也是非渐近的；它们适用于每个样本大小和每个序列X（X）_j个第条。

尤其受到定理1和2的启发，它们指出了选择组件的特定方法的优点，第3节开发了用于选择频率截止值的交叉验证方法的特性。在这里，我们给出了平均和平方误差的简单公式，并表明，在广泛的设置中，交叉验证从经验上优化了这一性能度量。这些结果非常普遍，例如在功能数据分析的情况下。我们还报告了数值研究的结果。

估计器的极大极小最优性问题出现在各种统计推断问题中，包括回归以及频率和贝叶斯设置。看，例如，詹姆斯和斯坦(1961)，博克(1975)，伯杰(1976)，丸山(1998)Ben-Haim和Eldar(2007). 然而，这些贡献的背景与本文件不同。我们不需要对误差的分布进行任何假设，除了它具有有限方差和零均值。我们的minimax结果是由这样一个事实驱动的：由于问题的有效无穷维性质，所有偏差都可能来自于进行估计的有限维空间之外的量。相比之下，在传统的极小极大结果中，正态分布误差的假设至关重要，它决定了偏差的水平，并且参数空间是低维的。

本文中分析的数据和用于分析的程序可以从

http://www.blackwellpublishing.com/rss

2.方法

2.1、。前期工作

假设数据(X（X）₁,Y（Y）₁),…,(X（X）_n个,Y（Y）_n个)，独立且同分布为(X（X）,Y（Y）)，由模型at表达式生成(1.1).协方差K（K）属于X（X）估计依据为

\hat{K（K）} (秒, t吨) = \frac{1}{n个} \sum_{我 = 1}^{n个} \{{X（X）}_{我} (秒) - \bar{X（X）} (秒)\} \{{X（X）}_{我} (t吨) - \bar{X（X）} (t吨)\},

哪里 $\bar{X（X）} = {n个}^{- 1} Σ_{我} {X（X）}_{我}$ ⁠.现在，K（K）采用传统的频谱分解：

K（K） (秒, t吨) = \sum_{j个 = 1}^{\infty} θ_{j个} ϕ_{j个} (秒) ϕ_{j个} (t吨),

(2.1)

其中φ_j个s构成一个完整的正交基。（可以理解，公式中的无穷级数如下方程式（2.1）,(2.2)和(4.3)如果数据是有限的X（X）_我是向量，而不是函数。）特别是，〈φ_j个,φ_k个〉 =δ_jk公司Kronecker三角洲和φ_j个s是特征向量，具有各自的特征值θ_j个，关于带核的线性变换K（K）.数量φ_j个在太空中 $F类$ ⁠，于年引入第1节如果问题是向量回归问题，那么常规向量也是，如果问题是函数线性回归问题，则常规向量也是函数。我们使用符号K（K）为了表示变换和协方差函数，特别是在函数数据设置中，我们定义了函数K（K）ψ通过

(K（K） ψ) (秒) = \int_{R（右）} K（K） (秒, t吨) ψ (t吨) 日期,

用哪个符号K（K）φ_j个=θ_j个φ_j个.

特征向量 ${\hat{ϕ}}_{j个}$ ⁠、和特征值 ${\hat{θ}}_{j个}$ ⁠，隐式定义为方程式（2.1）对于 $\hat{K（K）}$ ⁠:

\hat{K（K）} (秒, t吨) = \sum_{j个 = 1}^{\infty} {\hat{θ}}_{j个} {\hat{ϕ}}_{j个} (秒) {\hat{ϕ}}_{j个} (t吨),

(2.2)

其中项是有序的，使得特征值估计器 ${\hat{θ}}_{j个}$ 形成递减序列；参见序列(1.4).的积极确定性 $\hat{K（K）}$ 意味着每个特征值估计量都是非负的，尽管只有第一个n个都是绝对肯定的。因此，本征函数 ${\hat{θ}}_{j个}$ 对于j个⩾n个+1可以任意定义，受以下约束： ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ 是一个非正规序列。

接下来，我们定义了μ(x个)，后者的定义为方程式（1.2）.让ψ₁,ψ₂，…表示的正交基 $F类$ 和，给定 $χ \in F类$ ⁠，放置χ^(j个)=〈χ,ψ_j个〉. 的最小二乘估计β= Σ_j个 β^(j个)ψ_j个，基于有限傅里叶近似∑_j个⩽_第页 b条_j个ψ_j个，通过选择获得b条₁,…,b条_第页最小化序列

\sum_{我 = 1}^{n个} {\{{Y（Y）}_{我} - \bar{Y（Y）} - \sum_{j个 = 1}^{第页} {b条}_{j个} {({X（X）}_{我} - \bar{X（X）})}^{(j个)}\}}^{2} .

特别是最小二乘法选择 ${\hat{b条}}_{1}, \dots, {\hat{b条}}_{第页} 第页，共页 {b条}_{1}, \dots, {b条}_{第页}$ 属于b条₁,…,b条_第页取决于

\sum_{j个 = 1}^{第页} {\hat{b条}}_{j个} {\hat{σ}}_{j个 k个} = {\hat{c（c）}}_{k个}, 1 ⩽ k个 ⩽ 第页,

(2.3)

哪里

\begin{matrix} {\hat{σ}}_{j个 k个} = \frac{1}{n个} \sum_{我 = 1}^{n个} {({X（X）}_{我} - \bar{X（X）})}^{(j个)} {({X（X）}_{我} - \bar{X（X）})}^{(k个)}, \\ {\hat{c（c）}}_{k个} = \frac{1}{n个} \sum_{我 = 1}^{n个} ({Y（Y）}_{我} - \bar{Y（Y）}) {({X（X）}_{我} - \bar{X（X）})}^{(k个)} . \end{matrix}

（2.4）

结果估计值μ(x个)是

\begin{matrix} \hat{μ} (x个) = \bar{Y（Y）} + \hat{β}, x个 - \bar{X（X）} \\ = \bar{Y（Y）} + \sum_{j个 = 1}^{第页} {\hat{b条}}_{j个} {(x个 - \bar{X（X）})}^{(j个)}, \end{matrix}

(2.5)

哪里 $\hat{β} = Σ_{j个 ⩽ 第页} {\hat{b条}}_{j个} ψ_{j个}$ ⁠，所以 ${\hat{β}}_{j个} = {\hat{b条}}_{j个}$ 用于1⩽j个⩽第页和 ${\hat{β}}_{j个} = 0$ 对于j个⩾第页+1.

2.2. 基于序列重新排序的估计 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$

让 $X（X） = \{{X（X）}_{1}, \dots, {X（X）}_{n个}\}$ 表示解释变量集，设1⩽第页⩽n个并采取ψ₁,…,ψ_第页成为以下内容的子序列 ${\hat{ϕ}}_{1}, \dots, {\hat{ϕ}}_{n个}$ ⁠.（数量ψ_第页+1,ψ_第页+2，…可以任意定义ψ₁,ψ₂，…形成一个完整的正交基。）特别地， $ψ_{j个} = {\hat{ϕ}}_{{第页}_{j个}}$ ⁠比如说，1⩽j个⩽第页，其中第页₁,…,第页_第页是集合{1，…，的不同成员，…，n个}. 通过定义（条件）均方误差

MSE公司 = E类 [{\hat{μ} (x个) - μ (x个)}^{2} ∣ X（X）] .

(2.6)

我们将很快导出以下极大极小性质。

定理1。如果我们只有关于β这是标准吗β‖=〈β,β〉^1/2，等于给定常数C类（或者，也可以是‖β‖⩽C类)，然后选择第页₁,…,第页_第页为每个值生成C类和第页，当该量取最大值（MSE）时的最小均方误差_最大（例如）斜坡等级允许β令人满意‖β‖ =C类（或分别‖β‖⩽C类)，是第页_j个=j个对于每个j个。这与排序特征向量的选择相同 ${\hat{ϕ}}_{j个}$ 通过坚持降低特征值的等级，如at表达式（1.4）.

如果我们有关于β在定理1允许的基础上，我们可以通过重新排序基来减少均方误差。例如，假设问题是函数数据的线性回归 $R（右）$ ⁠，在内部产品中方程式（1.3），是间隔 $我 = [- 1, 1]$ ⁠我们都知道β是上的偶数函数 $我$ ⁠。然后我们可以忽略任何基函数 ${\hat{ϕ}}_{j个}$ 这是奇数函数，因为它们对准确预测的贡献为零。等效地，当我们对函数进行排序时 ${\hat{ϕ}}_{j个}$ ⁠，我们应该排在最后 ${\hat{ϕ}}_{j个}$ s是奇数函数。

当然，在实践中我们不会知道β是完全均匀的，而且没有 ${\hat{ϕ}}_{j个}$ s将非常奇怪。然而，上述理想化示例所提供的见解在实践中可能会有所帮助。例如，假设x个(t吨)等于车队在一周内行驶的英里数t吨年度最佳，以及Y（Y）是车队在一年中使用的燃油总量。我们期望β受到季节效应的显著影响，例如由于公路条件对燃油消耗的影响，我们预计这些影响将在年中左右左右对称分布。因此，如果对1年的周期进行重新定心和重新标度，使其从-1开始，到1结束，那么β很可能接近上的偶数函数 $我$ ⁠。在这种情况下，预测可能会从订购组件中受益 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$ 因此，那些接近奇数函数的函数索引相对较晚。

2.3. 基于替代基础的估算

at类型的一般预测值的条件偏差方程式（2.5）基于一般正交级数ψ₁,ψ₂，…，可以表示为数量的系列 $〈β, {\hat{ϕ}}_{j个}〉$ ⁠（例如，请参见，方程式（4.6）（见下文）这个属性也适用于基于简单的单项展开式的预测b条₁ψ₁哪里b条₁是标量，并且ψ₁是单位长度的向量（或函数数据情况下的函数），是估计器构造模式的结果。在一个术语的情况下，

\hat{μ} (x个) = \bar{Y（Y）} + {\hat{b条}}_{1} {(x个 - \bar{X（X）})}^{(1)},

(2.7)

哪里 ${\hat{b条}}_{1}$ 和 $\hat{μ} (x个)$ 通过以下方式构建第页表达式中=1(2.3)和(2.5)分别是。

人们可能会认为，通过明智地选择ψ₁，更一般地是通过仔细选择向量或函数ψ_j个在基于多项展开的估计量的情况下，相对于第2.2节，不需要有关的信息β然而，情况并非如此，如下结果所示。

定理2。如果我们构造一个多项估计器 $\hat{β} = Σ_{j个 ⩽ 第页} {\hat{b条}}_{j个} ψ_{j个}$ ⁠，其中ψ₁,ψ₂，…由以下条件决定 $〈β, {\hat{ϕ}}_{j个}〉$ 从偏差中消除j个=第页₁,…,第页_第页比如，在哪里第页₁<…<第页_第页⩽n个，则基于向量或函数得到的估计量与传统正交序列估计量相同 ${\hat{ϕ}}_{j个}$ 对于j个=第页₁,…,第页_第页并在中引入第2.2条。即使只包含一个项，也可能实现这一目的，即对于方程式（2.7）.限制第页_j个⩽n个对于每个j个在这里被强制执行而没有失去普遍性，因为，如果β未知，除非 $〈x个 - \bar{X（X）}, {\hat{ϕ}}_{j个}〉 = 0,$ ⁠，无法选择ψ₁,ψ₂，…，只使用中的信息 $X（X）$ 和x个，以消除 $〈β, {\hat{ϕ}}_{j个}〉$ 偏差扩展，当j个⩾n个+1.

3.频率截止的交叉验证选择

3.1. 模型和方法

生成数据集的过程的模型 $\{Z轴 = ({X（X）}_{1}, {Y（Y）}_{1}), \dots, ({X（X）}_{n个}, {Y（Y）}_{n个})\}$ 那是在表达(1.1)，内积由方程式（1.3）。我们采用中的一般解释第1节，其中变量X（X）_我可以是向量或函数。如果正交序列 ${\hat{ϕ}}_{j个}$ ⁠、和特征值 ${\hat{θ}}_{j个}$ ⁠，截至方程式（2.2）然后我们可以写出平均值μ(x个)，于方程式（1.2），作为

\begin{matrix} μ (x个) = α + \sum_{j个 = 1}^{\infty} β^{[j个]} {x个}^{[j个]} \\ = \bar{Y（Y）} + \sum_{j个 = 1}^{\infty} β^{[j个]} {(x个 - \bar{X（X）})}^{[j个]} - \bar{ε}, \end{matrix}

其中，对于z（z）=x个, $x个 - \bar{X（X）}$ 或β，我们定义 ${z（z）}^{[j个]} = \int_{R（右）} z（z） {\hat{ϕ}}_{j个}$ ⁠.我们的估价师 $\hat{μ} (x个) = \hat{μ} (x个 ∣ 第页)$ 由提供方程式（2.5）在每个 $ψ_{j个} = {\hat{ϕ}}_{j个}$ ⁠:

\begin{matrix} \hat{μ} (x个) = \bar{Y（Y）} + \sum_{j个 = 1}^{第页} {\hat{b条}}_{j个} {(x个 - \bar{X（X）})}^{[j个]} \\ = \bar{Y（Y）} + \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\hat{c（c）}}_{j个} {(x个 - \bar{X（X）})}^{[j个]}, \end{matrix}

(3.1)

我们使用过的方程式（4.1）并根据表达式定义(2.4)在这种情况下 $ψ_{j个} = {\hat{ϕ}}_{j个}$ ⁠,

{\hat{c（c）}}_{j个} = \frac{1}{n个} \sum_{我 = 1}^{n个} ({Y（Y）}_{我} - \bar{Y（Y）}) {({X（X）}_{我} - \bar{X（X）})}^{[j个]} .

(3.2)

可以开发各种交叉验证算法来进行选择第页在定义中方程式（3.1）一种是完全脱离的方法，包括计算版本 ${\hat{μ}}_{- 我}$ 属于 $\hat{μ}$ 从样品中 $Z轴 \ \{({X（X）}_{我}, {Y（Y）}_{我})\}$ 大小为n个−1，然后计算预测交叉验证标准，

个人简历 (第页) = \frac{1}{n个} \sum_{我 = 1}^{n个} {\{{Y（Y）}_{我} - {\hat{μ}}_{- 我} ({X（X）}_{我} ∣ 第页)\}}^{2} .

(3.3)

在这个场合，我们的经验选择第页是CV的最小值(第页)可以解释为近似值，最多不依赖于第页，到的值第页其使条件均和平方误差最小化，

MSSE公司 (第页) = \frac{1}{n个} \sum_{我 = 1}^{n个} E类 [{\{μ ({X（X）}_{我}) - \hat{μ} ({X（X）}_{我} ∣ 第页)\}}^{2} ∣ X（X）] .

(3.4)

另一种计算更简单的方法是只使用leave-on-out方法进行计算 ${\hat{c（c）}}_{j个}$ 在方程式（3.2）和 $\bar{Y（Y）}$ 在里面方程式（3.1），但要离开 ${\hat{ϕ}}_{j个}$ 和 ${\hat{θ}}_{j个}$ 保持不变。特别是，如果 ${\bar{Y（Y）}}_{- 我} = {n个}^{- 1} Σ_{k个 : k个 \neq 我} {Y（Y）}_{k个}$ 是的离开版本 $\bar{Y（Y）}$ 但有除数n个，而不是n个−1，如果我们定义

{\hat{c（c）}}_{j个, - 我} = \frac{1}{n个} \sum_{k个 : k个 \neq 我} ({Y（Y）}_{k个} - {\bar{Y（Y）}}_{- 我}) {({X（X）}_{k个} - \bar{X（X）})}^{[j个]}

（3.5）

和重新定义

{\hat{μ}}_{- 我} (x个) = {\bar{Y（Y）}}_{- 我} + \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\hat{c（c）}}_{j个, - 我} {(x个 - \bar{X（X）})}^{[j个]},

(3.6)

然后我们可以继续第页成为CV的最小值(第页)，于方程式（3.3），并将其解释为最小化MSSE的经验尝试(第页)，于方程式（3.4）这种构造节省了大量计算费用，因为不再需要重新计算序列的新版本 ${\hat{θ}}_{j个}$ 和 ${\hat{ϕ}}_{j个}$ 对于每个省略的对(X（X）_我,Y（Y）_我). 特别是 ${\hat{θ}}_{j个}$ 在里面方程式（3.6）、和，共 ${\hat{ϕ}}_{j个}$ 在公式中 ${({X（X）}_{k个} - \bar{X（X）})}^{[j个]} = 〈{X（X）}_{k个} - \bar{X（X）}, {\hat{ϕ}}_{j个}〉$ ⁠，不依赖我.

这种替代方法有几个变体，包括那些在leave-on-out估计中除数（例如。 ${\bar{Y（Y）}}_{- 我}$ 和 ${\hat{c（c）}}_{j个, - 我}$ ⁠)被认为是n个−1而不是n个，以及其中 $\bar{X（X）}$ 被替换为 ${\bar{X（X）}}_{- 我}$ 在里面方程式（3.5）和(3.6)都给出了相似的数值结果，并且具有相同的一阶理论性质。

3.2. 理论性质

首先，我们给出了条件平均和平方误差的一个基本公式，MSSE(第页)，定义于方程式（3.4）。我们讨论了第1节，其中解释变量X（X）_我是向量或函数值。

定义

Δ (x个) = E类 {\hat{μ} (x个) ∣ X（X）} - μ (x个),

(3.7)

表示的条件偏差 $\hat{u个} (x个)$ ⁠回忆一下‖x个‖²=〈x个,x个〉，并且数据对(X（X）₁,Y（Y）₁)(X（X）_n个,Y（Y）_n个)由模型在表达式中生成(1.1)，其中错误ɛ具有零均值和有限方差σ².

定理3。假设‖β‖<∞，对于产生手边样本的实现， $\hat{K（K）}$ 一致有界且非退化，‖X（X）_我‖<∞用于1⩽我⩽n个和 ${\hat{θ}}_{j个} > 0$ 用于1⩽j个⩽第页.然后，

MSSE公司 (第页) = \frac{1}{n个} \sum_{我 = 1}^{n个} Δ {({X（X）}_{我})}^{2} + \frac{(第页 + 1) σ^{2}}{n个} .

(3.8)

右侧的第一项方程式（3.8）等于平均和平方偏差，第二个等于MSSE的方差贡献(第页)。

接下来，我们给出一个结果，描述CV的精确度(第页)，于方程式（3.3），近似于MSSE(第页)，不依赖于第页因此，对最小化CV的过程并不重要(第页). 我们解释简历(第页)在leave-on-out算法的经济版本意义上 ${\hat{μ}}_{- 我}$ 定义于方程（3.6）。我们再次假设数据是由模型生成的(1.1)，我们附加了一个条件，对于一个足够大的常数C类>0中，

E类 (| ε |^{C类}) < \infty 和 E类 (‖ X（X） ‖^{C类}) < \infty .

(3.9)

定理4。让0<η<1，并假设‖β‖<∞. 如果条件(3.9)等待C类=C类(η)足够大，概率为1，

个人简历 (第页) = MSSE公司 (第页) + 条款不取决于 第页 + o（o） {磁共振波谱 (第页)},

(3.10)

在中一致第页使得

{n个}^{2 η} ⩽ 常数 \times 第页 和 \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} ⩽ 常数 \times {n个}^{1 - η},

(3.11)

其中常数固定但任意大。

结果(3.10)确立了选择第页最小化CV(第页)产生平均和平方误差的渐近最小化，前提是我们选择第页根据一组假设值(3.11)保持，MSSE(第页)在值之间渐近最小化第页在那组中。假设的第一部分(3.11)透明温和；它只要求我们选择第页至少是多项式大的函数n个.表明假设的第二部分(3.11)也是合理的，它在实践中是令人满意的，并且理论上是最优的第页通常满足该条件，我们将使用条件的版本 ${\hat{θ}}_{j个}$ 被替换为θ_j个:

\sum_{j个 = 1}^{第页} θ_{j个}^{- 1} ⩽ 常数 \times {n个}^{1 - η} .

(3.12)

使用霍尔和侯赛尼·纳萨布的结果可以证明这种变化是合理的(2006)关于一致收敛性 ${\hat{θ}}_{j个}$ s到θ_j个第条。

在下一段中，我们证明了假设的合理性(3.12)如果傅里叶系数β^[j个]和θ_j个多项式快速降为零j个增加。在这种情况下第页作为函数的多项式快速增加n个.

使用Hall和Hosseini-Nasab的论点(2009)，MSSE的平方偏差分量(第页)，由右侧的第一个术语表示方程（3.8），可以证明满足

\frac{1}{n个} \sum_{我 = 1}^{n个} Δ {({X（X）}_{我})}^{2} ~ \sum_{j个 = 第页 + 1}^{\infty} {(β^{[j个]})}^{2} θ_{j个},

哪一个，如果β^[j个]和θ_j个二者均以多项式速率递减，依次渐近于常数倍(β^[第页])²θ_第页:

\frac{1}{n个} \sum_{我 = 1}^{n个} Δ {({X（X）}_{我})}^{2} ~ 常数 \times {(β^{[第页]})}^{2} θ_{第页} .

(3.13)

透明地，右边的第二个术语方程式（3.8）渐近于常数倍n个⁻¹第页作为n个和第页发散。因此，如果第页选择MSSE最小化(第页)然后

{(β^{[第页]})}^{2} θ_{第页} ~ 常数 \times {n个}^{- 1} 第页 .

(3.14)

此外，由于θ_j个作为函数快速多项式减少j个然后是不等式的左边(3.12)渐近于常数倍 $第页 θ_{第页}^{- 1}$ ⁠，因此，考虑到近似值(3.14)，为的常数倍数n个(β^[第页])²然而，由于第页在中快速增加多项式n个那么(β^[第页])²～常数×n个^−η1对一些人来说η₁>0等等 $第页 θ_{第页}^{- 1} ~ 常数 \times {n个}^{- η_{1}}$ ⁠因此，不平等的第二部分(3.12)保持，如果η⩽η₁.

3.3. 数值特性

我们在表达式中模拟了模型中的数据(1.1)，使用α=0和积分给出的内积方程式（1.3）具有 $R（右） = [0, 1]$ ⁠.我们采取了β= Σ_j个⩾₀ β_j个χ_j个，其中χ₀,χ₁，…是上的正余弦级数 $R（右）$ （尤其是，χ_j个(t吨)=2^1/2科斯(j个πt吨)的j个⩾1），以及β_j个s是常数。为了使问题更具挑战性，我们解决了β₀在每种情况下均为0，同样，我们省略了Karhunen–Loève展开式中的常数项X（X），我们定义为 $X（X） = Σ_{j个 ⩾ 1} θ_{j个}^{1 / 2} {Z轴}_{j个} χ_{j个}$ 哪里 $θ_{j个}^{1 / 2} = 10 / (j个 + 5)$ 和Z轴_j个s是具有零均值和单位方差的独立同分布随机变量。

我们采取了β_j个将重新排列序列j个⁻²对于j个⩾1，如下所示。模型1表示以下情况β_j个=j个⁻²对于每个j个⩾1.获取模型j个，用于j个=2,3,4，我们颠倒了第一个j个条款。这增加了预测者面临的挑战 $\hat{μ}$ 但对我们将在表达式中引入的两个相互竞争的预测因子几乎没有影响(3.15)如下所示。我们采取了Z轴_j个s为正常值N个（0,1）或具有中心标准指数分布。

除频率截止预测器外 $\hat{μ}$ 在方程式（2.5）我们考虑了另外两种可能性：一种是“加权”预测器，我们保留了所有分量，但降低了与相对较小的特征值估计相对应的分量的权重；另一种是“排序”形式，我们对分量进行排序，以反映其与Y（Y）具体来说，作为 $\hat{μ} (x个)$ 在方程式（2.5）我们用过

\begin{matrix} {\hat{μ}}_{重量} (x个) = \bar{Y（Y）} + \sum_{j个 = 1}^{\infty} {\hat{b条}}_{j个} {\hat{θ}}_{j个}^{第页} {(x个 - \bar{X（X）})}^{(j个)}, \\ {\hat{μ}}_{等级} (x个) = \bar{Y（Y）} + \sum_{j个 = 1}^{第页} {\hat{b条}}_{{\hat{k个}}_{j个}} {(x个 - \bar{X（X）})}^{({\hat{k个}}_{j个})} . \end{matrix}

(3.15)

要计算 ${\hat{μ}}_{等级} (x个)$ 我们计算了每个j个，一组对 $(\int_{R（右）} {X（X）}_{我} (t吨) {\hat{ϕ}}_{j个} (t吨) d日 t吨, {Y（Y）}_{我})$ 对于1⩽我⩽n个; 然后我们导出了相关系数 ${\hat{ρ}}_{j个}$ 对于这些n个对；然后我们采取了 ${\hat{k个}}_{1}, \dots, {\hat{k个}}_{n个}$ 是1，…，的排列，…，n个这确保了 $|{\hat{ρ}}_{{\hat{k个}}_{1}}| ⩾ \dots ⩾ |{\hat{ρ}}_{{\hat{k个}}_{n个}}|$ ⁠。的相应值 $\hat{β}$ 对于表达式中的两个预测因子(3.15)是 $\hat{β} = Σ_{j个 ⩾ 1}^{κ_{1}} {\hat{b条}}_{j个} {\hat{θ}}_{j个}^{第页} {\hat{ϕ}}_{j个}$ 和 $\hat{β} = Σ_{1 ⩽ j个 ⩽ 第页} {\hat{b条}}_{{\hat{k个}}_{j个}} {\hat{ϕ}}_{{\hat{k个}}_{j个}}$ ⁠; 相应的调谐参数为第页一般正数，以及第页，一般正整数；并且，在下面报告的结果中，通过交叉验证选择了所有平滑参数。

表1和2给出三个预测因子的均方预测误差MSPE的蒙特卡罗近似，以及（括号中）近似的标准误差。表1和2分别处理正态分布和指数分布主成分的情况。每个主块的第一、第二和第三列中的结果表1和2是用于 $\hat{μ}$ ⁠，定义于方程式（2.5），以及 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ at表达式(3.15)分别是。以下属性可以从表1和2以及其他数值结果，为了简单起见，我们不在这里列出。

表1

在主成分呈正态分布的情况下，使用平滑参数的交叉验证选择对MSPE进行蒙特卡罗近似†

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.206 (0.094)	24.588 (1.830)	3.379 (0.251)	0.715 (0.056)	19.963 (1.320)	3.595 (0.233)
2	1.624 (0.165)	16.875 (1.242)	3.154 (0.255)	1.139 (0.112)	15.853 (1.053)	4.008 (0.305)
三	1.855 (0.154)	14.254 (1.072)	3.193 (0.200)	1.250 (0.136)	13.241 (0.881)	3.885 (0.273)
4	2.088 (0.152)	14.136 (1.213)	2.808（0.178）	1.509 (0.128)	11.732 (0.813)	4.060 (0.273)
	n的结果=100			n的结果=200
1	0.389 (0.040)	15.771 (1.030)	5.718 (0.366)	0.203 (0.022)	14.242 (0.917)	9.320 (0.576)
2	0.369 (0.030)	15.230（0.980）	6.342（0.421）	0.183 (0.022)	12.468 (0.758)	9.408 (0.596)
三	0.533 (0.055)	12.495 (0.776)	6.683 (0.440)	0.229 (0.023)	11.563 (0.763)	8.832 (0.582)
4	0.753 (0.079)	12.315 (0.782)	5.410 (0.337)	0.266 (0.026)	11.926 (0.751)	9.795 (0.618)
	n的结果=400			n的结果=800
1	0.085 (0.007)	4.860 (0.326)	2.623 (0.172)	0.045 (0.003)	1.685 (0.117)	0.880 (0.055)
2	0.109（0.010）	4.434 (0.285)	3.061 (0.218)	0.053 (0.005)	1.476 (0.091)	0.835 (0.049)
三	0.099 (0.007)	4.208 (0.281)	2.901 (0.195)	0.050 (0.004)	1.450 (0.099)	0.841 (0.054)
4	0.112 (0.008)	4.076（0.241）	2.952（0.192）	0.051 (0.004)	1.491 (0.094)	0.915 (0.062)

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.206 (0.094)	24.588 (1.830)	3.379 (0.251)	0.715 (0.056)	19.963 (1.320)	3.595 (0.233)
2	1.624 (0.165)	16.875 (1.242)	3.154（0.255）	1.139 (0.112)	15.853 (1.053)	4.008 (0.305)
三	1.855 (0.154)	14.254 (1.072)	3.193 (0.200)	1.250 (0.136)	13.241 (0.881)	3.885 (0.273)
4	2.088 (0.152)	14.136 (1.213)	2.808 (0.178)	1.509（0.128）	11.732（0.813）	4.060 (0.273)
	n的结果=100			n的结果=200
1	0.389 (0.040)	15.771 (1.030)	5.718 (0.366)	0.203 (0.022)	14.242 (0.917)	9.320 (0.576)
2	0.369 (0.030)	15.230 (0.980)	6.342 (0.421)	0.183 (0.022)	12.468 (0.758)	9.408 (0.596)
三	0.533 (0.055)	12.495 (0.776)	6.683 (0.440)	0.229 (0.023)	11.563 (0.763)	8.832 (0.582)
4	0.753 (0.079)	12.315 (0.782)	5.410（0.337）	0.266 (0.026)	11.926 (0.751)	9.795 (0.618)
	n的结果=400			n的结果=800
1	0.085 (0.007)	4.860 (0.326)	2.623 (0.172)	0.045 (0.003)	1.685 (0.117)	0.880 (0.055)
2	0.109 (0.010)	4.434（0.285）	3.061（0.218）	0.053 (0.005)	1.476 (0.091)	0.835 (0.049)
三	0.099 (0.007)	4.208 (0.281)	2.901 (0.195)	0.050 (0.004)	1.450 (0.099)	0.841 (0.054)
4	0.112 (0.008)	4.076 (0.241)	2.952 (0.192)	0.051 (0.004)	1.491 (0.094)	0.915 (0.062)

†

表中六个主要模块中每一个模块的三列给出了这种情况下的MSPE近似值 $\hat{μ}$ 定义于方程式（2.5）和预测因素 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ 在方程式（3.15）括号中的数字表示蒙特卡洛近似的标准误差。

新标签中打开

表1

在主成分呈正态分布的情况下，使用平滑参数的交叉验证选择对MSPE进行蒙特卡罗近似†

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	2006年1月20日（0.094）	24.588 (1.830)	3.379 (0.251)	0.715 (0.056)	19.963 (1.320)	3.595 (0.233)
2	1.624 (0.165)	16.875 (1.242)	3.154 (0.255)	1.139 (0.112)	15.853 (1.053)	4.008 (0.305)
三	1.855 (0.154)	14.254 (1.072)	3.193 (0.200)	1.250 (0.136)	13.241 (0.881)	3.885 (0.273)
4	2.088 (0.152)	14.136 (1.213)	2.808 (0.178)	1.509 (0.128)	11.732 (0.813)	4.060 (0.273)
	n的结果=100			n的结果=200
1	0.389 (0.040)	15.771 (1.030)	5.718 (0.366)	0.203 (0.022)	14.242 (0.917)	9.320 (0.576)
2	0.369 (0.030)	15.230 (0.980)	6.342 (0.421)	0.183 (0.022)	12.468 (0.758)	9.408（0.596）
三	0.533（0.055）	12.495 (0.776)	6.683 (0.440)	0.229 (0.023)	11.563 (0.763)	8.832 (0.582)
4	0.753 (0.079)	12.315 (0.782)	5.410 (0.337)	0.266 (0.026)	11.926 (0.751)	9.795 (0.618)
	n的结果=400			n的结果=800
1	0.085 (0.007)	4.860 (0.326)	2.623 (0.172)	0.045 (0.003)	1.685 (0.117)	0.880 (0.055)
2	0.109 (0.010)	4.434 (0.285)	3.061 (0.218)	0.053 (0.005)	1.476（0.091）	0.835 (0.049)
三	0.099 (0.007)	4.208 (0.281)	2.901 (0.195)	0.050 (0.004)	1.450 (0.099)	0.841 (0.054)
4	0.112 (0.008)	4.076 (0.241)	2.952 (0.192)	0.051 (0.004)	1.491 (0.094)	0.915（0.062）

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.206 (0.094)	24.588 (1.830)	3.379 (0.251)	0.715 (0.056)	19.963 (1.320)	3.595 (0.233)
2	1.624 (0.165)	16.875 (1.242)	3.154 (0.255)	1.139 (0.112)	15.853 (1.053)	4.008 (0.305)
三	1.855（0.154）	14.254 (1.072)	3.193 (0.200)	1.250 (0.136)	13.241 (0.881)	3.885 (0.273)
4	2.088 (0.152)	14.136 (1.213)	2.808 (0.178)	1.509 (0.128)	11.732 (0.813)	4.060 (0.273)
	n的结果=100			n的结果=200
1	0.389（0.040）	15.771 (1.030)	5.718 (0.366)	0.203 (0.022)	14.242 (0.917)	9.320 (0.576)
2	0.369 (0.030)	15.230 (0.980)	6.342 (0.421)	0.183 (0.022)	12.468 (0.758)	9.408 (0.596)
三	0.533 (0.055)	12.495 (0.776)	6.683 (0.440)	0.229 (0.023)	11.563 (0.763)	8.832 (0.582)
4	0.753 (0.079)	12.315 (0.782)	5.410 (0.337)	0.266 (0.026)	11.926 (0.751)	9.795 (0.618)
	n的结果=400			n的结果=800
1	0.085 (0.007)	4.860 (0.326)	2.623 (0.172)	0.045 (0.003)	1.685 (0.117)	0.880 (0.055)
2	0.109 (0.010)	4.434 (0.285)	3.061 (0.218)	0.053 (0.005)	1.476 (0.091)	0.835（0.049）
三	0.099（0.007）	4.208 (0.281)	2.901 (0.195)	0.050 (0.004)	1.450 (0.099)	0.841 (0.054)
4	0.112 (0.008)	4.076 (0.241)	2.952 (0.192)	0.051 (0.004)	1.491 (0.094)	0.915 (0.062)

†

表中六个主要模块中每一个模块的三列给出了这种情况下的MSPE近似值 $\hat{μ}$ 定义于方程式（2.5）和预测因素 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ 在方程式（3.15）括号中的数字表示蒙特卡洛近似值的标准误差。

新标签中打开

表2

在指数分布主成分的情况下，使用平滑参数的交叉验证选择对MSPE进行蒙特卡罗近似†

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.327 (0.123)	23.013 (2.024)	2.852 (0.223)	0.800 (0.097)	19.608 (1.251)	4.157 (0.267)
2	1.655（0.171）	19.863（1.669）	2.859 (0.212)	0.984 (0.107)	18.253 (1.367)	3.758 (0.246)
三	2.005 (0.165)	16.315 (1.442)	3.763 (0.389)	1.606 (0.167)	14.988 (1.164)	4.114 (0.278)
4	2.223 (0.182)	17.537 (1.516)	3.759 (0.525)	1.890 (0.176)	11.542 (0.827)	3.933 (0.315)
	n的结果=100			n的结果=200
1	0.381 (0.038)	14.654 (1.087)	6.261 (0.470)	0.184 (0.021)	12.856 (0.848)	8.463（0.531）
2	0.470 (0.058)	15.135 (1.286)	6.003 (0.450)	0.184 (0.016)	13.115 (0.964)	9.065 (0.687)
三	0.515 (0.052)	13.790 (0.945)	6.037 (0.385)	0.208 (0.020)	13.205 (0.819)	9.175 (0.584)
4	1.078（0.158）	12.577（1.167）	6.727 (0.409)	0.295 (0.040)	11.773 (0.802)	7.529 (0.483)
	n的结果=400			n的结果=800
1	0.077 (0.008)	4.995 (0.352)	2.991 (0.174)	0.043 (0.004)	1.608 (0.101)	0.933 (0.074)
2	0.090 (0.008)	4.662 (0.311)	2.655 (0.175)	0.046 (0.004)	1.608 (0.104)	0.933 (0.060)
三	0.102 (0.009)	3.986 (0.291)	3.049 (0.188)	0.052 (0.005)	1.492 (0.100)	0.901（0.054）
4	0.103 (0.008)	4.197 (0.267)	3.257 (0.207)	0.056 (0.006)	1.498 (0.095)	0.854 (0.056)

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.327 (0.123)	23.013 (2.024)	2.852 (0.223)	0.800 (0.097)	19.608 (1.251)	4.157 (0.267)
2	1.655 (0.171)	19.863 (1.669)	2.859 (0.212)	0.984 (0.107)	18.253 (1.367)	3.758 (0.246)
三	2.005 (0.165)	16.315 (1.442)	3.763 (0.389)	1.606 (0.167)	14.988 (1.164)	4.114 (0.278)
4	2.223 (0.182)	17.537 (1.516)	3.759 (0.525)	1.890 (0.176)	11.542（0.827）	3.933 (0.315)
	n的结果=100			n的结果=200
1	0.381 (0.038)	14.654 (1.087)	6.261 (0.470)	0.184 (0.021)	12.856 (0.848)	8.463 (0.531)
2	0.470 (0.058)	15.135 (1.286)	6.003 (0.450)	0.184（0.016）	2015年13月13日（0.964）	9.065 (0.687)
三	0.515 (0.052)	13.790 (0.945)	6.037 (0.385)	0.208 (0.020)	13.205 (0.819)	9.175 (0.584)
4	1.078 (0.158)	12.577 (1.167)	6.727 (0.409)	0.295 (0.040)	11.773 (0.802)	7.529 (0.483)
	n的结果=400			n的结果=800
1	0.077 (0.008)	4.995 (0.352)	2.991 (0.174)	0.043 (0.004)	1.608 (0.101)	0.933 (0.074)
2	0.090 (0.008)	4.662 (0.311)	2.655（0.175）	0.046 (0.004)	1.608 (0.104)	0.933 (0.060)
三	0.102 (0.009)	3.986 (0.291)	3.049 (0.188)	0.052 (0.005)	1.492 (0.100)	0.901 (0.054)
4	0.103 (0.008)	4.197 (0.267)	3.257 (0.207)	0.056（0.006）	1.498（0.095）	0.854 (0.056)

†

在其他方面，表条目与表1的情况相同。

新标签中打开

表2

在指数分布主成分的情况下，使用平滑参数的交叉验证选择对MSPE进行蒙特卡罗近似†

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.327 (0.123)	23.013 (2.024)	2.852 (0.223)	0.800 (0.097)	19.608 (1.251)	4.157 (0.267)
2	1.655 (0.171)	19.863 (1.669)	2.859 (0.212)	0.984 (0.107)	18.253 (1.367)	3.758（0.246）
三	2.005 (0.165)	16.315 (1.442)	3.763 (0.389)	1.606 (0.167)	14.988 (1.164)	4.114 (0.278)
4	2.223 (0.182)	17.537 (1.516)	3.759 (0.525)	1.890 (0.176)	11.542 (0.827)	3.933 (0.315)
	n的结果=100			n的结果=200
1	0.381 (0.038)	14.654 (1.087)	6.261 (0.470)	0.184 (0.021)	12.856 (0.848)	8.463 (0.531)
2	0.470 (0.058)	15.135 (1.286)	6.003 (0.450)	0.184 (0.016)	13.115 (0.964)	9.065 (0.687)
三	0.515 (0.052)	13.790 (0.945)	6.037 (0.385)	0.208 (0.020)	13.205 (0.819)	9.175 (0.584)
4	1.078 (0.158)	12.577 (1.167)	6.727 (0.409)	0.295 (0.040)	11.773 (0.802)	7.529（0.483）
	n的结果=400			n的结果=800
1	0.077 (0.008)	4.995 (0.352)	2.991 (0.174)	0.043 (0.004)	1.608 (0.101)	0.933 (0.074)
2	0.090 (0.008)	4.662 (0.311)	2.655 (0.175)	0.046 (0.004)	1.608（0.104）	0.933（0.060）
三	0.102 (0.009)	3.986 (0.291)	3.049 (0.188)	0.052 (0.005)	1.492 (0.100)	0.901 (0.054)
4	0.103 (0.008)	4.197 (0.267)	3.257 (0.207)	0.056 (0.006)	1.498 (0.095)	0.854 (0.056)

模型	n的结果=25			n的结果=50
模型	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
1	1.327 (0.123)	23.013 (2.024)	2.852（0.223）	0.800 (0.097)	19.608 (1.251)	4.157 (0.267)
2	1.655 (0.171)	19.863 (1.669)	2.859 (0.212)	0.984 (0.107)	18.253 (1.367)	3.758 (0.246)
三	2.005 (0.165)	16.315 (1.442)	3.763 (0.389)	1.606（0.167）	14.988（1.164）	4.114 (0.278)
4	2.223 (0.182)	17.537 (1.516)	3.759 (0.525)	1.890 (0.176)	11.542 (0.827)	3.933 (0.315)
	n的结果=100			n的结果=200
1	0.381 (0.038)	14.654 (1.087)	6.261 (0.470)	0.184 (0.021)	12.856 (0.848)	8.463 (0.531)
2	0.470 (0.058)	15.135 (1.286)	6.003 (0.450)	0.184 (0.016)	13.115 (0.964)	9.065 (0.687)
三	0.515 (0.052)	13.790 (0.945)	6.037（0.385）	0.208 (0.020)	13.205 (0.819)	9.175 (0.584)
4	1.078 (0.158)	12.577 (1.167)	6.727 (0.409)	0.295 (0.040)	11.773 (0.802)	7.529 (0.483)
	n的结果=400			n的结果=800
1	0.077 (0.008)	4.995（0.352）	2.991（0.174）	0.043 (0.004)	1.608 (0.101)	0.933 (0.074)
2	0.090 (0.008)	4.662 (0.311)	2.655 (0.175)	0.046 (0.004)	1.608 (0.104)	0.933 (0.060)
三	0.102 (0.009)	3.986 (0.291)	3.049 (0.188)	0.052 (0.005)	1.492 (0.100)	0.901 (0.054)
4	0.103 (0.008)	4.197 (0.267)	3.257 (0.207)	0.056 (0.006)	1.498 (0.095)	0.854 (0.056)

†

在其他方面，表条目与表1的情况相同。

新标签中打开

（a）
预测器 $\hat{μ}$ 通常表现比这两者都好 ${\hat{μ}}_{重量}$ 或 ${\hat{μ}}_{等级}$ ⁠，至少对于这里讨论的模型，以及当使用交叉验证来选择平滑参数时。
（b）
的性能 $\hat{μ}$ ⁠，在每个主块的第一列中给出，通常减小为β将更大的权重放在相对高频的主成分上，即作为模型指数j个增加。然而，这两种情况的趋势都不太明显 ${\hat{μ}}_{重量}$ 或 ${\hat{μ}}_{等级}$ ⁠显然反映了这样一个事实，即这些预测因子的构造往往会使频率正常化。
（c）
在以下情况下 $\hat{μ}$ 交叉验证选择第页, $\hat{第页}$ 比方说，当n个⩾50，因为它接近理论上的最佳值第页例如，更改第页从 $\hat{第页}$ 到 $\hat{第页} + [\hat{第页} / 2]$ 始终（在表1和2，但仅限于n个⩾50）导致MSPE略有增加，并将其改为 $\hat{第页} - [\hat{第页} / 2]$ MSPE始终会有更显著的增长。
（d）
在以下情况下 ${\hat{μ}}_{重量}$ ⁠，增加平滑参数第页从其交叉验证估计 $\hat{第页}$ 到 $2 \hat{第页}$ 显著增加MSPE，并减少 $\hat{第页}$ 到 $\hat{第页} / 2$ MSPE略有降低。
（e）
在以下情况下 ${\hat{μ}}_{等级}$ ⁠，减少了第页从 $\hat{第页}$ 到 $\hat{第页} - [\hat{第页} / 2]$ 通常会略微降低MSPE，而增加第页到 $\hat{第页} + [\hat{第页} / 2]$ 通常会略微增加MSPE。
（属性（c）–（e）意味着当我们使用 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ ⁠，并在使用时很好地选择平滑参数 $\hat{μ}$ ⁠.)
（f）
当使用以下最佳选项计算预测值时第页, $\hat{μ}$ 通常表现优于两者 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ ⁠.
（g）
对数值结果的检查表明 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ 是包含特征值估值器引入的附加噪声的结果 ${\hat{θ}}_{j个}$ ⁠和相关估计 ${\hat{ρ}}_{j个}$ ⁠，在构建预测因子时。这种困难在以下情况下尤为明显 ${\hat{μ}}_{等级}$ 什么时候n个⩽200.
（h）
在高斯和非高斯情况下的结果之间几乎没有差异。

当样本量很小时，交叉验证曲线可能是有噪声的和非凸的，并且可能存在几个局部极小值。我们用来定义的全局最小值 $\hat{第页}$ 和 $\hat{第页}$ ⁠，不一定会产生最佳结果，并且以较低的值达到局部最小值第页或第页可以产生较低的MSPE。这种困难让人想起在非参数密度估计和回归中使用交叉验证选择带宽时出现的问题，其中可能存在两个或多个局部极小值。在这些设置中，通常首选能够提供局部最小值的最大带宽（参见示例Hall和Marron(1991))。自第页倾向于扮演带宽的倒数的角色，然后在函数线性预测问题中，选择第页这可能会使当地达到最低水平。事实上，这一规则往往被证明是适当的。

我们还将这三种方法应用于澳大利亚的降雨量和温度数据，这些数据可在http://www.worldweather.org这些数据是在206个气象站记录的。基于杠杆图的分析表明，格伦·因内斯站的数据对结果的影响极为不成比例，因此我们将该站从研究中删除，从而将样本量减少至205。我们拿走了X（X）_我(t吨)，用于 $t吨 \in 我 = [0, 1]$ 和1⩽我⩽205，为当天平均最低温度和平均最高温度的平均值t吨气象站×365我，使用周期样条进行平滑后；我们采取了Y（Y）_我等于站点总降雨量的对数我（给定日期的平均最低和平均最高温度是通过气象站运行的所有年份的平均值计算得出的。）然后我们计算得出 $\hat{μ}$ 在方程式（2.5）、和 ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ at表达式(3.15)。交叉验证给出了调整参数值第页=11 $\hat{μ}$ ⁠,第页=0.009 93 ${\hat{μ}}_{重量}$ 和第页=7 ${\hat{μ}}_{等级}$ ⁠.

估价师 ${\hat{b条}}_{j个}$ 结果非常相似表3.施工时 ${\hat{μ}}_{等级}$ 前12个特征向量的估计阶数为2，5，3，7，11，9，4，10，8，12，6，1，其中j个在该序列中，表示与j个第二大特征值将出现在那里。特别是，对应于最大特征值的特征向量排名第12位。在以下情况下 $\hat{μ}$ 和 ${\hat{μ}}_{重量}$ 的值 ${\hat{b条}}_{j个}$ 仅在小数点后第六位有所不同，因此在第表3。的平滑参数值 $\hat{μ}$ 和 ${\hat{μ}}_{等级}$ 表示为表3事实上，因为第页=11（在以下情况下） $\hat{μ}$ ⁠，对应的行中有一个0j个=12（在以下列中） $\hat{μ}$ ⁠; 而且，由于在构造时只包括排名前7位的特征向量 ${\hat{μ}}_{等级}$ ⁠，0s出现在与其他五个值对应的列中，即。j个=1,6,8,10,12 ${\hat{μ}}_{等级}$ ⁠.

表3

估计值 ${\hat{β}}_{j个}$ 对于 $\hat{μ}$ ⁠, ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ †

j个	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
0	6.48300	6.48300	6.48320
1	0.00005	0.00005	0
2	0.01713	0.01713	0.01713
三	0.01769	0.01769	0.01769
4	−0.02022	−0.02022	−0.02022
5	−0.06422	−0.06422	−0.06422
6	−0.00403	−0.00403	0
7	−0.10390	−0.10390	−0.10391
8	0.01419	0.01419	0
9	0.08152	0.08152	0.08152
10	0.03845	0.03845	0
11	0.14780	0.14780	0.14778
12	0	−0.02236	0

j个	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
0	6.48300	6.48300	6.48320
1	0.00005	0.00005	0
2	0.01713	0.01713	0.01713
三	0.01769	0.01769	0.01769
4	−0.02022	−0.02022	−0.02022
5	−0.06422	−0.06422	−0.06422
6	−0.00403	−0.00403	0
7	−0.10390	−0.10390	−0.10391
8	0.01419	0.01419	0
9	0.08152	0.08152	0.08152
10	0.03845	0.03845	0
11	0.14780	0.14780	0.14778
12	0	−0.02236	0

†

零值反映调谐参数的交叉验证估计；请参阅文本进行讨论。

新标签中打开

表3

估计值 ${\hat{β}}_{j个}$ 对于 $\hat{μ}$ ⁠, ${\hat{μ}}_{重量}$ 和 ${\hat{μ}}_{等级}$ †

j个	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
0	6.48300	6.48300	6.48320
1	0.00005	0.00005	0
2	0.01713	0.01713	0.01713
三	0.01769	0.01769	0.01769
4	−0.02022	−0.02022	−0.02022
5	−0.06422	−0.06422	−0.06422
6	−0.00403	−0.00403	0
7	−0.10390	−0.10390	−0.10391
8	0.01419	0.01419	0
9	0.08152	0.08152	0.08152
10	0.03845	0.03845	0
11	0.14780	0.14780	0.14778
12	0	−0.02236	0

j个	$\hat{μ}$	${\hat{μ}}_{重量}$	${\hat{μ}}_{等级}$
0	6.48300	6.48300	6.48320
1	0.00005	0.00005	0
2	0.01713	0.01713	0.01713
三	0.01769	0.01769	0.01769
4	−0.02022	−0.02022	−0.02022
5	−0.06422	−0.06422	−0.06422
6	−0.00403	−0.00403	0
7	−0.10390	−0.10390	−0.10391
8	0.01419	0.01419	0
9	0.08152	0.08152	0.08152
10	0.03845	0.03845	0
11	0.14780	0.14780	0.14778
12	0	−0.02236	0

†

零值反映调谐参数的交叉验证估计；请参阅正文进行讨论。

新标签中打开

在以下情况下 $\hat{μ}$ 和 ${\hat{μ}}_{等级}$ 系数的估计 ${(x个 - \bar{X（X）})}^{(j个)}$ 与的值相同 ${\hat{b条}}_{j个}$ ⁠。对于 ${\hat{μ}}_{重量}$ ⁠，自第页非常接近0，并且 ${\hat{θ}}_{j个}^{第页}$ 因此s接近1，系数估计值与 ${\hat{b条}}_{j个}$ s.因此，由于这些值 ${\hat{b条}}_{j个}$ 在里面表3非常接近，所以毫不奇怪 $\hat{μ} (x个)$ ⁠, ${\hat{μ}}_{重量} (x个)$ 和 ${\hat{μ}}_{等级} (x个)$ 对于以下许多值也很接近x个。为了简洁起见，这里不提供图表。

4.技术论证

4.1. 定理1的证明

定理1之前的假设确保了特征值 ${\hat{ω}}_{j个} \equiv {\hat{θ}}_{{第页}_{j个}}$ 都是绝对肯定的 ${\hat{σ}}_{j个 k个} = {\hat{ω}}_{j个} δ_{j个 k个}$ ⁠因此，通过表达式(2.3),

{\hat{b条}}_{j个} = {\hat{ω}}_{j个}^{- 1} {\hat{c（c）}}_{j个} .

(4.1)

还要注意 $E类 ({\hat{c（c）}}_{j个} ∣ X（X）) = Σ_{j个 ⩾ 1} β^{(j个)} {\hat{σ}}_{j个 k个} = {\hat{ω}}_{j个} β^{(j个)}$ ⁠，它从哪里通过方程式(2.5)那个

E类 {\hat{μ} (x个) ∣ X（X）} = E类 (\bar{Y（Y）} ∣ X（X）) + \sum_{j个 = 1}^{第页} β^{(j个)} {(x个 - \bar{X（X）})}^{(j个)} .

同样可以看出 $无功功率，无功功率 {\hat{μ} (x个) ∣ X（X）} = σ^{2} {n个}^{- 1} (1 + 秒)$ ⁠，其中σ²=变量(ɛ)和 $秒 = Σ_{j个 ⩽ 第页} {\hat{ω}}_{j个}^{- 1} {\{{(x个 - \bar{X（X）})}^{(j个)}\}}^{2}$ ⁠，还有那个

\begin{matrix} μ (x个) = E类 (\bar{Y（Y）} ∣ X（X）) + 〈 β, x个 - \bar{X（X）} 〉 \\ = E类 (\bar{Y（Y）} ∣ X（X）) + \sum_{j个 = 1}^{\infty} β^{(j个)} {(x个 - \bar{X（X）})}^{(j个)} . \end{matrix}

因此，

MSE公司 = σ^{2} {n个}^{- 1} [1 + \sum_{j个 = 1}^{第页} {\hat{ω}}_{j个}^{- 1} {\{{(x个 - \bar{X（X）})}^{(j个)}\}}^{2}] + {\{\sum_{j个 = 第页 + 1}^{\infty} β^{(j个)} {(x个 - \bar{X（X）})}^{(j个)}\}}^{2};

(4.2)

回想一下，MSE的定义是方程式（2.6）.

柯西-施瓦兹不等式意味着

{\{\sum_{j个 = 第页 + 1}^{\infty} β^{(j个)} {(x个 - \bar{X（X）})}^{(j个)}\}}^{2} ⩽ \{\sum_{j个 = 第页 + 1}^{\infty} {(β^{(j个)})}^{2}\} \sum_{j个 = 第页 + 1}^{\infty} {\{{(x个 - \bar{X（X）})}^{(j个)}\}}^{2},

(4.3)

当且仅当，对于每个j个⩾第页+1,β^(j个)是的常数倍数 ${(x个 - \bar{X（X）})}^{(j个)}$ ⁠，常数不取决于j个尤其是在表达中保持平等(4.3)如果 $β = x个 - \bar{X（X）}$ ⁠因此，由方程式（4.2），均方误差可以假设的最大值为

MSE公司 = {c（c）}_{n个} + \sum_{j个 = 1}^{\infty} {\{{(x个 - \bar{X（X）})}^{(j个)}\}}^{2} \{{c（c）}_{n个} {\hat{ω}}_{j个}^{- 1} 我 (j个 ⩽ 第页) + {C类}^{2} 我 (j个 > 第页)\},

(4.4)

哪里c（c）_n个=n个⁻¹σ²。的右侧方程式（4.4）是唯一最小化的C类和第页，通过选择特征值的基础 ${\hat{ω}}_{j个}$ 形成一个非递增序列，或者等价地第页_j个=j个对于每个j个这建立了定理1。

值得一提的是，如果频率截止第页=第页(n个)被选择以足够慢的速度发散到∞方程（4.4）收敛为0n个→∞, 即MSE在所有选择中的最高地位β其中‖β‖⩽C类随着样本大小的增加，收敛到0。

4.2。定理2的证明

我们将处理单项展开的情况，因为这有助于确定在这种情况下关于消除偏差的断言的正确性，并且，就定理2所解决的其他问题而言，其他情况几乎相同。对于位于方程式（2.7）,

偏差 (x个) \equiv E类 {\hat{μ} (x个) ∣ X（X）} - μ (x个) = \frac{〈\hat{K（K）} (ψ_{1}), β〉}{〈\hat{K（K）} (ψ_{1}), ψ_{1}〉} 〈ψ_{1}, x个 - \bar{X（X）}〉 - 〈 β, x个 - \bar{X（X）} 〉

(4.5)

= \sum_{j个 = 1}^{\infty} \{\frac{〈ψ_{1}, x个 - \bar{X（X）}〉}{〈\hat{K（K）} (ψ_{1}), ψ_{1}〉} {\hat{θ}}_{j个} ψ_{1}^{[j个]} - {(x个 - \bar{X（X）})}^{[j个]}\} β^{[j个]},

(4.6)

哪里 $ψ_{1}^{[j个]} = 〈ψ_{1}, {\hat{ϕ}}_{j个}〉$ ⁠, ${(x个 - \bar{X（X）})}^{[j个]} = 〈x个 - \bar{X（X）}, {\hat{ϕ}}_{j个}〉$ 和 $β^{[j个]} = 〈β, {\hat{ϕ}}_{j个}〉$ ⁠.

自 ${\hat{θ}}_{j个} = 0$ 对于j个⩾n个+然后是来自β^[n个+1],β^[n个+2]，…中的系列方程式（4.6）无法通过选择删除ψ₁适当地。当且仅当 ${(x个 - \bar{X（X）})}^{[j个]}$ 等于0。相反，对于1⩽j个⩽n个中的术语β^[j个]通过选择ψ₁使得

\frac{〈ψ_{1}, x个 - \bar{X（X）}〉}{〈\hat{K（K）} (ψ_{1}), ψ_{1}〉} {\hat{θ}}_{j个} ψ_{1}^{[j个]} - {(x个 - \bar{X（X）})}^{[j个]} = 0,

即通过选择 $ψ_{1}^{[j个]}$ 与…成比例 ${\hat{θ}}_{j个}^{- 1} {(x个 - \bar{X（X）})}^{[j个]}$ ⁠.自 $ψ_{1} = Σ_{j个 ⩾ 1} ψ_{1}^{[j个]} ϕ_{j个}$ 然后，为了消除β^[j个]确切地说j个=第页₁,…,第页_第页，其中第页₁<…<第页_第页⩽n个，我们应该采取

ψ_{1} = c（c） \sum_{j个 = 1}^{第页} {\hat{θ}}_{{第页}_{j个}}^{- 1} {(x个 - \bar{X（X）})}^{[{第页}_{j个}]} {\hat{ϕ}}_{{第页}_{j个}},

其中常量c（c）应进行选择，以便‖ψ₁‖=1. 然而，在方程式（2.7）然后与基于特征向量的传统最小二乘估计相同 $ψ_{j个} = {\hat{ϕ}}_{{第页}_{j个}}$ 用于1⩽j个⩽第页.

4.3. 定理4的大纲证明

首先我们导出CV的一个展开式(第页)，定义于方程式（3.3）并基于定义对经济型leave-on-out算法进行了解释(3.6)属于 ${\hat{μ}}_{- 我}$ ⁠。请注意 ${\hat{c（c）}}_{j个, - 我}$ ⁠，于方程式（3.5），满足 ${\hat{c（c）}}_{j个, - 我} = {\hat{d日}}_{j个, - 我} + {\hat{e（电子）}}_{j个, - 我}$ 哪里

\begin{matrix} {\hat{d日}}_{j个, - 我} = \frac{1}{n个} \sum_{k个 : k个 \neq 我} 〈β, {X（X）}_{k个}〉 {({X（X）}_{k个} - \bar{X（X）})}^{[j个]}, \\ {\hat{e（电子）}}_{j个, - 我} = \frac{1}{n个} \sum_{k个 : k个 \neq 我} ε_{k个} {({X（X）}_{k个} - \bar{X（X）})}^{[j个]} . \end{matrix}

从这个属性，方程式（3.6）事实上

\begin{matrix} {Y（Y）}_{我} = α + 〈β, {X（X）}_{我}〉 + ε_{我} \\ = {\bar{Y（Y）}}_{- 我} + \sum_{j个 = 1}^{\infty} β^{[j个]} {({X（X）}_{我} - {\bar{X（X）}}_{- 我})}^{[j个]} + ε_{我} - {\bar{ε}}_{- 我}, \end{matrix}

哪里 ${\bar{X（X）}}_{- 我} = {n个}^{- 1} Σ_{k个 : k个 \neq 我} {X（X）}_{k个}$ 和 ${\bar{ε}}_{- 我} = {n个}^{- 1} Σ_{k个 : k个 \neq 我} ε_{k个}$ ⁠，我们可以推断

\begin{matrix} {Y（Y）}_{我} - {\hat{μ}}_{- 我} ({X（X）}_{我}) = \sum_{j个 = 1}^{第页} (β^{[j个]} - {\hat{θ}}_{j个}^{- 1} {\hat{d日}}_{j个, - 我}) {({X（X）}_{我} - \bar{X（X）})}^{[j个]} + \sum_{j个 = 第页 + 1}^{\infty} β^{[j个]} {({X（X）}_{我} - \bar{X（X）})}^{[j个]} \\ + ε_{我} - {\bar{ε}}_{- 我} - \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\hat{e（电子）}}_{j个, - 我} {({X（X）}_{我} - \bar{X（X）})}^{[j个]} + \sum_{j个 = 1}^{\infty} β^{[j个]} {({\bar{X（X）}}^{- {\bar{X（X）}}_{- 我}})}^{[j个]} \\ = {一个}_{我} + {n个}^{- 1} B_{我}, \end{matrix}

哪里

\begin{matrix} {一个}_{我} = ε_{我} - Δ ({X（X）}_{我}) - \frac{1}{n个} \sum_{我 = 1}^{n个} ε_{我} \{\sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} ({X（X）}_{我} - {\bar{X（X）}}^{[j个]} {({X（X）}_{我} - \bar{X（X）})}^{[j个]} + 1}, \\ B_{我} = (〈β, {X（X）}_{我}〉 + ε_{我}) \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2} + 〈β, {X（X）}_{我}〉 + ε_{我} . \end{matrix}

另请注意

|个人简历 (第页) - \frac{1}{n个} \sum_{我 = 1}^{n个} {一个}_{我}^{2} - \frac{2}{{n个}^{2}} \sum_{我 = 1}^{n个} {一个}_{我} B_{我}| ⩽ \frac{1}{{n个}^{三}} \sum_{我 = 1}^{n个} B_{我}^{2},

(4.7)

\begin{array}{l} \frac{1}{4} \sum_{我 = 1}^{n个} B_{我}^{2} ⩽ \sum_{我 = 1}^{n个} (‖ β ‖^{2} {‖{X（X）}_{我}‖}^{2} + ε_{我}^{2}) {[\sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2}]}^{2} + \sum_{我 = 1}^{n个} ε_{我}^{2} + ‖ β ‖^{2} \sum_{我 = 1}^{n个} {‖{X（X）}_{我}‖}^{2}, \\ \sum_{我 = 1}^{n个} ε_{我}^{2} + \sum_{我 = 1}^{n个} {‖{X（X）}_{我}‖}^{2} = O（运行） (n个) $ $ w个 我 t吨 小时 第页 第页 o（o） b条 一 b条 我 我 我 t吨 年 1 \end{array}

(4.8)

\sum_{我 = 1}^{n个} ε_{我}^{2} + \sum_{我 = 1}^{n个} {‖{X（X）}_{我}‖}^{2} = O（运行） (n个) 具有 可能性 1

（自E类(ɛ²)+E类(‖X（X）‖²)<∞如果C类，状况良好(3.9)，超过2），并且，自

\frac{1}{n个} \sum_{我 = 1}^{n个} {({X（X）}_{我} - \bar{X（X）})}^{[{j个}_{1}]} {({X（X）}_{我} - \bar{X（X）})}^{[{j个}_{2}]} = {\hat{θ}}_{{j个}_{1}} δ_{{j个}_{1} {j个}_{2}},

然后

\begin{array}{l} \frac{1}{‖ β ‖^{2} + 1} \sum_{我 = 1}^{n个} (‖ β ‖^{2} {‖{X（X）}_{我}‖}^{2} + ε_{我}^{2}) {[\sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2}]}^{2} \\ ⩽ \{{最大}_{1 ⩽ 我 ⩽ n个} ({‖{X（X）}_{我}‖}^{2} + ε_{我}^{2}) {‖{X（X）}_{我} - \bar{X（X）}‖}^{2}\} [\sum_{我 = 1}^{n个} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2}] \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} \\ = n个 第页 \{{最大}_{1 ⩽ 我 ⩽ n个} ({‖{X（X）}_{我}‖}^{2} + ε_{我}^{2}) {‖{X（X）}_{我} - \bar{X（X）}‖}^{2}\} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} . \end{array}

结合不等式的估计(4.8)向下我们推断，概率为1，

\sum_{我 = 1}^{n个} B_{我}^{2} = O（运行） [n个 第页 \{{最大}_{1 ⩽ 我 ⩽ n个} ({‖{X（X）}_{我}‖}^{2} + ε_{我}^{2}) {‖{X（X）}_{我} - \bar{X（X）}‖}^{2}\} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1}],

(4.9)

在中一致第页.

写入

\begin{matrix} \sum_{我 = 1}^{n个} {一个}_{我}^{2} = {S公司}_{1} + {S公司}_{2} + {S公司}_{三} + {S公司}_{4} + {S公司}_{5}, \\ \sum_{我 = 1}^{n个} {一个}_{我} B_{我} = {T型}_{1} + {T型}_{2} + {T型}_{三}, \end{matrix}

(4.10)

哪里

\begin{matrix} {S公司}_{1} = \sum_{我 = 1}^{n个} ε_{我}^{2}, \\ {T型}_{1} = \sum_{我 = 1}^{n个} ε_{我} (〈β, {X（X）}_{我}〉 + ε_{我}) \end{matrix}

(4.11)

不依赖第页,

{S公司}_{2} = \sum_{我 = 1}^{n个} Δ {({X（X）}_{我})}^{2},

(4.12)

{S公司}_{三} = \frac{σ^{2}}{{n个}^{2}} \sum_{我 = 1}^{n个} \sum_{我 = 1}^{n个} {\{\sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {({X（X）}_{我} - \bar{X（X）})}^{[j个]} {({X（X）}_{我} - \bar{X（X）})}^{[j个]} + 1\}}^{2} = (第页 + 1) σ^{2},

(4.13)

{S公司}_{4} = - \frac{2 σ^{2}}{n个} \sum_{我 = 1}^{n个} [\sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2} + 1] = - 2 (第页 + 1) σ^{2},

(4.14)

{T型}_{2} = σ^{2} \sum_{我 = 1}^{n个} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1} {\{{({X（X）}_{我} - \bar{X（X）})}^{[j个]}\}}^{2} = n个 第页 σ^{2},

(4.15)

和剩下的S公司₅和T型_三由表达式隐式定义(4.10).通过细分S公司₅和T型_三进一步分为六个和七个术语，并根据其优点对每一个术语进行界定，可以表明W公司=W公司(第页) =n个⁻¹S公司₅或W公司(第页) =n个⁻²T型_三，概率为1，

P（P） \{| W公司 | > ξ_{n个} MSSE公司 (第页) ∣ X（X）\} = O（运行） [ξ_{n个}^{- 2 第页} \{{最大}_{1 ⩽ 我 ⩽ n个} {(‖{X（X）}_{我} - \bar{X（X）}‖ + |ε_{我}|)}^{c（c） (第页)}\} {({第页}^{- 1 / 2} + \frac{1}{n个} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1})}^{第页}],

(4.16)

在中一致第页，对于任何正常数序列ξ_n个.（指数c（c）(第页)，位于的右侧方程式（4.16），取决于第页但不在n个或第页.）因此，通过表达式的第一部分(4.10)，和公式S公司₁,S公司₂,S公司_三,S公司₄,T型₁和T型₂在方程式（4.11）–(4.15),

\frac{1}{n个} \sum_{我 = 1}^{n个} {一个}_{我}^{2} = 条款不取决于 第页 + MSSE公司 (第页) - 2 {n个}^{- 1} (第页 + 1) σ^{2} + {W公司}_{1},

(4.17)

\frac{2}{{n个}^{2}} \sum_{我 = 1}^{n个} {一个}_{我} B_{我} = 条款不取决于 第页 + 2 {n个}^{- 1} 第页 σ^{2} + {W公司}_{2},

(4.18)

where结果（4.16）与保持W公司=W公司₁或W公司=W公司₂.组合方程式（4.7）,(4.9)和(4.16)–(4.18)我们推断

个人简历 (第页) = MSSE公司 (第页) + 条款不取决于 第页 + {W公司}_{三},

(4.19)

where结果(4.16)与保持W公司=W公司_三.

请注意

\begin{array}{l} 有可能 1 套装 P（P） 比如说，整数 第页 适用于哪种情况（3.11） \\ 最多包含个 O（运行） ({n个}^{1 - η}) 元素 . \end{array}

(4.20)

采取ξ_n个，结果是(4.16)，等于n个^−η/4，然后选择第页⩾2/η.鉴于结果(3.11),(4.16)和(4.20),

\begin{matrix} P（P） \{|{W公司}_{三} (第页)| > ξ_{n个} MSSE公司 (第页) 对一些人来说 第页 \in P（P） ∣ X（X）\} = O（运行） [(# P（P）) ξ_{n个}^{- 2 第页} \{{最大}_{1 ⩽ 我 ⩽ n个} {(‖{X（X）}_{我} - \bar{X（X）}‖ + |ε_{我}|)}^{c（c） (第页)}\} \\ \times \underset{第页 \in P（P）}{啜饮} {({第页}^{- 1 / 2} + \frac{1}{n个} \sum_{j个 = 1}^{第页} {\hat{θ}}_{j个}^{- 1})}^{第页}] \\ = O（运行） [{n个}^{1 - η} ξ_{n个}^{- 2 第页} \{{最大}_{1 ⩽ 我 ⩽ n个} {(‖{X（X）}_{我} - \bar{X（X）}‖ + |ε_{我}|)}^{c（c） (第页)}\} {n个}^{- 第页 η}] \\ = O（运行） [{n个}^{- η} \{{最大}_{1 ⩽ 我 ⩽ n个} {(‖{X（X）}_{我} - \bar{X（X）}‖ + |ε_{我}|)}^{c（c） (第页)}\}], \end{matrix}

(4.21)

概率为1。自起，按条件(3.9),E类(‖X（X）‖+|ɛ|)^C类<∞那么，如果C类>2c（c）(第页)/η,

P（P） \{{最大}_{1 ⩽ 我 ⩽ n个} {(‖{X（X）}_{我} - \bar{X（X）}‖ + |ε_{我}|)}^{c（c） (第页)} > {n个}^{η / 2}\} ⩽ n个 E类 {(‖ X（X） ‖ + | ε |)}^{C类} {n个}^{- η C类 / 2 c（c） (第页)} = O（运行） ({n个}^{- 1 - ξ}),

哪里ξ>0.因此方程式（4.21）和Borel–Cantelli引理，

\underset{第页 \in P（P）}{啜饮} \{\frac{|{W公司}_{三} (第页)|}{磁共振波谱 (第页)}\} \to 0

概率为1。这个结果和方程式（4.21）暗示结果(3.10).

工具书类

本哈伊姆

,

Z.公司。

和

艾达尔

,

Y.C.（纽约）。

(

2007

)

盲极大极小估计

.

IEEE传输。通知。理论

,

53

,

3145

–

3157

.

谷歌学者

交叉参考

书目数据库

伯杰

,

J.O.公司。

(

1976

)

具有任意二次损失的多元正态均值的可容许极小极大估计

.

安。统计师。

,

4

,

223

–

226

.

谷歌学者

OpenURL占位符文本

书目数据库

博克

,

机械工程师。

(

1975

)

多元正态分布均值的极大极小估计

.

安。统计师。

,

三

,

209

–

218

.

谷歌学者

交叉参考

书目数据库

本特

,

G.公司。

和

弗莱曼

,

R。

(

2000

)

基于核的函数主成分

.

统计师。普罗巴伯。莱特。

,

48

,

335

–

345

.

谷歌学者

交叉参考

书目数据库

博斯克

,

D。

(

2000

)

函数空间中的线性过程：理论与应用

.

莱克特。注释统计。

,

149

.

谷歌学者

OpenURL占位符文本

书目数据库

蔡

,

T.T.公司。

和

霍尔

,

第页。

(

2006

)

函数线性回归中的预测

.

安。统计师。

,

34

,

2159

–

2179

.

谷歌学者

OpenURL占位符文本

书目数据库

卡多特

,

H。

(

2000

)

采样噪声函数平滑主成分分析的非参数估计

.

J.Nonparam（非参数）。统计人员。

,

12

,

503

–

538

.

谷歌学者

交叉参考

书目数据库

卡多特

,

H。

(

2007

)

条件函数主成分分析

.

扫描。J.统计。

,

34

,

317

–

335

.

谷歌学者

交叉参考

书目数据库

卡多特

,

H。

,

费拉蒂

,

F、。

和

萨尔达

,

第页。

(

2000

)

Etude渐近d'un估计样条混合pour le modèle linéaire函数

.

C.R.学院。科学。巴黎I

,

330

,

501

–

504

.

谷歌学者

交叉参考

书目数据库

卡多特

,

H。

,

费拉蒂

,

F、。

和

萨尔达

,

第页。

(

2003

)

函数线性模型的样条估计

.

统计师。罪。

,

13

,

571

–

591

.

谷歌学者

OpenURL占位符文本

书目数据库

克里斯滕森

,

R。

(

2007

)

评论：费希尔讲座：回归中的降维

.

统计师。科学。

,

22

,

27

–

31

.

谷歌学者

OpenURL占位符文本

书目数据库

厨师

,

钢筋混凝土。

(

2007

)

Fisher讲座：回归中的降维

.

统计师。科学。

,

22

,

1

–

26

.

谷歌学者

OpenURL占位符文本

书目数据库

考克斯

,

D.右。

(

1968

)

关于回归分析某些方面的注意事项

.

J.R.统计。社会学硕士

,

131

,

265

–

279

.

谷歌学者

交叉参考

书目数据库

吉拉德

,

美国。

(

2000

)

基于流形逼近的非线性PCA

.

计算。统计人员。

,

15

,

145

–

167

.

谷歌学者

交叉参考

书目数据库

霍尔

,

第页。

和

侯赛尼·纳萨布

,

M。

(

2006

)

关于函数主成分分析的性质

.

J.R.统计。Soc.B公司

,

68

,

109

–

126

.

谷歌学者

交叉参考

书目数据库

霍尔

,

第页。

和

侯赛尼·纳萨布

,

M。

(

2009

)

函数主成分分析中的高阶界理论

.

数学。程序。外倾角。菲洛斯。Soc公司。

,

146

,

225

–

256

.

谷歌学者

交叉参考

书目数据库

霍尔

,

第页。

和

马龙

,

J.S.公司。

(

1991

)

交叉验证函数中的局部极小值

.

J.R.统计。Soc.B公司

,

53

,

245

–

252

; 修正，54(1992), 907.

谷歌学者

OpenURL占位符文本

书目数据库

霍尔

,

第页。

,

米勒

,

高-高。

和

王

,

J.-L.公司。

(

2006

)

用于函数和纵向数据分析的主成分方法的性质

.

安。统计师。

,

34

,

1493

–

1517

.

谷歌学者

OpenURL占位符文本

书目数据库

他

,

G.Z.公司。

,

米勒

,

高-高。

和

王

,

J.-L.公司。

(

2003

)

平方可积随机过程的泛函正则分析

.

J.Multiv.公司。分析。

,

85

,

54

–

77

.

谷歌学者

交叉参考

书目数据库

曲棍球

,

共和国。

(

1976

)

线性回归中变量的分析与选择

.

生物计量学

,

32

,

1

–

49

.

谷歌学者

交叉参考

书目数据库

詹姆斯

,

总经理。

,

哈斯蒂

,

T·J。

和

糖

,

C.答。

(

2000

)

稀疏函数数据的主成分模型

.

生物特征

,

87

,

587

–

602

.

谷歌学者

交叉参考

书目数据库

詹姆斯

,

西。

和

斯坦因

,

C、。

(

1961

)二次损失估算。在

程序。伯克利第四交响乐团。数理统计与概率

（编辑）。

J。

内曼

)，卷。

1

，第页。

311

–

319

.

伯克利

:

加利福尼亚大学出版社

.

肯德尔

,

M.G.公司。

(

1957

)

多元分析课程

.

伦敦

:

格里芬

.

膝盖

,

答：。

和

尤蒂卡尔

,

K·J。

(

2001

)

用函数主成分分析推断密度族

.

美国统计学杂志。助理。

,

96

,

519

–

532

.

谷歌学者

交叉参考

书目数据库

锂

,

B。

(

2007

)

评论：Fisher讲座：回归中的降维

.

统计师。科学。

,

22

,

32

–

35

.

谷歌学者

交叉参考

书目数据库

锂

,

L。

和

纳赫特海姆

,

C.J.公司。

(

2007

)

评论：费希尔讲座：回归中的降维

.

统计师。科学。

,

22

,

36

–

39

.

谷歌学者

交叉参考

书目数据库

丸山

,

年。

(

1998

)

多元正态均值的一类统一的可容许极大极小估计

.

J.Multiv.公司。分析。

,

64

,

196

–

205

.

谷歌学者

交叉参考

书目数据库

莫斯特勒

,

F、。

和

Tukey公司

,

J·W·。

(

1977

)

数据分析与回归：统计学第二课程

.

阅读

:

出版商

.

斯珀雷尔

,

D.J.博士。

(

1963

)

主成分的一些冶金应用

.

申请。统计人员。

,

12

,

180

–

188

.

谷歌学者

交叉参考

书目数据库

山西

,

年。

和

田中

,

年。

(

2005

)

函数主成分分析中的灵敏度分析

.

计算。统计人员。

,

20

,

311

–

326

.

谷歌学者

交叉参考

书目数据库

姚明

,

F、。

和

李

,

总成本管理。

(

2006

)

函数主成分分析的惩罚样条模型

.

J.R.统计。Soc.B公司

,

68

,

三

–

25

.

谷歌学者

交叉参考

书目数据库

本文根据牛津大学出版社标准期刊出版模式的条款出版和发行(https://academic.oup.com/journals/pages/open_access/funder_policies/chorus/standard_publication_model)

下载所有幻灯片

月份：	总浏览次数：
2023年3月	9
2023年5月	2
2023年7月	1
2023年8月	4
2023年9月	三
2023年10月	6
2023年11月	8
2023年12月	26
2024年1月	11
2024年2月	14
2024年3月	7
2024年4月	6

文章内容

多元或函数数据线性预测中组件的排序和选择

总结

1.简介

1.1. 一般多元问题中的主成分

1.2. 关于如何选择组件的不同观点

1.3。量化

2.方法

2.1、。前期工作

2.2. 基于序列重新排序的估计 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$

2.3. 基于替代基础的估算

3.频率截止的交叉验证选择

3.1. 模型和方法

3.2. 理论性质

3.3. 数值特性

4.技术论证

4.1. 定理1的证明

4.2。定理2的证明

4.3. 定理4的大纲证明

工具书类

引文

意见

海拔高度

电子邮件警报

通过引用文章

最新的

阅读次数最多

被引用次数最多

文章内容

多元或函数数据线性预测中组件的排序和选择

总结

1.简介

1.1. 一般多元问题中的主成分

1.2. 关于如何选择组件的不同观点

1.3。量化

2.方法

2.1、。前期工作

2.2. 基于序列重新排序的估计ϕ^1,ϕ^2,…

2.3. 基于替代基础的估算

3.频率截止的交叉验证选择

3.1. 模型和方法

3.2. 理论性质

3.3. 数值特性

4.技术论证

4.1. 定理1的证明

4.2。定理2的证明

4.3. 定理4的大纲证明

工具书类

引文

意见

海拔高度

电子邮件警报

通过引用文章

最新的

阅读次数最多

被引用次数最多

此功能仅对订阅服务器可用

2.2. 基于序列重新排序的估计 ${\hat{ϕ}}_{1}, {\hat{ϕ}}_{2}, \dots$