×

无限维Hilbert空间中岭回归的混合正则化和可容许性。 (英语) Zbl 1466.62275号

摘要:我们考虑了一个带有标量响应和函数协变量的函数回归中斜率函数的估计问题。众所周知,功能数据分析的这个中心问题是不存在的,因此需要一个规范的估计程序。两种最常用的方法是基于经验协方差算子的谱截断或Tikhonov正则化。原则上,蒂霍诺夫监管是更规范的选择。与谱截断相比,它对特征值关系具有鲁棒性,同时在均方意义上,而不仅仅是在集中概率意义上,它获得了最佳的最小最大收敛速度。在本文中,我们证明,令人惊讶的是,人们可以通过线性估计严格改进有限样本中Tikhonov估计的性能,同时通过将其与一种形式的谱截断相结合来保持其稳定性和渐近性。具体来说,我们构造了一个估计量通过将函数协变量投影到由函数PCA定义的两个正交子空间上,对函数协变量进行分解;然后对一个组件应用Tikhonov规则化,而对另一个组件不进行规则化。我们证明,当协变量为高斯时,该混合估计在非渐近意义上均匀地改进了Tikhonov估计的MSE,有效地使其不可接受。在协变量函数的离散观测下,这种控制也被证明是持续存在的。混合估计器是线性的,在实践中构造简单,与标准正则化方法相比没有计算开销。通过模拟,表明即使样本大小适中,也能提供相当大的收益。

MSC公司:

62G05型 非参数估计
60B11号机组 线性拓扑空间的概率论
62H25个 因子分析和主成分;对应分析
2007年6月62日 岭回归;收缩估计器(拉索)

软件:

fda(右)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Alquier,P.、Gautier,E.和Stoltz,G.编辑(2011年)。反问题和高维估计。统计学课堂讲稿-进展203。海德堡:施普林格。2009年8月31日至9月4日,在Jouy-en-Josas举办的“Cháteau统计”暑期学校的课堂讲稿·Zbl 1218.6202号
[2] Amini,A.A.和Wainwright,M.J.(2012年)。再生核Hilbert空间中函数PCA的抽样形式。Ann.Statist.40 2483-2510·Zbl 1373.62289号
[3] Bai,Z.和Saranadasa,H.(1996)。高维的影响:通过一个两样本问题的例子。统计人员。中国6 311-329·兹比尔0848.62030
[4] Cai,T.T.和Hall,P.(2006)。函数线性回归中的预测。统计年鉴34 2159-2179·Zbl 1106.62036号 ·doi:10.1214/009053600000830
[5] Cai,T.T.和Yuan,M.(2011)。基于离散采样函数数据的平均函数的最佳估计:相变。统计年鉴39 2330-2355·Zbl 1231.62040号
[6] Cardot,H.、Ferraty,F.和Sarda,P.(2003)。函数线性模型的样条估计。统计人员。Sinica13 571-591·Zbl 1050.62041号
[7] Cardot,H.和Johannes,J.(2010年)。函数线性模型中的阈值投影估计。《多元分析杂志》101 395-408·Zbl 1178.62032号
[8] Cardot,H.、Mas,A.和Sarda,P.(2007年)。函数线性回归模型中的CLT。普罗巴伯。理论相关领域138 325-361·Zbl 1113.60025号
[9] Cardot,H.和Sarda,P.(2006年)。功能数据的线性回归模型。《半参数学的艺术》。Contrib.统计。49-66. 海德堡:Physica Verlag/Springer·Zbl 1271.62145号
[10] Chakraborty,A.和Panaretos,V.M.(2019年)。补充“无限维希尔伯特空间中岭回归的混合正则化和(in)可容许性”。DOI:10.3150/18-BEJ1041供应·Zbl 1466.62275号
[11] Chen,S.X.和Qin,Y.-L.(2010)。高维数据的双样本测试及其在基因测试中的应用。统计年鉴38 808-835·Zbl 1183.62095号
[12] Comte,F.和Johannes,J.(2012年)。自适应函数线性回归。美国国家统计局40 2765-2797·Zbl 1373.62350号
[13] Conway,J.B.(1978年)。一个复变量的函数,第二版,数学研究生教材11。纽约:斯普林格。
[14] Crambes,C.、Kneip,A.和Sarda,P.(2009年)。函数线性回归的平滑样条估计。统计年鉴37 35-72·Zbl 1169.62027号
[15] Cuevas,A.、Febrero,M.和Fraiman,R.(2002)。线性函数回归:固定设计和功能响应的情况。加拿大。J.统计30 285-300·Zbl 1012.62039号
[16] Ferraty,F.和Vieu,P.(2000年)。维数分形与回归估计(des espaces vectorriels semi范数)。C.R.学院。科学。巴黎。I数学330 139-142·Zbl 0942.62045号
[17] Grenander,U.(1981)。抽象推理。概率与数理统计中的威利级数。纽约:威利·Zbl 0505.62069号
[18] Hall,P.和Horowitz,J.L.(2007年)。函数线性回归的方法和收敛速度。统计年鉴35 70-91·Zbl 1114.62048号
[19] Hall,P.和Hosseini Nasab,M.(2006年)。关于函数主成分分析的性质。J.R.统计社会服务。B.统计方法68 109-126·Zbl 1141.62048号
[20] Hocking,R.R.(2003)。线性模型的方法和应用:回归和方差分析,第2版,《概率统计中的威利级数》。新泽西州霍博肯:威利·Zbl 1038.62059号
[21] A.E.Hoerl和R.W.Kennard(1970年)。岭回归:非正交问题的有偏估计。技术计量12 55-67。内政部:10.2307/1267351·Zbl 0202.17205号
[22] Horváth,L.和Kokoszka,P.(2012)。函数数据推理及其应用。统计学中的斯普林格系列。纽约:斯普林格·Zbl 1279.62017号
[23] Xing,T.和Eubank,R.(2015)。函数数据分析的理论基础,线性算子简介。概率与统计学中的威利级数。奇切斯特:威利·Zbl 1338.62009号
[24] Jolliffe,I.T.(2002年)。主成分分析,第二版,《统计学中的斯普林格系列》。纽约:斯普林格·Zbl 1011.62064号
[25] Li,Y.和Hsing,T.(2007)。关于函数线性回归的收敛速度。《多元分析杂志》98 1782-1804·Zbl 1130.62035号
[26] Lukas,M.A.(1993年)。选择正则化参数的广义交叉验证的渐近最优性。数字。数学66 41-66·Zbl 0791.65037号
[27] Lukas,M.A.(2006年)。稳健广义交叉验证用于选择正则化参数。逆问题22 1883-1902·Zbl 1104.62032号
[28] Marx,B.D.和Eilers,P.H.(1999)。采样信号和曲线的广义线性回归:P样条方法。技术计量41 1-13。
[29] Meister,A.(2009年)。非参数统计中的反褶积问题。统计学课堂笔记193。柏林:斯普林格·Zbl 1178.62028号
[30] Ramsay,J.O.和Dalzell,C.J.(1991年)。一些用于功能数据分析的工具。J.罗伊。统计人员。Soc.序列号。B53 539-572。经过讨论和作者的回复·兹比尔0800.62314
[31] Ramsay,J.O.和Silverman,B.W.(2005)。功能数据分析,第二版,《统计学中的斯普林格系列》。纽约:斯普林格·Zbl 1079.62006号
[32] Shao,P.Y.-S.和Strawderman,W.E.(1994年)。James-Stein正部分估计量的改进。《统计年鉴》,第22卷,1517-1538页·Zbl 0820.62051号
[33] Theobald,C.M.(1974)。均方误差的推广应用于岭回归。J.罗伊。统计人员。Soc.序列号。B36 103-106·Zbl 0282.62055号
[34] Tikhonov,A.N.和Arsenin,V.Y.(1977年)。不良问题的解决方案。数学脚本系列。华盛顿特区:威利,纽约:V.H.Winston&Sons。翻译自俄语;翻译编辑弗里茨·约翰为序·Zbl 0354.65028号
[35] Utreras,F.I.(1987年)。多元光滑样条函数的广义交叉验证。SIAM J.科学。统计人员。计算8 630-643·Zbl 0622.65008号
[36] Wahba,G.(1990年)。观测数据的样条模型。CBMS-NSF应用数学区域会议系列59。宾夕法尼亚州费城:工业和应用数学学会(SIAM)·Zbl 0813.62001号
[37] Yao,F.、Müller,H.-G.和Wang,J.-L.(2005)。纵向数据的函数线性回归分析。统计年鉴33 2873-2903·Zbl 1084.62096号
[38] Yuan,M.和Cai,T.T.(2010)。函数线性回归的再生核Hilbert空间方法。统计年鉴38 3412-3444·兹比尔1204.62074
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。