×

高斯回归的聚合。 (英语) Zbl 1209.62065号

摘要:本文研究回归环境下的统计聚合过程。一个激励因素是存在许多不同的估计方法,导致可能存在相互竞争的估计者。这里我们考虑三种不同类型的聚合:模型选择(MS)聚合、凸(C)聚合和线性(L)聚合。(MS)的目标是从列表中选择最佳的单一估计器;(C)的方法是选择给定估计量的最优凸组合;(L)的方法是选择给定估计量的最佳线性组合。我们有兴趣评估通过这些程序获得的估值器的超额风险的收敛速度。我们的方法是由最近发布的minimax结果驱动的[A.内米洛夫斯基,莱克特。数学笔记。1738, 85–277 (2000;Zbl 0998.62033号);A.B.茨巴科夫,莱克特。注释计算。科学。2777, 303–313 (2003;Zbl 1208.62073号)]。对于(MS)、(C)和(L)三种情况,存在分别实现最优收敛速度的竞争聚合过程。由于这些程序彼此之间没有直接的可比性,我们建议另一种解决方案。我们证明,所有三个最优速率,以及新引入的(S)聚合(子集选择)的速率,几乎都是通过一个“通用”聚合过程实现的。该过程包括将初始估计值与通过惩罚最小二乘法获得的权重混合。考虑了两种不同的惩罚:一种是BIC类型,另一种是数据依赖型惩罚。

MSC公司:

62G08号 非参数回归和分位数回归
62C20个 统计决策理论中的Minimax过程
62G05型 非参数估计
6220国集团 非参数推理的渐近性质

软件:

PDCO公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Akaike,H.(1974年)。统计模型识别的新视角。IEEE传输。自动化。控制19 716–723·兹伯利0314.62039 ·doi:10.1109/TAC.1974.1100705
[2] Antoniadis,A.和Fan,J.(2001)。小波近似的正则化(讨论)。J.Amer。统计师。协会96 939–967。JSTOR公司:·Zbl 1072.62561号 ·doi:10.1198/016214501753208942
[3] Audibert,J.-Y.(2004)。最小二乘回归的聚合估计量和经验复杂性。Ann.Inst.H.PoincaréProbab公司。统计师。40 685–736. ·Zbl 1052.62037号 ·doi:10.1016/j.anihpb.2003.11.006
[4] Baraud,Y.(2000)。固定设计回归的模型选择。普罗巴伯。理论相关领域117 467–493·兹比尔0997.62027 ·doi:10.1007/s004400000058
[5] Baraud,Y.(2002)。随机设计回归的模型选择。ESAIM概率。统计师。6 127–146. ·Zbl 1059.62038号 ·doi:10.1051/ps:2002007年
[6] Barron,A.R.(1993)。sigmoid函数叠加的通用近似界。IEEE传输。通知。理论39 930–945·Zbl 0818.68126号 ·doi:10.1109/18.256500
[7] Barron,A.、Birgé,L.和Massart,P.(1999)。通过惩罚选择模型的风险边界。普罗巴伯。理论相关领域113 301–413·Zbl 0946.62036号 ·doi:10.1007/s004400050210
[8] Bartlett,P.L.、Boucheron,S.和Lugosi,G.(2000)。模型选择和误差估计。程序中。第十三届计算学习理论年会286-297。Morgan Kaufmann,旧金山。
[9] Birgé,L.(2006年)。通过测试选择模型:(惩罚的)最大似然估计的替代方法。Ann.Inst.H.PoincaréProbab公司。统计师。42 273–325. ·Zbl 1333.62094号 ·doi:10.1016/j.anihpb.2005.04.004
[10] Birgé,L.和Massart,P.(2001)。高斯模型选择。《欧洲数学杂志》。Soc.3 203-268号·Zbl 1037.62001 ·doi:10.1007/s100970100031
[11] Birgé,L.和Massart,P.(2001)。高斯模型选择的广义C_p准则。公共出版物647,巴黎大学概率与模型实验室,巴黎第6和第7大学。网址:www.prop.jussieu.fr/mathdoc/preprints/index.html#2001·Zbl 1037.62001 ·doi:10.1007/s100970100031
[12] Bunea,F.(2004)。半参数回归中一致的协变量选择和模型后选择推断。安。统计师。32 898–927. ·Zbl 1092.62045号 ·doi:10.1214/09053604000000247
[13] Bunea,F.和Nobel,A.B.(2005)。聚合条件平均数的任意估计数的顺序过程。佛罗里达州立大学统计系M984技术报告·Zbl 1329.62359号
[14] Bunea,F.、Tsybakov,A.和Wegkamp,M.H.(2004)。用于回归学习的聚合。网址:www.arxiv.org/abs/math/0410214。公共出版物948,巴黎大学概率与模型实验室,巴黎第6大学和巴黎第7大学。网址:hal.ccsd.cnrs.fr/ccsd-00003205。
[15] Catoni,O.(2004)。统计学习理论与随机优化。2001年《圣弗洛尔概率》(Ele d’Etéde Probabilités de Saint-Flour)。数学课堂笔记。1851 . 柏林施普林格·Zbl 1076.93002号 ·doi:10.1007/b99352
[16] Cavalier,L.、Golubev,G.K.、Picard,D.和Tsybakov,A.B.(2002年)。Oracle不等式用于反问题。安。统计师。30 843–874. ·Zbl 1029.62032号 ·doi:10.1214/aos/1028674843
[17] Chen,S.、Donoho,D.和Saunders,M.(2001)。通过基追踪进行原子分解。SIAM版本43 129–159。JSTOR公司:·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X
[18] Devroye,L.、Györfi,L.和Lugosi,G.(1996)。模式识别的概率理论。纽约州施普林格·Zbl 0853.68150号
[19] Donoho,D.L.、Elad,M.和Temlyakov,V.(2006年)。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52 6–18·Zbl 1288.94017号 ·doi:10.1109/TIT.2005.860430
[20] Efron,B.、Hastie,T.、Johnstone,I.和Tibshirani,R.(2004)。最小角度回归(讨论)。安。统计师。32 407–499. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[21] Foster,D.和George,E.(1994年)。多元回归的风险通货膨胀标准。安。统计师。22 1947–1975. ·兹伯利0829.62066 ·doi:10.1214/aos/1176325766
[22] Gilbert,E.N.(1952年)。信号字母的比较。贝尔系统技术杂志31 504–522。
[23] Györfi,L.、Kohler,M.、Krzyżak,A.和Walk,H.(2002)。非参数回归的无分布理论。纽约州施普林格·Zbl 1021.62024号
[24] Härdle,W.、Kerkyacharian,G.、Picard,D.和Tsybakov,A.(1998年)。小波,近似和统计应用。统计中的课堂笔记。129 . 纽约州施普林格·Zbl 0899.62002号
[25] Juditsky,A.、Nazin,A.、Tsybakov,A.和Vayatis,N.(2005年)。用带平均值的镜像下降法对估计量进行递归聚合。问题通知。变速器41 368–384·Zbl 1123.62044号 ·doi:10.1007/s11122-006-0005-2
[26] Juditsky,A.和Nemirovski,A.(2000)。非参数回归的函数聚集。安。统计师。28 681–712. ·Zbl 1105.62338号 ·doi:10.1214/aos/1015951994
[27] Juditsky,A.、Rigollet,P.和Tsybakov,A.(2005)。通过镜像平均学习。巴黎第6大学和第7大学概率实验室公共出版物。网址为hal.ccsd.cnrs.fr/ccsd-00014097·Zbl 1274.62288号
[28] Kneip,A.(1994年)。有序线性平滑器。安。统计师。22 835–866. ·Zbl 0815.62022号 ·doi:10.1214/aos/1176325498
[29] Koltchinskii,V.(2006年)。风险最小化中的局部Rademacher复杂性和oracle不等式(附讨论)。安。统计师。34 2593–2706·Zbl 1118.62065号 ·doi:10.1214/009053606000001019
[30] Leung,G.和Barron,A.R.(2006年)。信息理论和混合最小二乘回归。IEEE传输。通知。理论52 3396–3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172
[31] Loubes,J.-M.和van de Geer,S.A.(2002年)。具有软阈值惩罚的自适应估计。统计师。尼尔兰迪卡56 454–479·Zbl 1090.62534号 ·doi:10.1111/1467-9574.00212
[32] Lugosi,G.和Nobel,A.(1999)。使用经验复杂性进行自适应模型选择。安。统计师。27 1830–1864. ·Zbl 0962.62034号 ·doi:10.1214/aos/1017939241
[33] 马洛斯,C.L.(1973年)。关于\(C_P\)的一些注释。技术指标15 661–675·Zbl 0269.62061号 ·doi:10.2307/1267380
[34] Nemirovski,A.(2000年)。非参数统计主题。概率论和统计学讲座(圣弗洛尔,1998年)。数学课堂笔记。1738 85–277. 柏林施普林格·兹比尔0998.62033
[35] Osborne,M.、Presnell,B.和Turlach,B.(2000)。关于LASSO及其对偶。J.计算。图表。统计师。9 319–337. JSTOR公司:·数字对象标识代码:10.2307/1390657
[36] Rao,C.R.和Wu,Y.(2001)。关于模型选择(讨论)。模型选择(P.Lahiri,ed.)1-64。俄亥俄州比奇伍德IMS。 ·doi:10.1214/lnms/1215540960
[37] Schapire,R.E.(1990)。弱可学性的力量。机器学习5 197–227·Zbl 1142.62372号
[38] Schwarz,G.(1978年)。估算模型的维度。安。统计师。6 461–464. ·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136
[39] Tibshirani,R.(1996)。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58 267–288。JSTOR公司:·Zbl 0850.62538号
[40] Tsybakov,A.B.(2003年)。最佳聚合速率。学习理论和核心机器。人工智能课堂讲稿2777 303–313。海德堡施普林格·Zbl 1208.62073号
[41] Tsybakov,A.B.(2004)。非参数估算简介。柏林施普林格·Zbl 1029.62034号
[42] Wegkamp,M.H.(2003)。非参数回归中的模型选择。安。统计师。31 252–273. ·Zbl 1019.62037号 ·doi:10.1214/aos/1046294464
[43] Yang,Y.(2000)。结合不同的程序进行自适应回归。《多元分析杂志》。74 135–161. ·兹比尔0964.62032 ·doi:10.1006/jmva.1999.1884
[44] Yang,Y.(2001)。混合自适应回归。J.Amer。统计师。协会96 574–588。JSTOR公司:·Zbl 1018.62033号 ·doi:10.1198/016214501753168262
[45] Yang,Y.(2004)。聚合回归过程以提高性能。伯努利10 25–47·Zbl 1040.62030 ·doi:10.3150/bj/1077544602
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。