×

模型选择的统计估计。 (英语) Zbl 1125.62031号

摘要:本文的目的是解释统计中(近似)模型和模型选择的兴趣和重要性。从直方图的基本示例开始,我们提出了用于统计估计的有限维模型的一般概念,并解释了使用这种模型可以预期的风险边界类型。然后,我们给出了一系列此类模型中合适的模型选择过程的性能。我们通过两个主要的例子来说明我们的观点:从样本中设计直方图的分区的选择和高斯回归中的变量选择问题。

MSC公司:

62G07年 密度估算
62A01型 统计学基础和哲学主题
2012年12月62日 参数估计量的渐近性质
6220国集团 非参数推理的渐近性质
62J05型 线性回归;混合模型
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿苏阿德,P.,Deux remarques sur l’estimafion,C.R.Acad。科学。巴黎。我数学。,296, 1021-1024 (1983) ·Zbl 0568.62003年
[2] Barron,A.R。;Birgé,L。;Massart,P.,通过惩罚选择模型的风险边界,Probab。理论相关领域,113301-415(1999)·兹比尔0946.62036
[3] Barron,A.R。;Cover,T.M.,最小复杂度密度估计,IEEE Trans。通知。理论,371034-1054(1991)·Zbl 0743.62003号
[4] Birgé,L.,《近似飞镖法》(Approximation darts les espaces métriques et theéorie de L’estimation),Z.Wahrsch。神韵。Gebiete,65,181-237(1983)·Zbl 0506.62026号
[5] Birgé,L.,Stabilitéet instabilitédu risque minimax pourdes variables indépendanteséquidistribués,Ann.Inst.H.PoincaréSect。B、 201-223(1984)年20月20日·Zbl 0542.62018号
[6] Birgé,L.,关于使用Hellinger距离和其他一些奇怪的约定估计密度,Probab。理论相关领域,71,271-291(1986)·Zbl 0561.62029号
[7] Birgé,L.,随机设计高斯回归模型选择,Bernoulli,101039-1051(2004)·Zbl 1064.62030号
[8] Birgé,L.,《通过测试选择模型:(惩罚的)最大似然估计量的替代方法》,《Ann.Inst.H.Poincar6 Probab》。统计人员。,42, 273-425 (2006) ·Zbl 1333.62094号
[9] Birgé,L。;Massart,R.,最小对比度估计器的收敛速度,Probab。理论相关领域,97113-150(1993)·Zbl 0805.62037号
[10] Birgé,L。;Massart,P.,《从模型选择到自适应估计》(Pollard,D.;Torgersen,E.;Yang,G.,《为Lucien Le Cam:概率与统计研究论文》(1997),Springer-Verlag:Springer-Verlag New York),55-87·Zbl 0920.62042号
[11] Birgé,L。;Massart,P.,筛上的最小对比度估计量:指数界和收敛Pates,Bernoulli,4329-375(1998)·兹比尔0954.62033
[12] Birgé,L。;Massart,P.,Besov空间中的自适应压缩算法,Constr。大约,16,1-36(2000)·Zbl 1004.41006号
[13] Birgé,L。;Massart,P.,Oaussian模型选择,J.Eur.数学。Soc.,3203-268(2001)·Zbl 1037.62001
[14] Birgé,L。;Rozenhole,Y.,《在一个规则直方图中应该放多少个箱子》,ESAIM-PS,10,24-45(2006)·Zbl 1136.62329号
[15] 伯曼,M.S。;Solomjak,M.Z.,类函数的分段多项式逼近\(W_p\)马特·斯博尼克,73,295-317(1967)
[16] 布雷曼,L。;弗里德曼,J.H。;Olshen,R.A。;Stone,C.J.,《分类与回归树》(1984),Wadsworth:Wadsworth-Belmont·Zbl 0541.62042号
[17] Cencov,N.N.,从观测中评估未知分布密度,苏联数学。,3, 1559-1562 (1962) ·Zbl 0133.11801号
[18] Cramér,H.,《统计的数学方法》(1946),普林斯顿大学出版社:普林斯顿大学出版·Zbl 0063.01014号
[19] DeVore,R.A.,《非线性近似》,《数值学报》,第751-150页(1998年)·Zbl 0931.65007号
[20] DeVore,R.A。;Kerkyacharian,G。;Picard,D。;Temlyakov,V.,《监督学习的数学方法》,Found。计算。数学。,6, 348 (2006)
[21] DeVore,R.A。;Lorentz,G.G.,《构造逼近》(1993),《施普林格-弗拉格:柏林施普林格》·Zbl 0797.41016号
[22] DeVore,R.A。;Yu,X.M.,自适应逼近度,数学。公司。,55, 625-635 (1990) ·Zbl 0723.41015号
[23] Devroye,L。;Györfi,L.,非参数密度估计:L1视图(1985),威利:威利纽约·Zbl 0546.62015号
[24] Donoho,D.L。;Johnstone,I.M.,《小波收缩的理想空间自适应》,《生物统计学》,第81期,第425-455页(1994年)·Zbl 0815.62019号
[25] Donoho,D.L。;Johnstone,I.M.,《通过小波收缩适应未知平滑度》,J.Amer。统计师。协会,90,1200-1224(1995)·兹比尔0869.62024
[26] Donoho,D.L。;Johnstone,I.M.,新古典极大极小问题,阈值和自适应函数估计,Bernoulli,239-52(1996)·Zbl 0877.62035号
[27] Donoho,D.L。;Johnstone,I.M.,通过小波收缩进行Minimax估计,Ann.Statist。,1879-921(1998年)·Zbl 0935.62041号
[28] Donoho,D.L。;约翰斯通,I.M。;Kerkyacharian,G。;Picard,D.,《小波收缩:渐近?》?,J.罗伊。统计师。Soc.B,57,301-369(1995)·Zbl 0827.62035号
[29] 多诺霍,D.L。;约翰斯通,I.M。;Kerkyacharian,G。;Picard,D.,小波阈值密度估计,Ann.Statist。,24, 508-539 (1996) ·Zbl 0860.62032号
[30] Donoho,D.L。;约翰斯通,I.M。;Kerkyacharian,G。;Picard,D.,小波收缩的普遍近似极小性,(Pollard,D.;Torgersen,E.;Yang,G.,Festschfifth for Lucien Le Cam:Research Papers in Probability and Statistics(1997),Springer-Verlag:Springer-Verlag New York),183-218·Zbl 0891.62025号
[31] Fischer,R.A.,《理论统计学的数学基础》,Philos。事务处理。罗伊。Soc.伦敦Ser。A、 222309-368(1922)
[32] Fischer,R.A.,《统计估计理论》,Proc。剑桥菲洛斯。Soc,22700-725(1925年)
[33] Gey,S。;Nédélec,E.,CART回归树的模型选择,IEEE Trans。信息。理论,51,658-670(2005)·Zbl 1301.62064号
[34] Greuander,U.,抽象推理(1981),威利:威利纽约·Zbl 0505.62069号
[35] Groeneboom,P。;Wellner,J.A.,《信息界和非帕米特最大似然估计》(1992),Birkhäuser:Birkháuser Basel·Zbl 0757.62017号
[36] Györfi,L。;科勒,M。;Kryżak,A。;Walk,H.,非参数回归的无分布理论(2002),Springer:Springer纽约·Zbl 1021.62024号
[37] Hájek,J.,正则估计极限分布的特征,Z.Wahrsch。版本。Gebiete,14,323-330(1970)·Zbl 0193.18001号
[38] Hájek,J.,估计中的局部渐近极大值和可容许性,(Proc.Sixth Berkeley Symp.Math.Statist.Probab.,vol.1(1972),加州大学出版社:加州大学出版社伯克利分校),174-194·Zbl 0281.62010
[39] 伊布拉基莫夫,I.A。;Has’miuskii,R.Z.,《统计估计:渐近理论》(1981),Springer-Verlag:Springer-Verlag纽约·Zbl 0467.62026号
[40] Johnstone,I.,《函数估计和高斯序列模型》(1999),正在编写中
[41] Kerkyacharian,G。;Picard,D.,Besov空间中的密度估计,Statist。普罗巴伯。莱特。,13, 15-24 (1992) ·Zbl 0749.62026号
[42] Kerkyacharian,G。;Picard,D.,阈值算法,最大值和高度集中基,Test,9283-344(2000)·Zbl 1107.62323号
[43] 科尔莫戈罗夫,A.N。;Tikhomirov,V.M.,函数空间中集合的ε-熵和ε-容量,Amer。数学。Soc.翻译。,17, 2, 277-364 (1961)
[44] Le Cam,L.M.,《关于最大似然估计和相关Bayes估计的一些渐近性质》,加州大学出版社。统计人员。,1, 277-329 (1953) ·Zbl 0052.15404号
[45] Le Cam,L.M.,《关于用于证明最大似然估计的渐近正态性的假设》,Ann.Math。统计人员。,41, 802-828 (1970) ·Zbl 0246.62039号
[46] Le Cam,L.M.,维数限制下估计的收敛性,Ann.Statist。,1, 38-53 (1973) ·Zbl 0255.62006号
[47] Le Cam,L.M.,《关于实验渐近正态理论中的局部和全局性质》,(Purl,M.,随机过程及相关主题,第1卷(1975),学术出版社:纽约学术出版社),13-54·Zbl 0389.62011年
[48] Le Cam,L.M.,《最大可能性:简介》,国际出版社。统计师。修订版,58,153-171(1990)·Zbl 0715.62045号
[49] Le Cam,L.M。;Yang,G.L.,《统计学中的渐近:一些基本概念》(2000年),Springer-Verlag:Springer-Verlag纽约·兹比尔0952.62002
[50] Massart,P.,《浓度不等式与模型选择》,圣弗洛尔概率学院XXXII-2003,(Picard,J.,数学讲稿(2006),施普林格-弗拉格:柏林施普林格大学)·Zbl 1170.60006号
[51] Rigollet,Z。;Tsybakov,A.B.,密度估计器的线性和凸聚合,(技术报告(2005),巴黎大学VI)·Zbl 1231.62057号
[52] 沈,X。;Wong,W.H.,筛分估计的收敛速度,Ann.Statist。,22580-615(1994年)·Zbl 0805.62008号
[53] Silvernlan,B.W.,《关于用最大惩罚似然法估计概率密度函数》,Ann.Statist。,10, 795-810 (1982) ·Zbl 0492.62034号
[54] van de Geer,S.,估计回归函数,Ann.Statist。,18, 907-924 (1990) ·兹比尔0709.62040
[55] van de Geer,S.,Hellinger-某些非参数极大似然估计的一致性,Ann.Statist。,21, 14-44 (1993) ·Zbl 0779.62033号
[56] van de Geer,S.,筛分法和最小对比度估计,数学。方法统计。,4, 20-38 (1995) ·Zbl 0831.62029号
[57] van de Geer,S.,《(M)-Estimarion中的经验过程》(2000),剑桥大学出版社:剑桥大学出版社·Zbl 0953.62049号
[58] van der Vaart,A.W.,《渐近统计》(1998),剑桥大学出版社:剑桥大学出版社·Zbl 0910.62001号
[59] 范德法特(A.W.van der Vaart),《吕西安·勒坎的统计工作》(The statistic work of Lucien Le Cam),安·统计师。,30, 631-682 (2002) ·Zbl 1103.62301号
[60] 范德法特,A.W。;Wellner,J.A.,《弱收敛和经验过程及其在统计学中的应用》(1996),Springer-Verlag:Springer-Verlag纽约·Zbl 0862.60002号
[61] Wahba,G.,观测数据的样条模型(1990年),SIAM:宾夕法尼亚州费城SIAM·Zbl 0813.62001号
[62] Wald,A.,《关于最大似然估计一致性的注释》,Ann.Math。统计人员。,20, 595-601 (1949) ·Zbl 0034.22902号
[63] Wong,W.H。;Shen,X.,似然Patios的概率不等式和筛子MLE的收敛速度,Ann.Statist。,23, 339-362 (1995) ·Zbl 0829.62002号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。