×
戴、董;菲利普·里戈莱特;夏，露西;张彤

仿射估计的聚合。 （英语） Zbl 1348.62132号

电子。J.统计。 8，第1期，302-327（2014）.
摘要：我们考虑固定设计回归的仿射估计的一般集合的聚合问题。相关的例子包括一些常用的统计估计量，如最小二乘、岭和鲁棒最小二乘估计量。A.S.达拉利安和J.三文鱼【Ann.Stat.40，No.4，2327–2355（2012年；Zbl 1257.62038号)]已经确定，对于这个问题，指数加权（EW）模型选择聚合会导致预期中的尖锐预言不等式，但以前不知道偏差的类似界限。结果[作者，Ann.Stat.40，No.3，1878-1905（2012；Zbl 1257.62037号)]指出相同的聚合方案可能不满足高概率的尖锐oracle不等式，我们证明了一个较弱的关于EW的oracle不等式的概念在高概率下成立。此外，利用新引入的Q-聚合方案的推广，我们还证明了具有高概率的尖锐预言不等式。最后，我们将我们的结果应用于泛聚合，并表明我们提出的估计同时导致所有已知的聚合界，包括高概率的（ell_q）-聚合，（q\in（0,1））。

引用于6文件

MSC公司：

62G08号 非参数回归和分位数回归
62C20个 统计决策理论中的Minimax过程
62G05型 非参数估计
6220国集团 非参数推理的渐近性质

关键词：

聚合;仿射估计;高斯平均值;oracle不等式;莫里的论点

引文：

Zbl 1257.62038号;Zbl 1257.62037号
PDF格式BibTeX公司 XML格式引用
\textit{D.Dai}等人，《电子》。J.Stat.8，第1号，302-327（2014；Zbl 1348.62132）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Pierre Alquier和Karim Lounici，指数权重稀疏回归估计的PAC-Baysian界，Electron。《美国联邦法律大全》第5卷（2011年），第127-145页·Zbl 1274.62463号 ·doi:10.1214/11-EJS601
[2] Jean-Yves Audibert，渐进混合规则是偏差次优的，《神经信息处理系统的进展》20（J.C.Platt、D.Koller、Y.Singer和S.Roweis编辑），麻省理工学院出版社，马萨诸塞州剑桥，2008年，第41-48页。
[3] Peter J.Bickel、Ya’acov Ritov和Alexandre B.Tsybakov，《拉索和丹齐格选择器的同步分析》，Ann.统计师。37（2009），第4期，1705-1732·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[4] Florentina Bunea、Alexandre B.Tsybakov和Marten H.Wegkamp，Lasso的稀疏预言不等式，电子。J.Stat.1（2007），169-194（电子版）·Zbl 1146.62028号 ·doi:10.1214/07-EJS008
[5] O.Catoni，具有精确偏差边界的通用聚合规则，技术报告，《概率与模型实验室》，预印本510，1999年。
[6] Olivier Catoni，《统计学习理论和随机优化》，《数学课堂讲稿》，第1851卷，Springer-Verlag，柏林，2004年，2001年7月8日至25日在圣弗洛尔举行的第31届概率论暑期学校的课堂讲稿·兹比尔1076.93002
[7] Arthur Cohen，平均向量的所有可容许线性估计，Ann.Math。统计师。37 (1966), 458-463. ·Zbl 0146.40201号 ·doi:10.1214/aoms/1177699528
[8] L.Cavalier和A.B.Tsybakov，Penalized blockwise Stein方法，单调预言和尖锐自适应估计，数学。方法统计。10（2001），第3期，247-282，《数理统计会议》（马赛，2000年）·Zbl 1005.62027号
[9] 戴冬，菲利普·里格利特，张彤，利用贪婪（Q\）-聚合的偏差最优学习，《统计年鉴》。40（2012），第3期，1878-1905·Zbl 1257.62037号 ·doi:10.1214/12-AOS1025
[10] Arnak S.Dallalyan和Joseph Salmon，仿射估计集合的Sharp oracle不等式，Ann.Statist。40（2012），第4期，2327-2355·Zbl 1257.62038号 ·doi:10.1214/12-AOS1038
[11] Arnak S.Dallalyan和Alexandre B.Tsybakov，指数加权聚合和尖锐的预言不等式，学习理论，计算机课堂讲稿。科学。，第4539卷，施普林格，柏林，2007年，第97-111页·Zbl 1203.62063号 ·doi:10.1007/978-3-540-72927-39
[12] A.Dalalyan和A.B.Tsybakov，指数加权聚合，PAC-bayesian边界和稀疏性，机器学习72（2008），第1期，39-61。
[13] Simon Foucart、Alain Pajor、Holger Rauhut和Tino Ullrich，《（0&lt；p\leq 1）球的盖尔芬德宽度》，《复杂性杂志》26（2010），第6期，629-640·Zbl 1204.41019号 ·doi:10.1016/j.jco.2010.04.004
[14] Christophe Giraud，《方差未知时的混合最小二乘估计量》，Bernoulli 14（2008），第4期，1089-1107·Zbl 1168.62327号 ·doi:10.3150/08-BEJ135
[15] G.K.Golubev和M.Nussbaum，非参数回归模型中的自适应样条估计，Teor。Veroyatnost公司。i Primenen公司。37（1992），第3期，554-561·兹比尔0776.62037
[16] Marvin H.J.Gruber，《通过收缩提高效率》，《统计学：教科书和专著》，第156卷，Marcel Dekker Inc.，纽约，1998年，《James-Stein和岭回归估计量》·Zbl 0920.62085号
[17] Anatoli Juditsky和Arkadii Nemirovski，非参数回归的函数聚集，《统计年鉴》。28（2000），第3期，681-712·Zbl 1105.62338号 ·doi:10.1214/aos/1015951994
[18] Iain M.Johnstone，《高斯估计：序列和小波模型》，未出版手稿。，2011年12月。
[19] Gilbert Leung和A.R.Barron，《信息论与混合最小二乘回归》，《信息理论》，IEEE汇刊52期（2006年），第8期，3396-3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172
[20] Guillaume Lecué，低噪声假设下分类的最佳聚集率，Bernoulli 13（2007），第4期，1000-1022·Zbl 1129.62060号 ·doi:10.3150/07-BEJ6044
[21] B.Laurent和P.Massart，通过模型选择对二次函数的自适应估计，Ann.Statist。28（2000），第5期，1302-1338·Zbl 1105.62328号 ·doi:10.1214/aos/1015957395
[22] Guillaume Lecué和Shahar Mendelson，通过经验风险最小化进行聚合，Probab。理论相关领域145（2009），第3-4期，591-613页·Zbl 1206.62094号 ·doi:10.1007/s00440-008-0180-8
[23] 具有次指数包络的类的一般非精确预言不等式，Ann.Statist。40（2012），第2832-860号·Zbl 1274.62247号 ·doi:10.1214/11-AOS965
[24] Karim Lounici，广义镜像平均和（D）-凸聚合，数学。方法统计。16（2007），第3期，246-259·Zbl 1231.62046号 ·doi:10.3103/S1066530707030040
[25] 纪尧姆·勒奎（Guillaume Lecué）和菲利普·里格利特（Philippe Rigollet），《使用（q）-聚合实现最佳学习》，《统计年鉴》。42（2014），第1期，211-224·Zbl 1286.68255号 ·doi:10.1214/13-AOS1190
[26] Arkadi Nemirovski，非参数统计专题，概率论和统计学讲座（Saint-Flour，1998），数学课堂笔记。，第1738卷，施普林格，柏林，2000年，第85-277页·Zbl 0998.62033号 ·doi:10.1007/BFb0106703
[27] M.S.Pinsker，高斯噪声中平方可积信号的最优滤波，问题。信息传输。（俄语）16（1980），第2期，第52-68页·Zbl 0452.94003号
[28] G.Pisier，Remarques sur un résultat non-publiéde B.Maurey，功能分析研讨会，1980-1981年，埃科尔理工大学。，Palaiseau，1981年，第五期实验，第13页·Zbl 0491.46017号
[29] Philippe Rigollet，Kullback-Leibler聚合和指定错误的广义线性模型，Ann.Statist。40（2012），编号2639-665·Zbl 1274.62298号 ·doi:10.1214/11-AOS961
[30] Rigollet博士和A.B.Tsybakov，密度估计的线性和凸聚合，数学。方法统计。16（2007），第3期，260-280·Zbl 1231.62057号 ·doi:10.3103/S1066530707030052
[31] P.Rigollet和A.Tsybakov，指数筛选和稀疏估计的最佳速率，Ann.Statist。39（2011），第2期，731-771·Zbl 1215.62043号 ·doi:10.1214/10-AOS854
[32] 指数加权稀疏估计，《统计科学》27（2012），第4期，558-575·Zbl 1331.62351号 ·doi:10.1214/12-STS393
[33] Garvesh Raskutti、Martin J.Wainwright和Bin Yu，球上高维线性回归的Minimax估计率，IEEE Trans。通知。理论57（2011），第10期，6976-6994·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799
[34] 查尔斯·斯坦因（Charles Stein），多元正态分布平均值常用估计的不可接受性，《第三届伯克利数理统计与概率研讨会论文集》（the Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability），1954-1955年，第一卷（Berkeley and Los Angeles），加利福尼亚大学出版社，1956年，第197-206页·Zbl 0073.35602号
[35] A.B.Tsybakov，最佳聚集率，COLT，2003年，第303-313页·Zbl 1208.62073号 ·doi:10.1007/b12006年
[36] Alexandre B.Tsybakov，《非参数估计导论》，《统计学中的Springer系列》，Springer出版社，纽约，2009年，从2004年的法语原文开始修订和扩展，Vladimir Zaiats翻译·Zbl 1176.62032号
[37] Zhan Wang、Sandra Paterlini、Frank Gao和Yuhong Yang，稀疏壳上的自适应极小极大估计，Arxiv:1108.1961（2011）·Zbl 1319.62016号
[38] 杨毅，非参数回归的模型选择，《统计学》1999年第9期，第475-500页·Zbl 0921.62051号
[39] 杨玉红，提高绩效的聚合回归程序，伯努利10（2004），第1期，25-47·兹比尔1040.62030 ·doi:10.3150/bj/1077544602
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。