×
Dalalyan，Arnak S。；约瑟夫·萨勒蒙

仿射估计集合的尖锐预言不等式。 （英语） Zbl 1257.62038号

Ann.统计。 40，第4期，2327-2355（2012）.
摘要：我们考虑在具有异方差高斯噪声的非参数回归模型中组合仿射估计集（可能是无穷多个）的问题。针对指数加权聚合，我们证明了一个可能的近似正确（PAC）-贝叶斯型不等式，该不等式在离散和连续环境中都会导致尖锐的预言不等式。该框架足够通用，可以涵盖各种程序的组合，例如最小二乘回归、核岭回归、收缩估计量和统计反问题文献中使用的许多其他估计量。因此，我们证明了所提出的聚合在精确的极小极大意义上提供了一个自适应估计，而不需要离散调整参数的范围或分裂观测集。我们还从数值上说明了指数加权聚合所取得的良好性能。

引用于1审查
引用于27文件

MSC公司：

62G08号 非参数回归和分位数回归
62C20个 统计决策理论中的Minimax过程
60埃15 不平等；随机排序
62G05型 非参数估计
6220国集团 非参数推理的渐近性质
65立方厘米60 统计中的计算问题（MSC2010）

关键词：

回归，回归；oracle不等式；型号选择；最小最大风险；指数加权聚合

软件：

美国焊接学会；国际复兴开发银行
PDF格式BibTeX公司 XML格式引用
\textit{A.S.Dallalyan}和\textit{J.Salmon}，Ann.Stat.40，No.4，2327--2355（2012；Zbl 1257.62038）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Alquier，P.和Lounici，K.（2011年）。指数权重稀疏回归估计的PAC-Bayesian界。电子。《美国联邦法律大全》第5卷第127-145页·Zbl 1274.62463号 ·doi:10.1214/11-EJS601
[2] Amit，Y.和Geman，D.（1997）。用随机树进行形状量化和识别。神经计算。9 1545-1588.
[3] Arlot，S.和Bach，F.（2009）。用最小惩罚对线性估计量进行数据驱动校准。在NIPS 46-54中。麻省理工学院出版社，温哥华。
[4] Audibert，J.-Y.（2007）。渐进混合规则的偏差次优。在NIPS 41-48中。麻省理工学院出版社，温哥华。
[5] Baraud，Y.、Giraud，C.和Huet，S.（2010年）。高斯设置中的估计器选择。未发表的手稿·Zbl 1298.62113号
[6] Barron，A.、Birgé，L.和Massart，P.（1999）。通过惩罚选择模型的风险边界。普罗巴伯。理论相关领域113 301-413·Zbl 0946.62036号 ·doi:10.1007/s004400050210
[7] Breiman，L.（1996）。装袋预测器。机器。学习。24 123-140. ·Zbl 0867.62055号 ·doi:10.1214/aos/1032181158
[8] Buades，A.、Coll，B.和Morel，J.M.（2005）。回顾了图像去噪算法，并介绍了一种新的算法。多尺度模型。模拟。4 490-530. ·Zbl 1108.94004号 ·数字对象标识代码：10.1137/040616024
[9] Bunea，F.、Tsybakov，A.B.和Wegkamp，M.H.（2007年）。高斯回归的聚合。安。统计师。35 1674-1697. ·Zbl 1209.62065号 ·doi:10.1214/00905360000001587
[10] Cai，T.T.（1999）。自适应小波估计：块阈值和预言不等式方法。安。统计师。27 898-924. ·兹比尔0954.62047 ·doi:10.1214/aos/1018031262
[11] Catoni，O.（2004）。统计学习理论与随机优化。数学课堂笔记。1851 . 柏林施普林格·Zbl 1076.93002号 ·doi:10.1007/b99352
[12] Cavalier，L.（2008）。非参数统计反问题。反问题24 19·Zbl 1137.62323号 ·doi:10.1088/0266-5611/24/3/034004
[13] Cavalier，L.、Golubev，G.K.、Picard，D.和Tsybakov，A.B.（2002年）。Oracle不等式用于反问题。安。统计师。30 843-874. ·Zbl 1029.62032号 ·doi:10.1214操作系统/1028674843
[14] Cavalier，L.和Tsybakov，A.（2002年）。随机噪声逆问题的快速自适应。普罗巴伯。理论相关领域123 323-354·Zbl 1039.62031号 ·doi:10.1007/s004400100169
[15] Cavalier，L.和Tsybakov，A.B.（2001）。惩罚了分块Stein方法、单调预言和尖锐自适应估计。数学。方法统计。10 247-282. ·Zbl 1005.62027号
[16] Cesa-Bianchi，N.和Lugosi，G.（2006年）。预测、学习和游戏。剑桥大学出版社，剑桥·Zbl 1114.91001号 ·doi:10.1017/CBO9780511546921
[17] Dai，D.、Rigollet，P.和Zhang，T.（2012）。使用贪婪（Q\）-聚合的偏差最优学习。安。统计师。出现。可从获取·Zbl 1257.62037号
[18] Dai，D.和Zhang，T.（2011）。贪婪的模型平均。在NIPS 1242-1250中。麻省理工学院出版社，格拉纳达。
[19] Dalalyan，A.S.和Salmon，J.（2011）。在回归中与最佳最近邻过滤器竞争。ALT计算机科学讲义6925 129-143。柏林施普林格·Zbl 1348.68190号
[20] Dalalyan，A.S.和Salmon，J.（2012）。补充“仿射估计集合的Sharp oracle不等式”·Zbl 1257.62038号
[21] Dalalyan，A.S.和Tsybakov，A.B.（2007）。通过指数加权和尖锐的预言不等式进行聚合。学习理论。计算机科学课堂讲稿4539 97-111。柏林施普林格·Zbl 1203.62063号 ·doi:10.1007/978-3-540-72927-39
[22] Dalalyan，A.S.和Tsybakov，A.B.（2008）。通过指数加权、尖锐的PAC-Baysian边界和稀疏性进行聚集。机器。学习。72 39-61.
[23] Dalalyan，A.S.和Tsybakov，A.B.（2012）。通过聚合和Langevin Monte-Carlo进行稀疏回归学习。J.计算。系统科学。78 1423-1443·Zbl 1244.62054号 ·doi:10.1016/j.jss.2011.12.023
[24] Dalalyan，A.S.和Tsybakov，A.B.（2012年）。稀疏先验的镜像平均。伯努利18 914-944·Zbl 1243.62008年 ·doi:10.3150/11-BEJ361
[25] Donoho，D.L.和Johnstone，I.M.（1994年）。通过小波收缩实现理想的空间自适应。生物特征81 425-455·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[26] Donoho，D.L.和Johnstone，I.M.（1995）。通过小波收缩适应未知平滑度。J.艾默。统计师。协会90 1200-1224·Zbl 0869.62024号 ·数字对象标识代码：10.2307/2291512
[27] Donoho，D.L.、Liu，R.C.和MacGibbon，B.（1990年）。超矩形的最小风险及其影响。安。统计师。18 1416-1437. ·Zbl 0705.62018 ·doi:10.1214/aos/1176347758
[28] Efromovich，S.和Pinsker，M.（1996）。异方差非参数回归的夏普最优和自适应估计。统计师。Sinica 6 925-942号·Zbl 0857.62037号
[29] Efroĭmovich，S.Y.和Pinsker，M.S.（1984）。非参数滤波的自训练算法。Avtomat。i Telemekh。11 58-65.
[30] Freund，Y.（1990）。将弱学习算法提升到大多数。在COLT 202-216中。罗切斯特·摩根·考夫曼·Zbl 0833.68109号
[31] Gaíffas，S.和Lecué，G.（2011年）。超解析优化聚合。J.马赫。学习。第12号决议1813-1833·Zbl 1280.62087号
[32] George，E.I.（1986）。Minimax多重收缩估算。安。统计师。14 188-205. ·Zbl 0602.62041号 ·doi:10.1214/aos/1176349849
[33] Gerchinovitz，S.（2011）。在线线性回归中单个序列的稀疏遗憾界。J.马赫。学习。第19号决议377-396。
[34] Giraud，C.（2008）。方差未知时混合最小二乘估计。伯努利14 1089-1107·兹比尔1168.62327 ·doi:10.3150/08-BEJ135
[35] Goldenshluger，A.和Lepski，O.（2008）。多元函数估计中的通用逐点选择规则。伯努利14 1150-1190·Zbl 1168.62323号 ·doi:10.3150/08-BEJ144号文件
[36] Golubev，Y.（2010）。关于与高维线性模型相关的普遍预言不等式。安。统计师。38 2751-2780. ·Zbl 1200.62074号 ·doi:10.1214/10-AOS803
[37] Juditsky，A.和Nemirovski，A.（2000）。非参数回归的函数聚集。安。统计师。28 681-712. ·Zbl 1105.62338号 ·doi:10.1214/aos/1015951994
[38] Juditsky，A.和Nemirovski，A.（2009年）。局部结构未知信号的非参数去噪。甲骨文不平等。申请。计算。哈蒙。分析。27 157-179. ·Zbl 1169.94008号 ·doi:10.1016/j.acha.2009.02.001
[39] Kivinen，J.和Warmuth，M.K.（1999）。平均专家预测。计算学习理论（Nordkirchen，1999）。计算机科学课堂讲稿1572 153-167。柏林施普林格。 ·doi:10.1007/3-540-49097-3_13
[40] Kneip，A.（1994年）。有序线性平滑器。安。统计师。22 835-866. ·Zbl 0815.62022号 ·doi:10.1214/aos/1176325498
[41] Lanckriet，G.R.G.、Cristianini，N.、Bartlett，P.、El Ghaoui，L.和Jordan，M.I.（2003/04）。用半定规划学习核矩阵。J.马赫。学习。第5 27-72号决议·Zbl 1222.68241号
[42] Langford，J.和Shawe-Taylor，J.（2002）。PAC Bayes和利润率。在NIPS 423-430中。麻省理工学院出版社，温哥华。
[43] Lecué，G.和Mendelson，S.（2012年）。关于低温下指数权重骨料的最佳性。伯努利·Zbl 1456.62136号 ·doi:10.3150/09-BEJ225
[44] Leung，G.（2004）。信息论和混合最小二乘回归。耶鲁大学博士论文。
[45] Leung，G.和Barron，A.R.（2006年）。信息理论和混合最小二乘回归。IEEE传输。通知。理论52 3396-3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172
[46] Lounici，K.（2007）。广义镜像平均和（D）-凸聚集。数学。方法统计。16 246-259. ·Zbl 1231.62046号 ·doi:10.3103/S1066530707030040
[47] McAllester，D.A.（1998年）。一些PAC-Baysian定理。第十一届计算学习理论年会论文集（威斯康星州麦迪逊，1998）230-234（电子版）。纽约ACM·Zbl 0945.68157号 ·doi:10.1023/A:1007618624809
[48] Nemirovski，A.（2000年）。非参数统计主题。在《概率论和统计学讲座》（Saint-Flour，1998）中。数学课堂笔记。1738 85-277. 柏林施普林格·Zbl 0998.62033号 ·doi:10.1007/BFb0106703
[49] Pinsker，M.S.高斯噪声中平方积分信号的最佳滤波。问题。Peredachi Inf.16 52-68·Zbl 0452.94003号
[50] Polzehl，J.和Spokoiny，V.G.（2000）。自适应权重平滑及其在图像恢复中的应用。J.R.统计社会服务。B统计方法。62 335-354. ·Zbl 04558575号 ·doi:10.1111/1467-9868.00235
[51] Rigollet，P.（2012）。Kullback-Leibler聚合和指定错误的广义线性模型。安。统计师。40 639-665·兹比尔1274.62298
[52] Rigollet，P.和Tsybakov，A.（2011）。指数筛选和稀疏估计的最佳速率。安。统计师。39 731-771. ·Zbl 1215.62043号 ·doi:10.1214/10-AOS854
[53] Rigollet，P.和Tsybakov，A.B.（2007年）。密度估计量的线性和凸聚合。数学。方法统计。16 260-280. ·Zbl 1231.62057号 ·doi:10.3103/S1066530707030052
[54] Rigollet，P.和Tsybakov，A.B.（2011年）。指数加权稀疏估计。未发表的手稿·Zbl 1215.62043号
[55] Salmon，J.和Dalalyan，A.S.（2011年）。仿射估计的最优聚集。J.马赫。学习。第19号决议635-660。
[56] Salmon，J.和Le Pennec，E.（2009年）。NL-含义和聚合程序。在ICIP 2977-2980中。IEEE，加利福尼亚州。
[57] Seeger，M.（2003）。高斯过程分类的PAC-Baysian泛化误差界。J.马赫。学习。第3 233-269号决议·Zbl 1088.68745号 ·doi:10.1162/153244303765208386
[58] Shawe-Taylor，J.和Cristianini，N.（2000年）。支持向量机简介：以及其他基于内核的学习方法。剑桥大学出版社，剑桥·Zbl 0994.68074号
[59] Stein，C.M.（1973）。多元分布平均值的估计。程序中。布拉格交响乐团。渐近统计量。布拉格查尔斯大学·Zbl 0357.62020号
[60] Tsybakov，A.B.（2003年）。最佳聚合速率。在COLT 303-313中。施普林格，华盛顿特区·兹比尔1208.62073 ·doi:10.1007/2006年1月
[61] Tsybakov，A.B.（2009年）。非参数估计简介。纽约州施普林格·Zbl 1176.62032号
[62] Wang，Z.、Paterlini，S.、Gao，F.和Yang，Y.（2012）。稀疏（l_q）-壳上的自适应极小极大估计。技术报告。可从[math.ST]获取·Zbl 1319.62016号
[63] Yang，Y.（2000）。结合不同的程序进行自适应回归。《多元分析杂志》。74 135-161. ·Zbl 0964.62032号 ·doi:10.1006/jmva.1999.1884
[64] Yang，Y.（2003）。多候选模型回归：选择还是混合？统计师。中国13 783-809·Zbl 1028.62021号
[65] Yang，Y.（2004）。聚合回归过程以提高性能。伯努利10 25-47·Zbl 1040.62030 ·doi:10.3150/bj/1077544602
[66] Yuan，M.和Lin，Y.（2006）。分组变量回归中的模型选择和估计。J.R.统计社会服务。B统计方法。68 49-67. ·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。