×

形状限制回归中最小二乘估计的尖锐预言不等式。 (英语) Zbl 1408.62066号

作者摘要:研究了形状约束回归模型在高斯和亚高斯噪声下最小二乘估计的性能。给出了闭凸集上LS估计性能的一般界。这些结果具有尖锐的预言不等式形式,可以解释模型的错误指定。在存在指定错误的情况下,这些界意味着LS估计量以与指定情况相同的速率估计真实参数的投影。{}在等渗和单峰回归中,LS估计量实现了非参数率(n^{-2/3})以及参数率(k/n)到对数因子的阶数,其中(k)是真参数的常数条数。在一元凸回归中,LS估计满足从(q/n)阶到对数因子的自适应风险界,其中(q)是真实回归函数的仿射片数。这种适应性风险边界适用于任何设计点集合。While期间A.Guntuboyina公司B.森【Probab.理论相关领域163,No.1–2,379–411(2015;Zbl 1327.62255号)]建立了等距设计点凸回归的非参数率为(n^{-4/5})阶的关系,证明了对于某些最坏情况的设计点,凸回归的无参数率可以慢到(n^}-2/3})。这一现象可以解释为:虽然凸性比单峰带来更多的结构,但对于一些最坏的设计点,这种额外的结构是没有信息的,单峰回归和凸回归的非参数率都是(n^{-2/3})。还研究了高阶锥,如β-单调序列的锥。

MSC公司:

62G08号 非参数回归和分位数回归
62C20个 统计决策理论中的Minimax过程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Amelunxen,D.、Lotz,M.、McCoy,M.B.和Tropp,J.A.(2014)。生活在边缘:随机数据凸程序中的相变。Inf.推理3 224-294·兹比尔1339.90251 ·doi:10.1093/imaiai/iau005
[2] Bartlett,P.L.和Mendelson,S.(2006年)。经验最小化。普罗巴伯。理论相关领域135 311-334·Zbl 1142.62348号 ·doi:10.1007/s00440-005-0462-3
[3] Bellec,P.C.(2018年)。补充“形状限制回归中最小二乘估计的尖锐预言不等式”DOI:10.1214/17-AOS1566SUPP·Zbl 1408.62066号
[4] Bellec,P.C.、Lecué,G.和Tsybakov,A.B.(2016)。斜率符合套索:改进了预言边界和优化。ArXiv预印本。可从ArXiv:1605.08651获得·Zbl 1405.62056号
[5] Bellec,P.C.和Tsybakov,A.B.(2015)。通过聚合实现单调回归和凸回归的精确预言界。J.马赫。学习。1879-1892年第16号决议·兹比尔1351.62088
[6] Boucheron,S.、Lugosi,G.和Massart,P.(2013)。集中不平等。独立性的非渐近理论。牛津大学出版社,牛津·Zbl 1279.60005号
[7] Chandrasekaran,V.和Jordan,M.I.(2013)。通过凸松弛进行计算和统计权衡。程序。国家。阿卡德。科学。美国110 E1181-E1190·Zbl 1292.62019年
[8] Chandrasekaran,V.、Recht,B.、Parrilo,P.A.和Willsky,A.S.(2012)。线性反问题的凸几何。已找到。计算。数学12 805-849·Zbl 1280.52008年 ·doi:10.1007/s10208-012-9135-7
[9] Chatterjee,S.(2014)。凸约束下最小二乘法的一个新视角。统计年鉴42 2340-2381·Zbl 1302.62053号 ·doi:10.1214/14-AOS1254
[10] Chatterjee,S.(2016)。凹回归中改进的全球风险边界。电子。《美国联邦法律大全》第10卷第1608-1629页·兹比尔1349.62126 ·数字对象标识代码:10.1214/16-EJS1151
[11] Chatterjee,S.、Guntuboyina,A.和Sen,B.(2015)。关于等张和其他形状受限回归问题的风险边界。《统计年鉴》43 1774-1800·Zbl 1317.62032号 ·doi:10.1214/15-AOS1324
[12] Chatterjee,S.、Guntuboyina,A.和Sen,B.(2015)。单调约束下的矩阵估计。ArXiv预印本。可从ArXiv:1506.03430获得·Zbl 1419.62135号 ·doi:10.3150/16-BEJ865
[13] Chatterjee,S.和Lafferty,J.(2017)。单峰回归中的自适应风险界。伯努利。出现。可从arXiv:1512.02956获取·Zbl 1441.62097号
[14] Flammarion,N.、Mao,C.和Rigollet,P.(2016)。统计序列化的最佳速率。ArXiv预印本。可从ArXiv:1607.02435获得·Zbl 1442.62084号
[15] Gao,F.和Wellner,J.A.(2007年)。高维单调函数的熵估计。《多元分析杂志》98 1751-1764·Zbl 1221.62008年 ·doi:10.1016/j.jmva.2006.09.003
[16] Guntuboyina,A.和Sen,B.(2015)。单变量凸回归中的全局风险边界和适应。普罗巴伯。理论相关领域163 379-411·Zbl 1327.62255号 ·doi:10.1007/s00440-014-0595-3
[17] Ledoux,M.和Talagrand,M.(1991年)。巴拿赫空间中的概率:等高线和过程。Ergebnisse der Mathematik und Ihrer Grenzgebiete(3)[数学和相关领域的结果(3)]23。柏林施普林格·Zbl 0748.60004号
[18] Meyer,M.和Woodroof,M.(2000年)。形状限制回归中的自由度。Ann.Statist.28 1083-1104·Zbl 1105.62340号 ·doi:10.1214/aos/1015956708
[19] Oymak,S.和Hassibi,B.(2016年)。近端去噪的尖锐MSE边界。已找到。计算。数学16 965-1029·Zbl 1380.90221号 ·doi:10.1007/s10208-015-9278-4
[20] Oymak,S.、Recht,B.和Soltanolkotabi,M.(2015)。线性逆问题的尖锐时间-数据权衡。ArXiv预印本。可从ArXiv:1507.04793获得·Zbl 1395.90205号
[21] Plan,Y.、Vershynin,R.和Yudovina,E.(2017年)。几何约束下的高维估计。信息推断6 1-40·Zbl 1383.62121号
[22] Tsybakov,A.B.(2009年)。非参数估计简介。统计学中的施普林格系列。纽约斯普林格出版社,2004年法文原版的修订和延伸,弗拉基米尔·扎亚茨翻译·Zbl 1029.62034号
[23] van de Geer,S.和Wainwright,M.(2015)。集中(正规化)经验风险最小化。ArXiv预印本。可从ArXiv:1512.00677获得·Zbl 1380.62085号 ·doi:10.1007/s13171-017-0111-9
[24] Vershynin,R.(2015)。高维估计:几何透视。在《抽样理论,文艺复兴》中。申请。数字。哈蒙。分析。3-66. 巴塞尔Birkhäuser·Zbl 1370.94269号
[25] Zhang,C.-H.(2002)。等张回归中的风险边界。统计年鉴30 528-555·Zbl 1012.62045号 ·doi:10.1214/aos/1021379864
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。