×

SLOPE对未知稀疏性和渐近极小值具有自适应性。 (英语) Zbl 1338.62032号

摘要:我们考虑了高维稀疏回归问题,其中我们观察到\(mathbf{y}=\mathbf}X}\boldsymbol{beta}+\mathbf{z}\),其中\(mathbf{X}\)是一个\(n次p)设计矩阵,\(mat血红蛋白{z}\)是独立高斯误差的\(n)维向量,每个向量都有方差\(sigma^{2}\)。我们的重点是最近引入的SLOPE估计器[作者等人,Ann.Appl.Stat.9,No.3,1103–1140(2015;Zbl 1454.62212号)],它用秩相关罚函数(sum{1\leqi\leqp}\lambda{i}|hat{beta}|{(i)}\)正则化最小二乘估计,其中(|hat}{beta{{(i}\)是拟合系数的第(i)个最大值。在高斯设计下,其中(mathbf{X})的条目是i.i.d.(mathcal{N}(0,1/N)),我们证明了SLOPE,权重为(lambda_{i})大约等于(sigma\cdot\Phi^{-1}(1-iq/(2p)获得服从估计的平方误差\[\mathop{\sup}\limits_{\|boldsymbol{\beta}\|{0}\leqk}\mathbb{P}^{2} k个\日志(p/k))\至0\]当维数\(p)增加到\(infty)时,其中\(varepsilon>0)是一个任意的小常数。这在稀疏度水平的弱假设下成立,即(k/p到0)和(klogp)/n到0,并且在这是任何估计量都能达到的最佳可能误差的意义上是尖锐的。一个显著的特点是,SLOPE不需要任何稀疏程度的知识,但可以自动进行调整,以在广泛的(ell_{0})稀疏类上产生最佳的总平方误差。我们不知道有任何其他具有这种性质的估计量。

MSC公司:

62C20个 统计决策理论中的Minimax过程
62G05型 非参数估计
62G10型 非参数假设检验
62J15型 配对和多重比较;多次测试
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abramovich,F.和Benjamini,Y.(1996年)。小波系数的自适应阈值化。计算。统计师。数据分析。22 351-361.
[2] Abramovich,F.、Benjamini,Y.、Donoho,D.L.和Johnstone,I.M.(2006)。通过控制错误发现率来适应未知稀疏性。安。统计师。34 584-653. ·Zbl 1092.62005年 ·doi:10.1214/00905360000000074
[3] Adke,S.R.、Waikar,V.B.和Schuurmann,F.J.(1987年)。指数分布平均值的两阶段收缩试验仪。通信统计。理论方法16 1821-1834·Zbl 0621.62026号 ·doi:10.1080/03610928708829474
[4] Baraud,Y.(2002)。随机设计回归的模型选择。ESAIM概率。统计师。6 127-146(电子版)·Zbl 1059.62038号 ·doi:10.1051/ps:2002007年
[5] Barber,R.F.和Candès,E.J.(2015)。通过仿冒品控制错误发现率。安。统计师。43 2055-2085. ·Zbl 1327.62082号 ·doi:10.1214/15-AOS1337
[6] Barlow,R.E.、Bartholomew,D.J.、Bremner,J.M.和Brunk,H.D.(1972年)。顺序限制下的统计推断。等渗回归理论与应用。纽约威利·兹比尔0246.62038
[7] Bayati,M.和Montanari,A.(2012年)。高斯矩阵的LASSO风险。IEEE传输。通知。理论58 1997-2017·Zbl 1365.62196号 ·doi:10.1109/TIT.2011.2174612
[8] Benjamini,Y.和Hochberg,Y.(1995年)。控制错误发现率:一种实用而强大的多重测试方法。J.罗伊。统计师。Soc.序列号。乙57 289-300·Zbl 0809.62014号
[9] Benjamini,Y.和Yekutieli,D.(2001年)。依赖下多重测试中错误发现率的控制。安。统计师。29 1165-1188. ·兹比尔1041.62061 ·doi:10.1214/aos/1013699998
[10] Bickel,P.J.(1981)。参数空间受限时正态分布均值的极大极小估计。安。统计师。9 1301-1309. ·兹宝利048.462013 ·doi:10.1214/aos/1176345646
[11] Bickel,P.J.、Ritov,Y.和Tsybakov,A.B.(2009年)。同时分析套索和Dantzig选择器。安。统计师。37 1705-1732. ·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[12] Birgé,L.(2004)。随机设计高斯回归的模型选择。伯努利10 1039-1051·Zbl 1064.62030号 ·doi:10.3150/bj/1106314849
[13] Birgé,L.和Massart,P.(2001)。高斯模型选择。《欧洲数学杂志》。Soc.(JEMS)3 203-268·Zbl 1037.62001 ·doi:10.1007/s100970100031
[14] Bland,J.M.和Altman,D.G.(1995年)。多重显著性检验:Bonferroni方法。英国医学杂志310 170。
[15] Bogdan,M.、van den Berg,E.、Sabatti,C.、Su,W.和Candès,E.J.(2015)。SLOPE—通过凸优化进行自适应变量选择。附录申请。统计9 1103-1140·Zbl 1454.62212号 ·doi:10.1214/15-AOAS842
[16] Bogdan,M.、van den Berg,E.、Su,W.和Candès,E.J.(2013)。通过排序范数进行统计估计和检验。预打印。可从获取。arXiv:1310.1969年
[17] Bondell,H.D.和Reich,B.J.(2008)。OSCAR预测因子的同时回归收缩、变量选择和监督聚类。生物统计学64 115-123,322-323·兹比尔1146.62051 ·doi:10.1111/j.1541-0420.2007.00843.x
[18] Brown,L.D.、Cai,T.T.、Low,M.G.和Zhang,C.H.(2002)。随机设计非参数回归的渐近等价理论。安。统计师。30 688-707·Zbl 1029.62044号 ·doi:10.1214/aos/1028674838
[19] Bunea,F.、Tsybakov,A.B.和Wegkamp,M.H.(2007年)。高斯回归的聚合。安。统计师。35 1674-1697. ·兹比尔1209.62065 ·doi:10.1214/00905360000001587
[20] Cai,T.T.和Zhou,H.H.(2009)。一种用于小波估计的数据驱动的块阈值方法。安。统计师。37 569-595. ·Zbl 1162.62032号 ·doi:10.1214/07-AOS538
[21] Candes,E.和Tao,T.(2007)。Dantzig选择器:当\(p)远大于\(n)时的统计估计。安。统计师。35 2313-2351. ·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[22] Candès,E.J.和Plan,Y.(2009年)。通过(ell_{1})最小化选择近理想模型。安。统计师。37 2145-2177. ·Zbl 1173.62053号 ·doi:10.1214/08-AOS653
[23] Candès,E.J.、Romberg,J.K.和Tao,T.(2006)。从不完整和不准确的测量中恢复稳定的信号。普通纯应用程序。数学。59 1207-1223. ·邮编1098.94009 ·doi:10.1002/cpa.20124年
[24] Donoho,D.L.和Johnstone,I.M.(1994年)。通过小波收缩实现理想的空间自适应。生物特征81 425-455·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[25] Donoho,D.L.和Johnstone,I.M.(1994年)。对于(l_{q})-错误,(l_}p})-balls上的最小最大风险。可能性。理论相关领域99 277-303·Zbl 0802.62006 ·doi:10.1007/BF01199026
[26] Donoho,D.L.和Johnstone,I.M.(1995)。通过小波收缩适应未知平滑度。J.Amer。统计师。协会90 1200-1224·Zbl 0869.62024号 ·数字对象标识代码:10.2307/2291512
[27] Donoho,D.L.、Johnstone,I.M.、Maleki,A.和Montanari,A.(2011年)。球上的压缩传感:最小均方误差。IEEE信息理论国际研讨会论文集129-133。IEEE,纽约。
[28] Donoho,D.L.和Montanari,A.(2013)。高维鲁棒M-估计:通过近似消息传递的渐近方差。预打印。可从获取。arXiv:1310.7320型·Zbl 1357.62220号 ·doi:10.1007/s00440-015-0675-z
[29] Donoho,D.L.和Tanner,J.(2009)。当投影从根本上降低维度时,计算随机投影的多面体的面。J.Amer。数学。社会地位22 1-53·Zbl 1206.52010年 ·doi:10.1090/S0894-0347-08-00600-0
[30] Donoho,D.L.和Tanner,J.(2010)。指数界意味着通过随机采样构造压缩传感矩阵、纠错码和相邻多面体。IEEE传输。通知。理论56 2002-2016·Zbl 1366.94233号 ·doi:10.1109/TIT.2010.2040892
[31] Fan,J.、Han,X.和Gu,W.(2012)。估计任意协方差依赖下的错误发现比例。J.Amer。统计师。协会107 1019-1035·Zbl 1395.62219号 ·doi:10.1080/01621459.2012.720478
[32] Fan,J.和Li,R.(2001)。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348-1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[33] Figueiredo,M.和Nowak,R.(2014)。使用有序加权正则化的强相关变量稀疏估计。预打印。可从获取。arXiv:1409.4005
[34] Foster,D.P.和George,E.I.(1994年)。多元回归的风险通货膨胀标准。安。统计师。22 1947-1975. ·Zbl 0829.62066号 ·doi:10.1214/aos/1176325766
[35] Foster,D.P.和Stine,R.A.(1999年)。局部渐近编码和最小描述长度。IEEE传输。通知。理论45 1289-1293·Zbl 0959.62006年 ·doi:10.1109/18.761287
[36] G'Sell,M.、Wager,S.、Chouldechova,A.和Tibshirani,R.(2013)。顺序选择程序和错误发现率控制。预打印。可从获取。arXiv公司:1309.5352
[37] Greenshtein,E.和Ritov,Y.(2004)。高维线性预测器选择的持续性和超参数化的优点。伯努利10 971-988·兹比尔1055.62078 ·doi:10.3150/bj/1106314846
[38] Ji,P.和Zhao,Z.(2014)。高维回归中的速率最优多重检验过程。预打印。可从获取。arXiv:1404.2961·doi:10.1016/j.a.pm.2013.11.009
[39] Jiang,W.和Zhang,C.-H.(2013)。自适应极小极大估计的非参数经验贝叶斯方法。《多元分析杂志》。122 82-95. ·Zbl 1279.62028号 ·doi:10.1016/j.jmv.2013.07.013
[40] Johnstone,I.M.(2013)。高斯估计:序列和小波模型。可从获取。
[41] Kruskal,J.B.(1964年)。非度量多维标度:一种数值方法。《心理测量学》29 115-129·Zbl 0123.36804号 ·doi:10.1007/BF02289694
[42] 刘伟(2013)。具有错误发现率控制的高斯图形模型估计。安。统计师。41 2948-2978. ·Zbl 1288.62094号 ·doi:10.1214/13-AOS1169
[43] Lockhart,R.、Taylor,J.、Tibshirani,R.J.和Tibshirani,R.(2014)。套索的显著性检验。安。统计师。42 413-468. ·兹比尔1305.62254 ·doi:10.1214/13-AOS1175
[44] Marshall,A.W.、Olkin,I.和Arnold,B.C.(2011年)。《不平等:多数化理论及其应用》,第二版,施普林格出版社,纽约·Zbl 1219.26003号 ·doi:10.1007/978-0-387-68276-1
[45] Meinshausen,N.和Yu,B.(2009年)。高维数据稀疏表示的Lasso类型恢复。安。统计师。37 246-270. ·Zbl 1155.62050号 ·doi:10.1214/07-AOS582
[46] Parikh,N.和Boyd,S.(2013年)。近似算法。优化的基础和趋势1 123-231。
[47] Raskutti,G.、Wainwright,M.J.和Yu,B.(2011年)。球上高维线性回归的极小极大估计率。IEEE传输。通知。理论57 6976-6994·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799
[48] 拉维库马尔,P.,温赖特,M.J.和拉弗蒂,J.D.(2010)。使用(ell_{1})正则化logistic回归的高维Ising模型选择。安。统计师。38 1287-1319. ·Zbl 1189.62115号 ·doi:10.1214/09-AOS691
[49] Stein,C.M.(1981年)。多元正态分布平均值的估计。安。统计师。9 1135-1151. ·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632
[50] Su,W.和Candès,E.(2015)。补充“SLOPE适应未知稀疏性和渐近极小”·Zbl 1338.62032号 ·doi:10.1214/15-AOS1397
[51] Tibshirani,R.(1996)。通过套索进行回归收缩和选择。J.罗伊。统计师。Soc.序列号。乙58 267-288·Zbl 0850.62538号
[52] Tibshirani,R.和K.奈特(1999)。自适应模型选择的协方差膨胀准则。J.R.统计社会服务。B统计方法。61 529-546. ·Zbl 0924.62031号 ·doi:10.1111/1467-9868.00191
[53] van de Geer,S.A.和Bühlmann,P.(2009)。根据用于证明拉索预言结果的条件。电子。《美国联邦法律大全》第3卷第1360-1392页·Zbl 1327.62425号 ·doi:10.1214/09-EJS506
[54] Verzelen,N.(2012年)。稀疏回归的极大极小风险:超高维现象。电子。《美国联邦法律大全》第6卷第38-90页·Zbl 1334.62120号 ·doi:10.1214/12-EJS666
[55] Wainwright,M.J.(2009)。使用(ell_{1})约束二次规划(Lasso)恢复高维和噪声稀疏性的锐化阈值。IEEE传输。通知。理论55 2183-2202·Zbl 1367.62220号 ·doi:10.1109/TIT.2009.2016018
[56] Wu,Z.和Zhou,H.H.(2013)。模型选择和尖锐渐近极小性。可能性。理论相关领域156 165-191·兹伯利06176805 ·doi:10.1007/s00440-012-0424-5
[57] Ye,F.和Zhang,C.-H.(2010)。拉索和Dantzig选择器在球中的损失率最小。J.马赫。学习。第11号决议3519-3540·兹比尔1242.62074
[58] Zhang,C.-H.(2010)。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[59] 邹华(2006)。自适应套索及其oracle属性。J.Amer。统计师。协会101 1418-1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。