×
周坤;李克肖;周、清

通过投影和收缩实现高维回归的诚实置信集。 （英语） Zbl 1514.62070号

美国统计协会。 118，编号541，469-488（2023）.
摘要：非参数回归中出现了构建置信集的诚实性问题。虽然可以获得非参数估计中的最佳速率，并利用它来构造尖锐的置信集，但在估计平滑度后，置信水平往往会严重下降。同样，对于高维回归，可以利用稀疏估计的oracle不等式来构造尖锐的置信集。然而，稀疏度本身是未知的，需要估计，这导致了诚实问题。为了解决这个问题，我们开发了一种新的方法来构造稀疏高维线性回归的诚实置信集。我们构造的关键思想是将信号分为强组和弱组，然后分别为每个组构造置信集。这是通过投影和收缩方法实现的，后者通过Stein估计和相关的Stein无偏风险估计实现。我们的置信集在没有任何稀疏约束的全参数空间上是诚实的，而当真参数确实稀疏时，它的大小适应于最佳比率\（n^{-1/4}\）。此外，在强弱信号之间某种形式的分离假设下，我们的置信集直径可以达到比现有方法更快的速度。通过对模拟数据和实际数据的大量数值比较，我们证明了我们的方法在有限样本方面优于其他竞争对手，包括基于底层模型真正稀疏性的oracle方法。

理学硕士：

62G08号 非参数回归和分位数回归
62J07型 岭回归；收缩估计器（拉索）
62甲12 多元分析中的估计

关键词：

自适应置信集;高维推理;稀疏线性回归;斯坦因估计

软件：

高密度指数;共形推理
PDF格式BibTeX公司 XML格式引用
\textit{K.Zhou}等人，《美国统计协会期刊》第118期，第541、469--488号（2023年；Zbl 1514.62070）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] 阿里亚斯·卡斯特罗，E。；坎迪斯，E.J。；Plan，Y.，“稀疏替代方案下的全球测试：方差分析、多重比较和更高的批评”，《统计年鉴》，39，2533-2556（2011）·Zbl 1231.62136号
[2] Baraud，Y.，“高斯回归中的置信球，统计年鉴，32528-551（2004）·Zbl 1093.62051号
[3] R.Beran。；Dümbgen，L.，“估计量和置信集的调制”，《统计年鉴》，第26期，1826-1856页（1998年）·Zbl 1073.62538号
[4] Bühlmann，P。；Kalisch，M。；Meier，L.，“着眼于生物学应用的高维统计，统计及其应用年度回顾，1255-278（2014）·doi:10.1146/annurev-statistics-022513-115545
[5] Bickel，P.J。；里托夫，Y。；Tsybakov，A.B.，“Lasso和Dantzig选择器的同步分析”，《统计年鉴》，第37期，第1705-1732页（2009年）·Zbl 1173.62022号
[6] Bradic，J.、Fan，J.和Zhu，Y.（2018），“具有非解析结构的高维线性模型的可测试性”，arXiv:1802.09117͡·兹比尔1486.62196
[7] A.D.布尔。；Nickl，R.，“L^2中的自适应置信集，概率理论和相关领域，156889-919（2013）·Zbl 1273.62105号
[8] Cai，T.T。；Guo，Z.，“高维线性回归的置信区间：最小极大率和适应性”，《统计年鉴》，45615-646（2017）·Zbl 1371.62045号
[9] Cai，T.T。；郭忠，“高维线性回归的准确性评估，统计年鉴，461807-1836（2018）·Zbl 1403.62131号
[10] Cai，T.T。；Guo，Z.，“高维线性回归中解释方差的半监督推断及其应用，皇家统计学会杂志，B辑（2020）·Zbl 07554759号
[11] Cai，T.T。；Low，M.G.，“自适应置信球”，《统计年鉴》，34202-228（2006）·Zbl 1091.62037号
[12] Carpentier，A。；黎巴嫩，G。；Vishwanathan，S.V.N.，《第十八届国际人工智能与统计会议论文集》，38，高维回归中的可实现置信集，120-128（2015），加利福尼亚州圣地亚哥：PMLR，加利福尼亚州圣迭戈
[13] Dezeure，R。；Bühlmann，P。；Meier，L。；Meinshausen，N.，“高维推断：置信区间、p值和R软件Hdi”，《统计科学》，第30期，第533-558页（2015年）·Zbl 1426.62183号 ·doi:10.1214/15-STS527
[14] Dezeure，R。；Bühlmann，P。；Zhang，C.-H.，“利用Bootstrap进行高维同时推断，TEST，26，685-719（2017）·兹伯利06833591
[15] 埃夫隆，B。；Morris，C.，“Stein的估计规则及其竞争对手——经验贝叶斯方法”，《美国统计协会杂志》，68，117-130（1973）·Zbl 0275.62005号
[16] Ewald，K。；Schneider，U.，“基于Lasso的统一有效置信集，电子统计杂志，121358-1387（2018）·Zbl 1392.62079号 ·doi:10.1214/18-EJS1425
[17] Genovese，C.R。；Wasserman，L.，“非参数小波回归的置信集”，《统计学年鉴》，33698-729（2005）·Zbl 1068.62057号
[18] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习：拉索和泛化》（2015），纽约：查普曼和霍尔/CRC，纽约·Zbl 1319.68003号
[19] 霍夫曼，M。；Lepski，O.，“各向异性回归中的随机率”（与讨论一起，《统计年鉴》，30325-396（2002）·Zbl 1012.62042号
[20] 英格斯特，Y.I。；Tsybakov，A.B。；Verzelen，N.，“稀疏回归中的检测边界”，《电子统计杂志》，第4期，1476-1526页（2010年）·Zbl 1329.62314号 ·doi:10.1214/10-EJS589
[21] 爪哇马德，A。；Montanari，A.，“高维回归的置信区间和假设检验”，《机器学习研究杂志》，第15期，第2869-2909页（2014年）·Zbl 1319.62145号
[22] 朱迪茨基，A。；Lambert-Lacroix，S.，“非参数置信集估计”，《统计数学方法》，第12期，第410-428页（2003年）
[23] Lei，J。；G'Sell，M。；里纳尔多，A。；Tibshirani，R.J。；Wasserman，L.，“回归的无分布预测推断”，《美国统计协会杂志》，1131094-1111（2018）·Zbl 1402.62155号
[24] Li，K.C.，“从Stein的无偏风险估计到广义交叉验证方法，统计年鉴，13，1352-1377（1985）·Zbl 0605.62047号
[25] Li，K.-C.，“非参数回归的诚实置信区间，统计年鉴，171001-2008（1989）·兹比尔0681.62047
[26] Li，S.，“用Bootstrap去掉被扣掉的套索”，《电子统计杂志》，第14期，第2298-2337页（2020年）·Zbl 1445.62185号 ·doi:10.1214/20-EJS1713
[27] Min，S.和Zhou，Q.（2019），“通过随机估计增强在拉索选择后构建置信集”，arXiv:1904.08018͡。
[28] Negahban，S.N。；拉维库马尔，P。；Wainwright，M.J。；Yu，B.，“利用可分解正则化器对M估计进行高维分析的统一框架，统计科学，27538-557（2012）·兹比尔1331.62350 ·doi:10.1214/12-STS400
[29] Nickl，R。；van de Geer，S.，“稀疏回归中的置信集”，《统计年鉴》，412852-2876（2013）·Zbl 1288.62108号
[30] 罗宾斯，J。；van der Vaart，A.，“自适应非参数置信集”，《统计年鉴》，34，229-253（2006）·Zbl 1091.62039号
[31] Schneider，U.，“基于高维高斯回归模型阈值估计的置信集，计量经济学评论，351412-1455（2016）·Zbl 1491.62065号
[32] Stein，C.M.，“多元正态分布平均值的估计，统计年鉴，9，1135-1151（1981）·兹伯利0476.62035 ·doi:10.1214/aos/1176345632
[33] Sun，T。；Zhang，C.-H.，“标度稀疏线性回归，生物统计学，99879-898（2012）·Zbl 1452.62515号
[34] Sun，T。；Zhang，C.-H.，“用缩放套索进行稀疏矩阵反演，机器学习研究杂志，143385-3418（2013）·Zbl 1318.62184号
[35] Tibshirani，R.，“通过拉索进行回归收缩和选择，皇家统计学会期刊，B辑，58，267-288（1996）·Zbl 0850.62538号
[36] van de Geer，S。；Bühlmann，P。；Ritov，Y。；Dezeure，R.，“关于高维模型的渐近最优置信域和检验”，《统计年鉴》，第42期，第1166-1202页（2014年）·Zbl 1305.62259号
[37] Verzelen，N.，“稀疏回归的最小风险：超高维现象”，《电子统计杂志》，638-90（2012）·Zbl 1334.62120号 ·doi:10.1214/12-EJS666
[38] Zhang，C.-H.，“最小凹板惩罚下的几乎无偏变量选择，统计年鉴，38894-942（2010）·Zbl 1183.62120号
[39] 张，C.-H。；黄静，“高维线性回归中拉索选择的稀疏性和偏差”，《统计年鉴》，第36期，第1567-1594页（2008）·Zbl 1142.62044号
[40] 张，C.-H。；Zhang，S.S.，“高维线性模型中低维参数的置信区间”，《皇家统计学会杂志》，B辑，76，217-242（2014）·Zbl 1411.62196号
[41] 张，X。；Cheng，G.，“高维线性模型的同时推断”，《美国统计协会杂志》，112757-768（2017）
[42] 周强，“用估计增强法对拉索型问题进行蒙特卡罗模拟，美国统计协会杂志，1091495-1516（2014）·Zbl 1368.62214号
[43] 周，Q。；Min，S.，“估计增强在高维群推断中的应用”，《电子统计杂志》，第11期，第3039-3080页（2017年）·Zbl 1373.62374号 ·doi:10.1214/17-EJS1309
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。