×

随机设计稀疏惩罚回归的置信区间。 (英语) Zbl 1445.62181号

摘要:随着大数据的丰富,稀疏惩罚回归技术由于同时选择和估计变量的优点,在数据分析中常用。文献中提出了许多凸惩罚和非凸惩罚来实现稀疏估计。尽管在这方面做了大量的工作,但如何对带有一般惩罚的稀疏惩罚回归进行有效推断仍然是一个活跃的研究问题。在本文中,我们利用随机变分不等式理论中最新的优化工具,提出了一个统一的框架来构造具有广泛惩罚(包括凸惩罚和非凸惩罚)的稀疏惩罚回归的置信区间。我们研究了惩罚回归的总体版本下的参数推断以及潜在线性模型的参数。得到了该方法的理论收敛性。通过几个仿真和实际数据示例,验证了所提推理过程的有效性。

MSC公司:

62J05型 线性回归;混合模型
62层25 参数公差和置信区域
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 布鲁克,A。;肯德里克,D。;Meeraus,A。;Raman,R.,《GAMS用户指南》(1998),华盛顿特区:GAMS开发公司,华盛顿特区
[2] 坎迪斯,E.J。;Tao,T.,“Dantzig选择器:当p远大于n时的统计估计”,《统计年鉴》,35,2313-2351(2007)·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[3] Donoho,D.L。;Johnstone,I.M.,“基于小波收缩的理想空间自适应”,《生物特征》,第81期,第425-455页(1994年)·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[4] 埃夫隆,B。;哈斯蒂,T。;约翰斯通,I。;Tibshirani,R.,“最小角度回归”,《统计年鉴》,32407-499(2004)·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[5] 范,J。;Li,R.,“通过非证实惩罚可能性及其Oracle属性进行变量选择”,《美国统计协会杂志》,96,1348-1360(2001)·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[6] Folstein,M.F。;福尔斯坦,S.E。;McHugh,P.R.,“迷你精神状态:为临床医生评定患者认知状态的实用方法”,《精神病学研究杂志》,12189-198(1975)·doi:10.1016/0022-3956(75)90026-6
[7] Friedman,J.H.,“快速稀疏回归和分类”,《国际预测杂志》,28,722-738(2012)·doi:10.1016/j.ijforecast.2012.05.001
[8] 爪哇马德,A。;Montanari,A.,“高维回归的置信区间和假设检验”,《机器学习研究杂志》,第15期,第2869-2909页(2014年)·Zbl 1319.62145号
[9] Konishi,S。;Kitagawa,G.,信息标准和统计建模(2008),纽约:施普林格科学与商业媒体,纽约·Zbl 1172.62003年
[10] Lee,J.D。;Sun,D.L。;孙,Y。;Taylor,J.E.,“精确的选举后推断,及其在拉索中的应用”,《统计年鉴》,44,907-927(2016)·Zbl 1341.62061号 ·doi:10.1214/15-AOS1371
[11] 刘,Y。;Wu,Y.,“通过L_0和L_1惩罚组合进行变量选择”,《计算与图形统计杂志》,16782-798(2007)·doi:10.1198/106186007X255676
[12] 洛克哈特,R。;泰勒,J。;Tibshirani,R。;Tibshirani,R.,“拉索的显著性检验”,《统计年鉴》,第42期,第413-468页(2014年)·Zbl 1305.62254号 ·doi:10.1214/13-AOS1175
[13] Lu,S.,“建立随机变分不等式解置信区域的新方法”,《优化:数学规划与运筹学杂志》,631431-1443(2014)·Zbl 1295.90093号 ·doi:10.1080/02331934.2012.727556
[14] Lu,S.,“随机变分不等式正规映射公式的对称置信区域和置信区间”,SIAM优化杂志,241458-1484(2014)·Zbl 1304.49022号
[15] 卢,S。;Budhiraja,A.,“随机变量特征的置信区间”,《运筹学数学》,38,545-568(2013)·Zbl 1291.90262号 ·doi:10.1287/门1120.0579
[16] 卢,S。;刘,Y。;尹,L。;Zhang,K.,“利用随机变分不等式技术优化拉索的置信区间和区域”,英国皇家统计学会杂志,B辑,79,589-611(2017)·Zbl 1414.62319号 ·doi:10.1111/rssb.12184
[17] 吕杰。;Fan,Y.,“使用正则化最小二乘法进行模型选择和稀疏恢复的统一方法”,《统计年鉴》,373498-3528(2009)·Zbl 1369.62156号 ·doi:10.1214/09-AOS683
[18] Mazumder,R。;弗里德曼,J。;Hastie,T.,“SparseNet:使用非凸性惩罚的坐标下降”,《美国统计协会期刊》,1061125-1138(2011)·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738
[19] 明绍森,N。;Bühlmann,P.,“用拉索选择高维图和变量”,《统计年鉴》,341436-1462(2006)·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[20] Nikolova,M.,“正则估计的局部强同质性”,SIAM应用数学杂志,61633-658(2000)·兹比尔0991.94015 ·doi:10.1137/S00361399997327794
[21] 宁,Y。;Liu,H.,“稀疏高维模型的假设检验和置信域的一般理论”,《统计学年鉴》,45,158-195(2017)·Zbl 1364.62128号 ·doi:10.1214/16-AOS1448
[22] 罗宾逊,S.M。;詹内西,F。;Maugeri,A.,变分不等式和网络平衡问题,“用正规映射技术对变分不等式进行敏感性分析”,257-269(1995),纽约:Plenum出版社,纽约·Zbl 0861.4909号
[23] 图恩,K.-H。;Wee,C.-Y。;Yap,P.-T。;沈,D。;阿尔茨海默病神经成像倡议,“通过矩阵收缩和完成使用不完整的多模态数据诊断神经退行性疾病”,NeuroImage,91,386-400(2014)·doi:10.1016/j.neuroimage.2014.01.033
[24] Tibshirani,R.,“通过拉索进行回归收缩和选择”,《皇家统计学会期刊》,B辑,58,267-288(1996)·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x
[25] Van de Geer,S。;Bühlmann,P。;Ritov,Y。;Dezeure,R.,“关于高维模型的渐近最优置信域和检验”,《统计年鉴》,第42期,第1166-1202页(2014年)·Zbl 1305.62259号 ·doi:10.1214/14-AOS1221
[26] 沃曼,A。;Shojaie,A。;Witten,D.,“用惩罚分数测试进行高维推断”,arXiv no,1401,2678(2014)
[27] Wu,T.T。;Lange,K.,“拉索惩罚回归的坐标下降算法”,《应用统计学年鉴》,224-244(2008)·Zbl 1137.62045号 ·doi:10.1214/07-AOAS147
[28] Zhang,C.H.,“极小极大凹罚下的几乎无偏变量选择”,《统计学年鉴》,38894-942(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[29] Zhang,C.H。;Zhang,S.S.,“高维线性模型中低维参数的置信区间”,《皇家统计学会杂志》,B辑,76,217-242(2014)·Zbl 1411.62196号 ·doi:10.1111/rssb.12026
[30] 赵,S。;Shojaie,A。;Witten,D.,“为不可辩护辩护:一种非常天真的高维推理方法”,arXiv编号1705.05543(2017)
[31] Zou,H.,“自适应套索及其Oracle属性”,《美国统计协会杂志》,1011418-1429(2006)·Zbl 1171.62326号 ·doi:10.1198/016214500000735
[32] 邹,H。;Hastie,T.,“通过弹性网的正则化和变量选择”,《统计年鉴》,67301-320(2005)·Zbl 1069.62054号 ·数字对象标识代码:10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。