×

结构层次下的群正则估计。 (英语) Zbl 1398.62138号

总结:模型的变量选择(包括解释变量之间的交互)通常需要遵守某些层次约束。弱或强结构层次结构要求交互项的存在意味着模型中至少存在一个或两个相关的主效应。最近,这个问题引起了很多关注,但现有的计算算法收敛速度较慢,即使使用适量的预测因子。此外,与有关普通变量选择的丰富文献相比,缺乏统计理论来显示层次变量选择的合理低错误率。这项工作研究了一类新的估计量,它们利用多组惩罚来捕获结构简约性。我们证明了所提出的估计量具有尖锐的速率预言不等式,并给出了强、弱层次变量选择的极小极大下界。提出了一种保证收敛性和全局最优性的通用算法。仿真和实际数据实验证明了该方法的有效性。

MSC公司:

62甲12 多元分析中的估计
62J02型 一般非线性回归
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bauschke,H.H。;Combettes,P.L.,两个单调算子的类dykstra算法,太平洋优化杂志, 4, 383-391, (2008) ·Zbl 1176.47051号
[2] Bickel,P.J。;Ritov,Y。;Tsybakov,A.B.,套索和Dantzig选择器的同时分析,统计年鉴, 37, 1705-1732, (2009) ·Zbl 1173.62022号
[3] Bickel,P.J。;Ritov,Y。;Tsybakov,A.B。,借力:理论驱动应用——劳伦斯·D·布朗的一次重大变革,稀疏高维回归中变量的分层选择,56-69,(2010),俄亥俄州数理统计研究所
[4] Bien,J。;布尼亚,F。;Xiao,L.,协方差矩阵的凸带,美国统计协会杂志, 111, 834-845, (2016)
[5] Bien,J。;泰勒,J。;Tibshirani,R.,等级互动套索,统计年鉴, 41, 1111-1141, (2013) ·Zbl 1292.62109号
[6] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;Peleato,B。;Eckstein,J.,通过交替方向乘数法进行分布式优化和统计学习,机器学习的基础和趋势®, 3, 1-122, (2011) ·Zbl 1229.90122号
[7] Chipman,H.,贝叶斯变量选择及相关预测,加拿大统计杂志,24,17-36,(1996年)·Zbl 0849.62032号
[8] 新罕布什尔州Choi。;李伟(Li,W.)。;Zhu,J.,强遗传约束变量选择及其预言性质,美国统计协会杂志, 105, 354-364, (2010) ·Zbl 1320.62171号
[9] 科恩,J。;科恩,P。;西,S.G。;艾肯,L.S。,行为科学的应用多元回归/相关分析,(2013),新泽西州马赫瓦
[10] 戴维森·E·H。;Erwin,D.H.,基因调控网络和动物身体计划的进化,科学类, 311, 796-800, (2006)
[11] 滨田,M。;Wu,C.J.,复杂混叠设计实验分析,质量技术杂志, 24, 130-137, (1992)
[12] 郝,N。;Zhang,H.H.,超高维数据的交互筛选,美国统计协会杂志, 109, 1285-1301, (2014) ·Zbl 1368.62193号
[13] 哈斯蒂,T。;Tibshirani,R。;J.弗里德曼。,统计学学习的要素,(2009),Springer-Verlag,纽约·Zbl 1273.62005年
[14] 何毅。;她,Y。;Wu,D.,静态解析因果网络学习,机器学习研究杂志,143073-3104,(2013)·Zbl 1318.62174号
[15] Jenatton,R。;Mairal,J。;奥博津斯基,G。;Bach,F.,分层稀疏编码的近似方法,机器学习研究杂志, 12, 2297-2334, (2011) ·Zbl 1280.94029号
[16] 林,M。;Hastie,T.,通过分层群-群正则化学习交互,计算与图形统计杂志, 24, 627-654, (2015)
[17] Lounici,K。;庞蒂尔,M。;Van De Geer,S。;Tsybakov,A.B.,Oracle不等式与群稀疏下的最优推理,统计年鉴, 39, 2164-2204, (2011) ·Zbl 1306.62156号
[18] McCullagh,P。;Nelder,J.A。,广义线性模型,(1989),查普曼和霍尔,伦敦·Zbl 0744.62098号
[19] Negahban,S.N。;拉维库马尔,P。;Wainwright,M.J。;Yu,B.,高维分析的统一框架-具有可分解正则化子的估计量,统计科学, 27, 538-557, (2012) ·Zbl 1331.62350号
[20] Nelder,J.A.,线性模型的重新表述,英国皇家统计学会杂志, 140, 48-77, (1977)
[21] Nesterov,Y.,关于光滑凸函数最小化优化方法的构造方法,埃科诺姆。i.材料主体, 24, 509-517, (1988) ·Zbl 0659.90068号
[22] Owen,A.B.,套索回归和岭回归的稳健混合,当代数学, 443, 59-72, (2007) ·Zbl 1134.62047号
[23] 佩斯,R.K。;Barry,B.,稀疏空间自回归,统计与概率信件, 33, 291-297, (1997) ·Zbl 0901.62112号
[24] Peixoto,J.L.,多项式回归模型中的层次变量选择,美国统计学家, 41, 311-313, (1987)
[25] 公式化多项式回归模型的一个性质,美国统计学家, 44, 26-30, (1990)
[26] 拉德琴科,P。;James,G.M.,高维自适应非线性交互结构变量选择,美国统计协会杂志,1051541-1553,(2010)·Zbl 1388.62212号
[27] 拉维库马尔,P.D。;刘,H。;Lafferty,J.D。;洛杉矶Wasserman。,神经信息处理系统研究进展,20,《垃圾邮件:稀疏加性模型》,1201-1208,(2007),麻省理工学院出版社,马萨诸塞州剑桥
[28] 施密特,M。;Roux,N.L。;巴赫,F.R。;肖-泰勒,J。;泽梅尔,R。;Bartlett,P。;佩雷拉,F。;温伯格,K。,神经信息处理系统研究进展,24,凸优化的非精确近似粒度方法的收敛速度,1458-1466,(2011),Curran Associates,Inc.,Granada,西班牙
[29] She,Y.,用分组预测器拟合非凸惩罚广义线性模型的迭代算法,计算统计与数据分析, 56, 2976-2990, (2012) ·Zbl 1255.62209号
[30] 西蒙,N。;弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,稀疏群套索,计算与图形统计杂志, 22, 231-245, (2013)
[31] Tibshirani,R.,通过套索进行回归收缩和选择,英国皇家统计学会杂志, 58, 267-288, (1996) ·Zbl 0850.62538号
[32] van de Geer,S.,弱可分解正则化惩罚和结构化稀疏性,斯堪的纳维亚统计杂志, 41, 72-86, (2014) ·Zbl 1349.62325号
[33] 魏,F。;Huang,J.,高维线性回归中的一致组选择,伯努利,161369-1384,(2010)·Zbl 1207.62146号
[34] 吴杰。;德夫林,B。;林奎斯特,S。;特鲁克,M。;Roeder,K.,Screen and Clean:识别全基因组关联研究中相互作用的工具,遗传流行病学, 34, 275-285, (2010)
[35] 袁,M。;Lin,Y.,分组变量回归中的模型选择和估计,英国皇家统计学会杂志, 68, 49-67, (2006) ·Zbl 1141.62030号
[36] 张,C.-H。;Huang,J.,高维线性回归中套索选择的稀疏性和偏差,统计年鉴, 36, 1567-1594, (2008) ·兹比尔1142.62044
[37] 邹,H。;Hastie,T.,通过弹性网进行正则化和变量选择,英国皇家统计学会杂志, 67, 301-320, (2005) ·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。