×
魏凤荣；朱红晓

非凸惩罚回归的群坐标下降算法。 （英文） Zbl 1239.62082号

计算。统计数据分析。 56，第2期，316-326（2012）.
摘要：我们考虑了在线性回归和广义线性回归模型中基于惩罚似然选择分组变量的问题。为此，使用了许多惩罚函数，包括平滑剪裁绝对偏差（SCAD）惩罚和最小最大凹惩罚（MCP）。与常用的拉索函数相比，这些惩罚函数具有吸引人的理论性质，如无偏性和选择一致性。虽然使用这些惩罚的模型拟合方法已经很好地用于单个变量的选择，但对分组变量选择的扩展并不简单，并且由于惩罚函数的非凸性，拟合可能不稳定。为此，我们提出了群坐标下降（GCD）算法，该算法扩展了常规坐标下降算法。这些GCD算法是有效的，因为计算负担仅随协变量组的数量线性增加。
我们还表明，使用GCD算法，当样本大小大于协变量的维数时，估计参数收敛到全局最小值，否则收敛到局部最小值。此外，我们证明了目标函数局部凸的参数空间区域，即使惩罚是非凸的。除了线性模型中的群选择之外，GCD算法还可以扩展到广义线性回归。我们用一个逻辑回归的例子展示了扩展的细节。通过仿真研究和一个实际数据示例，展示了所提算法的效率，其中基于MCP和基于SCAD的GCD算法与Lasso组相比，提供了改进的组选择结果。

引用于15文件

MSC公司：

62J05型 线性回归；混合模型
62J12型 广义线性模型（逻辑模型）
65立方厘米60 统计中的计算问题（MSC2010）
90立方厘米 数学规划中的极小极大问题

关键词：

分组结构；高维度；极小极大凹罚；平滑剪裁绝对偏差惩罚

软件：

S+小波；PDCO公司；格尔姆奈特
PDF格式BibTeX公司 XML格式引用
\textit{F.Wei}和\textit{H.Zhu}，计算。统计数据分析。56，编号2，316-326（2012年；兹bl 1239.62082）
全文： 内政部

参考文献：

[1] Breiman，L.，模型选择中不稳定性和稳定性的启发式，Ann.Statist。，24, 2350-2383 (1996) ·Zbl 0867.62055号
[2] 布鲁斯，A.G。；Gao，H.Y.，《理解波收缩：方差和偏差估计》，《生物统计学》，第83、4、727页（1996年）·Zbl 0883.62038号
[3] 陈S.S。；Donoho，D.L。；桑德斯，M.A.，《通过基追踪进行原子分解》，SIAM J.Sci。计算。，20, 33-61 (1998) ·兹比尔0919.94002
[4] 埃夫隆，B。；哈斯蒂，T。；Johnstone，我。；Tibshirani，R.，最小角度回归，Ann.Statist。，32, 407-451 (2004) ·Zbl 1091.62054号
[5] 范，J。；Li，R.，通过非冲突惩罚似然进行变量选择及其预言性质，J.Amer。统计师。协会，96，456，1348-1361（2001）·Zbl 1073.62547号
[6] 弗里德曼，J。；哈斯蒂，T。；Höing，H。；Tibshirani，R.，路径坐标优化，Ann.Appl。统计，1，302-332（2007）·Zbl 1378.90064号
[7] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，通过坐标下降广义线性模型的正则化路径，J.Stat.Softw。，33, 1-22 (2010)
[8] Gao，H.Y。；Bruce，A.G.，《具有稳固收缩的波动收缩》，Statist。Sinica，7855-874（1997）·Zbl 1067.62529号
[9] 黄，J。；霍洛维茨，J.L。；魏福瑞，非参数模型中的变量选择，统计年鉴。，38, 2282-2313 (2010) ·Zbl 1202.62051号
[10] Meier，L。；van de Geer，S。；Bühlmann，P.，逻辑回归拉索组，J.Roy。统计师。Soc.B，70，第1部分，53-71（2008）·Zbl 1400.62276号
[11] 肖林，J.B。；Roach，J。；西格尔，M。；北巴图卡。；亨特，医学博士。；Guterbock，T.M。；Stewart，H.L.，《基于教会的非裔美国人农村戒烟干预措施试验》，Prev。医学，26，92-101（1997）
[12] Schwarz，G.，估算模型的维数，Ann.Statist。，6, 461-464 (1978) ·Zbl 0379.62005年
[13] Tibshirani，R.，《通过Lasso，J.Roy回归收缩和选择》。统计师。Soc.序列号。B、 58、267-288（1996）·Zbl 0850.62538号
[14] 魏，F.R。；Huang，J.，高维线性回归中的一致组选择，Bernoulli，16，4，1369-1384（2010）·Zbl 1207.62146号
[15] Wu，T.T。；Lange，K.，拉索惩罚回归的坐标下降算法，Ann.Appl。统计，224-244（2008）·Zbl 1137.62045号
[16] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.Roy。统计师。Soc.序列号。B、 68、49-67（2006）·兹比尔1141.62030
[17] 张春华，极小极大凹惩罚下的几乎无偏变量选择，安统计学家。，38894-942（2010年）·Zbl 1183.62120号
[18] Zhang，C.H。；Huang，J.，Lasso在高维线性回归中的模型选择一致性，Ann.Statist。，36, 1567-1594 (2008) ·Zbl 1142.62044号
[19] 邹，H。；Li，R.，非冲突惩罚似然模型中的一步稀疏估计，Ann.Statist。，36, 1509-1533 (2008) ·Zbl 1142.62027号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。