×

非凸惩罚回归的坐标下降算法及其在生物特征选择中的应用。 (英语) Zbl 1220.62095号

摘要:已经提出了许多涉及非凸罚函数的变量选择方法。这些方法,包括平滑剪裁绝对偏差(SCAD)惩罚和最小最大凹惩罚(MCP),已被证明具有吸引人的理论性质,但模型拟合不是一项简单的任务,所得的解可能不稳定。我们展示了坐标下降算法在拟合这些模型、建立理论收敛特性以及证明它们比竞争方法快得多方面的潜力。此外,我们证明了凸性诊断在确定目标函数局部凸的参数空间区域中的实用性,即使惩罚不是。我们的模拟研究和数据示例表明,在许多应用中,像MCP和SCAD这样的非凸惩罚是值得选择的套索。特别是,我们的数值结果表明,MCP是三种方法中的首选方法。

MSC公司:

62J99型 线性推断、回归
62J20型 诊断、线性推理和回归
65立方厘米60 统计中的计算问题(MSC2010)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Breiman,L.(1996)。模型选择中不稳定性和稳定性的启发。安。统计师。24 2350-2383. ·Zbl 0867.62055号 ·doi:10.1214/aos/1032181158
[2] Bruce,A.G.和Gao,H.Y.(1996)。了解WaveShrink:方差和偏差估计。生物特征83 727-745。JSTOR公司:·Zbl 0883.62038号 ·doi:10.1093/biomet/83.4.727
[3] Donoho,D.L.和Johnstone,J.M.(1994)。通过小波收缩实现理想的空间自适应。生物特征81 425-455。JSTOR公司:·Zbl 0815.62019号 ·doi:10.1093/生物技术/81.3425
[4] Efron,B.、Hastie,T.、Johnstone,I.\和Tibshirani,R.(2004)。最小角度回归。安。统计师。32 407-451. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[5] Fan,J.和Li,R.(2001)。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348-1361。JSTOR公司:·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[6] Friedman,J.、Hastie,T.和Tibshirani,R.(2010)。广义线性模型的坐标下降正则化路径。J.统计。柔和。33 1-22.
[7] Friedman,J.、Hastie,T.、Höfling,H.和Tibshirani,R.(2007)。路径坐标优化。附录申请。统计师。1 302-332. ·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[8] Gao,H.Y.和Bruce,A.G.(1997)。波浪收缩,收缩牢固。统计师。Sinica 7 855-874号·Zbl 1067.62529号
[9] Golub,T.R.、Slonim,D.K.、Tamayo,P.、Huard,C.、Gaasenbeek,M.、Mesirov,J.P.、Coller,H.、Loh,M.L.、Downing,J.R.和Caligiuri,M.A.等人(1999年)。《癌症的分子分类:通过基因表达监测进行分类发现和分类预测》,《科学》286 531-536·Zbl 1047.65504号
[10] McCullagh,P.和Nelder,J.A.(1989)。广义线性模型。查普曼和霍尔/CRC,佛罗里达州博卡拉顿·兹比尔074462098
[11] Park,M.Y.和Hastie,T.(2007)。广义线性模型的L1正则化路径算法。J.罗伊。统计师。Soc.序列号。乙69 659-677·文件编号:10.1111/j.1467-9868.2007.00607.x
[12] Tibshirani,R.(1996)。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。乙58 267-288。JSTOR公司:·Zbl 0850.62538号
[13] 曾平(2001)。不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109 475-494. ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[14] Wu,T.T.和Lange,K.(2008)。套索惩罚回归的坐标下降算法。附录申请。统计师。2 224-244. ·Zbl 1137.62045号 ·doi:10.1214/07-AOAS174支持
[15] Yu,J.、Yu,J、Almal,A.A.、Dhanasekaran,S.M.、Ghosh,D.、Worzel,W.P.和Chinnaiyan,A.M.(2007)。利用遗传编程进行癌症特征选择和分子分类。肿瘤9 292-303。
[16] Zhang,C.H.(2010)。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[17] Zou,H.和Li,R.(2008)。非凹陷惩罚似然模型中的一步稀疏估计。安。统计师。36 1509-1533. ·Zbl 1142.62027号 ·doi:10.1214/0090536007000000802
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。