×

凹惩罚广义线性模型的坐标下降优化最小化。 (英文) 兹比尔1322.62190

摘要:最近的研究已经证明了一类凹罚函数在变量选择中的理论吸引力,包括平滑剪裁的绝对偏差和极小极大凹罚函数。然而,计算高维模型中的凹惩罚解是一项困难的任务。我们提出了一种坐标下降优化最小化(MMCD)算法来计算广义线性模型中的凹惩罚解。与使用惩罚函数的局部二次或局部线性近似的现有算法相比,市场管理与分销部寻求通过二次损失来优化负对数似然,但不使用惩罚的任何近似。该策略可以避免每次更新解时计算比例因子,从而提高坐标下降的效率。在一定的正则性条件下,我们建立了MMCD的理论收敛性。我们使用SCAD和MCP惩罚为惩罚逻辑回归模型实现了该算法。模拟研究和数据示例表明,在协变量数量远大于样本量的高维环境中,MMCD对于惩罚逻辑回归的工作速度足够快。

MSC公司:

62J07型 山脊回归;收缩估计器(拉索)
62J12型 广义线性模型(逻辑模型)
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Böhning,D.,Lindsay,B.:二次逼近算法的单调性。Ann.Inst.Stat.数学。40(4), 641-663 (1988) ·Zbl 0723.65150号 ·doi:10.1007/BF00049423
[2] Breheny,P.,Huang,J.:非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用。附录申请。统计5(1),232-253(2011)·Zbl 1220.62095号 ·doi:10.1214/10-OAS388
[3] Donoho,D.L.,Johnstone,J.M.:小波收缩的理想空间自适应。《生物特征》81(3),425-455(1994)·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[4] Efron,B.,Hastie,T.,Johnstone,I.,Tibshirani,R.:最小角度回归。Ann.Stat.32(2),407-451(2004)·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[5] Fan,J.,Li,R.:通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会杂志》96(456),1348-13608(2001)·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[6] Friedman,J.、Hastie,T.、Höfling,H.、Tibshirani,R.:路径坐标优化。附录申请。《统计》第1(2)卷,第302-332页(2007年)·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[7] Friedman,J.,Hastie,T.,Tibshirani,R.:通过坐标下降的广义线性模型的正则化路径。J.统计软件。33(1), 1-22 (2010)
[8] Hunter,D.R.,Lange,K.:MM算法教程。《美国统计》58(1),30-37(2004)·doi:10.1198/0003130042836
[9] Hunter,D.R.,Li,R.:使用MM算法的变量选择。Ann.Stat.33(4),1617-1642(2005年)·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[10] Jiang,D.,Huang,J.,Zhang,Y.:高维数据MCP-logistic回归的交叉验证AUC。统计方法医学研究(2011年,接受)。doi:10.1177/0962280211428385·Zbl 1267.65009号
[11] Lange,K.:优化。施普林格,纽约(2004)·Zbl 1140.90004号 ·doi:10.1007/978-1-4757-4182-7
[12] Lange,K.,Hunter,D.,Yang,I.:使用代理目标函数的优化转移(带讨论)。J.计算。图表。统计9(1),1-59(2000)
[13] Mazumder,R.、Friedman,J.、Hastie,T.:SparseNet:协调下降与非凸惩罚。《美国统计协会期刊》106(495),1125-1138(2011)·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738
[14] Ortega,J.M.,Rheinbold,W.C.:多变量非线性方程的迭代解。纽约学术出版社(1970)·Zbl 0241.65046号
[15] Osborne,M.R.,Presnell,B.,Turlach,B.A.:最小二乘问题中变量选择的新方法。IMA J.数字。分析。20(3), 389-403 (2000) ·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89
[16] R开发核心团队:R:统计计算的语言和环境。R统计计算基金会,奥地利维也纳,ISBN 3-900051-07-0。网址:http://www.R-project.org ·Zbl 1378.90064号
[17] Schifano,E.D.,Strawderman,R.L.,Wells,M.T.:非光滑惩罚目标函数的优化最小化算法。电子。《J Stat.4》,1258-1299(2010年)·Zbl 1267.65009号 ·doi:10.1214/10-EJS582
[18] Tibshirani,R.:通过拉索进行回归收缩和选择。J.R.统计社会服务。B 58(1),267-288(1996)·Zbl 0850.62538号
[19] Tseng,P.:不可微最小化的块坐标下降方法的收敛性。J.优化。理论应用。109(3), 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[20] van de Vijver,M.J.、He,Y.D.、van t Veer,L.J.等人:基因表达特征作为乳腺癌生存预测因子。北英格兰。《医学杂志》347(25),1999-2009(2002)·doi:10.1056/NEJMoa021967
[21] van t Veer,L.J.、Dai,H.、van de Vijver,M.J.等人:基因表达谱预测乳腺癌的临床结局。《自然》415(31),530-536(2002)·doi:10.1038/415530a
[22] Warge,J.:最小化某些凸函数。SIAM J.应用。数学。11(3), 588-593 (1963) ·Zbl 0128.05801 ·数字对象标识代码:10.1137/011043
[23] Wu,T.T.,Lange,K.:拉索惩罚回归的坐标下降算法。附录申请。统计数字2(1),224-244(2008)·Zbl 1137.62045号 ·doi:10.1214/07-AOAS147
[24] Zhang,C.H.:极小极大凹罚下的几乎无偏变量选择。Ann.Stat.38(2),894-942(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[25] Zou,H.,Li,R.:非洞穴惩罚似然模型中的一步稀疏估计。Ann.Stat.36(4),1509-1533(2008)·Zbl 1142.62027号 ·doi:10.1214/0090536007000000802
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。