×

硬阈值正则逻辑回归:理论和算法。 (英语) Zbl 1481.62043号

小结:考虑了特征数大于样本数的高维硬阈值正则逻辑回归。建立了全局解的尖锐预言不等式。如果目标信号是可检测的,则证明估计值与真实支持值很有可能重合。从KKT条件出发,我们引入了用于拟合的原始和对偶活动集算法,并考虑了该算法的序列版本和热启动策略。仿真和实际数据分析表明,SPDAS在计算效率、估计精度、支持恢复和分类方面均优于LASSO、MCP和SCAD方法。

MSC公司:

62J12型 广义线性模型(逻辑模型)

软件:

格尔姆奈特
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] A.Antoniadis,《统计学中的小波方法:一些最新发展及其应用》,Stat.Surv。1, 16-55 (2007). ·Zbl 1300.62028号
[2] P.Breheny和J.Huang,非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用,Ann.Appl。《统计》第5(1)卷第232页(2011年)·兹比尔1220.62095
[3] J.Fan和R.Li,通过非冲突惩罚似然选择变量及其预言性质,J.Amer。统计师。协会96(456),1348-1360(2001)·Zbl 1073.62547号
[4] J.Friedman、T.Hastie和R.Tibshirani,通过坐标下降法实现广义线性模型的正则化路径,J.Stat.Softw。33(1),1(2010)。
[5] 黄建华,焦义英,金斌,刘建平,卢晓霞,杨春阳,非凸稀疏恢复的一种统一的原-对偶活动集算法,Statist。科学。36(2), 215-238 (2021). ·Zbl 07368234号
[6] Y.Kim,S.Kwon和H.Choi,高维一致模型选择标准,J.Mach。学习。第13号决议,1037-1057(2012年)·Zbl 1283.62143号
[7] X.Li,L.Yang,J.Ge,J.Haupt,T.Zhang和T.Zhao,关于非凸稀疏学习中dc近接牛顿算法的二次收敛性,NIPS。30 (2017).
[8] P.L.Loh和M.J.Wainwright,非凸正则M-估计:局部最优的统计和算法理论,J.Mach。学习。第16(1)号决议,559-616(2015)·Zbl 1360.62276号
[9] S.Luo和Z.Chen,超高维特征空间特征选择的顺序套索和ebic,J.Amer。统计师。协会109(507),1229-1240(2014)·Zbl 1368.62205号
[10] P.McCullagh和J.A.Nelder,广义线性模型,Routledge(2019)·Zbl 0588.62104号
[11] J.A.Nelder和R.W.Wedderburn,广义线性模型,J.Roy。统计师。Soc.序列号。A.135(3),370-384(1972)。
[12] Y.Nesterov,最小化复合函数的梯度方法,数学。程序。140(1), 125-161 (2013). ·Zbl 1287.90067号
[13] M.Y.Park和T.Hastie,广义线性模型的L1正则化路径算法,J.R.Stat.Soc.Ser。B.统计方法。69(4), 659-677 (2007). ·兹伯利07555370
[14] R.T.Rockafellar和R.J.B.Wets,变分分析(第317卷),施普林格科学与商业媒体(2009年)·Zbl 0888.49001号
[15] 石彦,黄建华,焦彦,杨庆庆,高维非凸稀疏学习的半光滑牛顿算法,IEEE Trans。神经网络。学习。系统。31(8), 2993-3006 (2019).
[16] R.Tibshirani,《通过套索进行回归收缩和选择》,J.R.Stat.Soc.Ser。B.统计方法。58(1), 267-288 (1996). ·Zbl 0850.62538号
[17] S.A.Van de Geer,高维广义线性模型和套索,Ann.Statist。36(2), 614-645 (2008). ·Zbl 1138.62323号
[18] L.Wang,Y.Kim和R.Li,超高维非凸惩罚回归的校准,Ann.Statist。41(5), 2505 (2013). ·Zbl 1281.62106号
[19] 王振华,刘海平,张东东,稀疏非凸学习问题的最优计算和统计收敛速度,统计年鉴。42(6), 2164 (2014). ·兹比尔1302.62066
[20] C.H.Zhang和T.Zhang.高维稀疏估计问题凹正则化的一般理论,Statist。科学。27(4), 576-593 (2012). ·Zbl 1331.62353号
[21] H.Zou和T.Hastie,《通过弹性网进行正则化和变量选择》,J.R.Stat.Soc.Ser。B.统计方法。67(2), 301-320 (2005). ·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。