×
李桑根;哦，Miae;金永代（Kim，Yongdai）

非凸群惩罚估计的稀疏优化。 （英语） Zbl 1510.62310号

J.统计计算。模拟 86，第3期，597-610（2016）。
摘要：我们考虑一个线性回归模型，其中协变量中存在组结构。建议使用LASSO组来选择组变量。将许多非凸罚函数（如平滑剪裁绝对偏差和极小极大凹罚函数）推广到群变量选择问题。群坐标下降（GCD）算法被广泛用于拟合这些模型。然而，由于计算复杂性，除非设计矩阵是正交的，否则GCD算法很难应用于非凸群惩罚。本文将凹凸过程与群LASSO算法相结合，提出了一种有效的非凸群惩罚优化算法。我们还将所提出的算法推广到广义线性模型。我们通过模拟数据和实际数据集评估了该算法和现有GCD算法的数值效率。

引用于7文件

MSC公司：

62J07型 岭回归；收缩估计器（拉索）
62J05型 线性回归；混合模型
62G08号 非参数回归和分位数回归
62-08 统计学相关问题的计算方法
62J12型 广义线性模型（逻辑模型）

关键词：

凹凸程序;拉索组;无争议罚款;变量选择
PDF格式BibTeX公司 XML格式引用
\textit{S.Lee}等人，J.Stat.计算。模拟86，No.3，597--610（2016；Zbl 1510.62310）
全文： 内政部

参考文献：

[1] 袁明，林毅。分组变量回归中的模型选择和估计。J R Stat Soc Ser B.2006年；68:49-67. doi:10.1111/j.1467-9868.2005302.x[交叉引用]，[谷歌学者]·兹比尔1141.62030
[2] Tibshirani R.通过套索回归收缩和选择。J R Stat Soc Ser B.1996；第58:267-288页。[Crossref]，[Google学者]·Zbl 0850.62538号
[3] Kim Y，Kim J，Kim Y.分块稀疏回归。中央统计局。2006;16:375-390. [网络科学®]，[谷歌学者]·Zbl 1096.62076号
[4] 巴赫FR.拉索组的一致性和多核学习。《马赫学习研究杂志》，2008年；16:1369-1384. [谷歌学者]
[5] 黄杰，张涛。群体稀疏的好处。安·统计师。2010;38:1978-2004. doi:10.1214/09-AOS778[Crossref]，[Web of Science®]，[Google学者]·Zbl 1202.62052号
[6] Wei F，Huang J.高维线性回归中的一致组选择。伯努利。2010;16:1369-1384. doi:10.3150/10-BEJ252[Crossref]，[PubMed]，[Web of Science®]，[Google学者]·Zbl 1207.62146号
[7] Wang L，Chen G，Li H。微阵列时间进程基因表达数据的SCAD回归分析。生物信息学。2007;23:1486-1494. doi:10.1093/生物信息学/btm125[Crossref]，[PubMed]，[Web of Science®]，[Google学者]
[8] 黄J，魏凤，马S.半参数回归追求。中央统计局。2012;22:1403-1426. [PubMed]、[Web of Science®]、[Google学者]·Zbl 1253.62024号
[9] Huang J，Breheny P，Ma S.高维模型中群体选择的选择性综述。统计科学。2012;27:481-499. doi:10.1214/12-STS392[Crosref]，[Web of Science®]，[谷歌学者]·Zbl 1331.62347号
[10] Wei F，Zhu H。非凸惩罚回归的群坐标下降算法。计算统计数据分析。2012;56:316-326. doi:10.1016/j.csda.2011.08.007[Crossref]，[Web of Science®]，[Google学者]·Zbl 1239.62082号
[11] Friedman J，Hastie T，Tibshirani R.关于群套索和稀疏群套索的注释。arXiv预印arXiv:1001.07362010。[谷歌学者]
[12] Foygel R，Drton M.线性回归的群套索和稀疏群套索中的精确分块优化。arXiv预打印arXiv:1010.3320。[谷歌学者]
[13] Qin Z，Scheinberg K，Goldfarb D。群套索的高效块坐标下降算法。数学程序计算。2013;5:143-169. doi:10.1007/s12532-013-0051-x[Crossref]，[Google学者]·兹比尔1275.90059
[14] Yuille AL，Rangarajan A.凹-凸过程。神经计算。2003;15:915-936. doi:10.1162/08997660360581958[Crossref]，[PubMed]，[Web of Science®]，[Google学者]·兹比尔1022.68112
[15] Friedman J，Hastie T，Höfling H，Tibshirani R.路径坐标优化。Ann Appl统计。2007;1:302-332. doi:10.1214/07-AOAS131[Crossref]，[Web of Science®]，[Google学者]·Zbl 1378.90064号
[16] 傅伟杰。惩罚回归：桥梁与套索。计算图统计学杂志。1998;7:397-416. [Taylor&Francis在线]、[Web of Science®]、[谷歌学者]
[17] Fan J，Li R.基于非冲突惩罚似然的变量选择及其预言性质。J Amer统计协会，2001年；96:1348-1360. doi:10.1198/016214501753382273[Taylor&Francis Online]，[Web of Science®]，[Google学者]·Zbl 1073.62547号
[18] Zhang C-H。极小极大凹罚下的几乎无偏变量选择。安·统计师。2010;38:894-942. doi:10.1214/09-AOS729[Crossref]，[Web of Science®]，[Google学者]·Zbl 1183.62120号
[19] Breheny P，Huang J.带分组预测因子的非凸惩罚线性和logistic回归模型的组下降算法。统计计算。2012;25:173-187. doi:10.1007/s1122-013-9424-2[Crossref]，[Web of Science®]，[Google学者]·Zbl 1331.62359号
[20] Tseng P.不可微极小化的块坐标下降方法的收敛性。最优化理论应用杂志。2001;109:475-494. doi:10.1023/A:1017501703105[Crossref]，[Web of Science®]，[Google学者]·Zbl 1006.65062号
[21] Kim Y，Kwon S.非凸惩罚估计的全局最优性。生物特征。2012;99:315-325. doi:10.1093/biomet/asr084[Crossref]，[Web of Science®]，[Google学者]·Zbl 1318.62240号
[22] Kim Y、Choi H、Oh H-S在高维上平滑地剪裁了绝对偏差。J Amer统计协会，2008年；103:1665-1673. doi:10.1198/016214500000166[Taylor&Francis Online]，[Web of Science®]，[Google学者]·Zbl 1286.62062号
[23] Lee S，Kim Y，Kwon S.参数发散的非凸惩罚估计的二次逼近。统计Probab Lett。2012;82:1710-1717. doi:10.1016/j.spl.2012.05.012[Crossref]，[Web of Science®]，[Google学者]·Zbl 1334.62129号
[24] Collbert R，Sinz F，Weston J，Bottou L.大型转导SVM。J Mach Learn Res.2006；7:1687-1712. [网络科学®]，[谷歌学者]·Zbl 1222.68173号
[25] Shen X、Tseng GC、Zhang X、Wong WH。关于ψ-学习。J Amer统计协会，2003年；98:724-734. doi:10.1198/0162145000000639[Taylor&Francis Online]，[Web of Science®]，[Google学者]·Zbl 1052.62095号
[26] McCullagh P，日本内尔德。广义线性模型。纽约：查普曼和霍尔/CRC；1989.【Crossref】，【谷歌学者】·兹比尔074462098
[27] Lee S，Kwon S，Kim Y.##img###img####img的改进局部二次近似算法##ℓ1-惩罚凸优化。2014年，即将推出。[谷歌学者]
[28] Breiman L，Friedman J.估计多元回归和相关性的最佳转换。J Amer统计协会，1985年；80:580-598. doi:10.1080/01621459.1985.10478157[Taylor&Francis Online]，[Web of Science®]，[Google学者]·兹比尔0594.62044
[29] Hastie TJ，Tibshirani R.广义加性模型。佛罗里达州博卡拉顿：查普曼和霍尔/CRC；1990.[谷歌学者]·Zbl 0747.62061号
[30] Lin Y、Zhang HH。多元非参数回归中的成分选择与平滑。安·统计师。2006;34:2272-2297. doi:10.1214/00905360000000722[Crossref]，[Web of Science®]，[Google学者]·Zbl 1106.62041号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。