×

一种快速统一的算法用于解决群法惩罚学习问题。 (英语) Zbl 1331.62343号

摘要:本文讨论了一类群体学习问题,其中目标函数是经验损失和群体惩罚之和。对于一类满足二次优化条件的损失函数,我们导出了一种称为群优化下降(GMD)的统一算法,用于有效地计算相应的群套索惩罚学习问题的解路径。GMD允许使用一般设计矩阵,而不要求预测因子是群正交的。作为示例,我们开发了具体的算法来求解组-差惩罚最小二乘和几个组-差罚大边距分类器。这些群-群模型已在R包中实现格拉索可从综合R档案网络(CRAN)公开获取,网址:http://cran.r-project.org/web/packages/gglasso.根据模拟数据和实际数据,格拉索在计算群套索方面始终优于现有软件,该软件实现了经典的逐群下降算法或内斯特罗夫的方法。

MSC公司:

62J05型 线性回归;混合模型
62J07型 山脊回归;收缩估计器(拉索)
62-04 统计相关问题的软件、源代码等
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Alon,U.、Barkai,N.、Notterman,D.、Gish,K.、Ybara,S.、Mack,D.、Levine,A.:寡核苷酸阵列探测的肿瘤和正常结肠组织的聚类分析揭示了广泛的基因表达模式。程序。美国国家科学院。科学。96(12), 6745 (1999) ·doi:10.1073/pnas.96.12.6745
[2] Daubechies,I.,Defrise,M.,De-Mol,C.:具有稀疏约束的线性反问题的迭代阈值算法。Commun公司。纯应用程序。数学。57, 1413-1457 (2004) ·Zbl 1077.65055号 ·doi:10.1002/cpa.20042
[3] Efron,B.,Hastie,T.,Johnstone,I.,Tibshirani,R.:最小角度回归。Ann.Stat.32(2),407-451(2004)·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[4] Friedman,J.,Hastie,T.,Tibshirani,R.:通过坐标下降广义线性模型的正则化路径。J.统计软件。33, 1-22 (2010) ·doi:10.18637/jss.v033.i01
[5] Fu,W.:惩罚回归:桥梁与套索。J.计算。Gr.Stat.7(3),397-416(1998)
[6] Genkin,A.,Lewis,D.,Madigan,D.:文本分类的大尺度贝叶斯逻辑回归。技术计量学49(3),291-304(2007)·doi:10.1198/004017000000245
[7] Gorman,R.,Sejnowski,T.:分析经过训练的分层网络中的隐藏单元,以对声纳目标进行分类。神经网络。1(1), 75-89 (1988) ·doi:10.1016/0893-6080(88)90023-8
[8] Graham,K.、de Las Morenas,A.、Tripathi,A.、King,C.、Kavanah,M.、Mendez,J.、Stone,M.、Slama,J.、Miller,M.、Antoine,G.等人:乳腺癌患者和无癌预防性乳房切除术患者的组织学正常上皮中的基因表达具有相似的特征。英国癌症杂志102(8),1284-1293(2010)·doi:10.1038/sj.bjc.6605576
[9] Hunter,D.,Lange,K.:MM算法教程。《美国统计》58(1),30-37(2004)·doi:10.1198/0003130042836
[10] Lange,K.,Hunter,D.,Yang,I.:使用替代目标函数优化转移(带讨论)。J.计算。Gr.Stat.9,1-20(2000年)
[11] Liu,J.,Ji,S.,Ye,J.:《SLEP:稀疏学习与有效投影》,亚利桑那州立大学。网址:http://www.public.asu.edu/jye02/Software/SLEP (2009) ·Zbl 1006.65062号
[12] Meier,L.,van de Geer,S.,Bühlmann,P.:逻辑回归的组套索。J.R.统计社会服务。B 70,53-71(2008)·Zbl 1400.62276号 ·文件编号:10.1111/j.1467-9868.2007.00627.x
[13] Nesterov,Y.:“凸优化入门讲座:基础课程”,运筹学。(2004) ·Zbl 1086.90045号
[14] Nesterov,Y.:最小化复合目标函数的梯度方法,技术报告,技术报告、运营研究和计量经济中心(CORE),鲁汶天主教大学(UCL)(2007)
[15] Osborne,M.,Presnell,B.,Turlach,B.:最小二乘问题中变量选择的新方法。IMA J.数字。分析。20(3), 389-403 (2000) ·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89
[16] Quinlan,J.:结合基于实例和基于模型的学习。摘自:《第十届机器学习国际会议论文集》,第236-243页(1993)
[17] Sbö,S.,Almöy,T.,Aaröe,J.,Aastveit,A.:St-pls:通过pls的多向最近收缩质心类型分类器。化学杂志。22(1), 54-62 (2008) ·doi:10.1002/em.1101
[18] Scheetz,T.、Kim,K.、Swiderski,R.、Philp,A.、Braun,T.,Knudtson,K.,Dorrance,A.、DiBona,G.、Huang,J.、Casavant,T..等:哺乳动物眼睛中基因表达的调节及其与眼病的相关性。程序。美国国家科学院。科学。103(39), 14429-14434 (2006) ·doi:10.1073/pnas.0602562103
[19] Segal,M.,Dahlquist,K.,Conklin,B.:微阵列数据分析的回归方法。J.计算。生物学10(6),961-980(2003)·doi:10.1089/106652703322756177
[20] Singh,D.、Febbo,P.、Ross,K.、Jackson,D.、Manola,J.、Ladd,C.、Tamayo,P.,Renshaw,A.、D'Amico,A.、Richie,J.等人:基因表达与前列腺癌临床行为相关。癌细胞1(2),203-209(2002)·doi:10.1016/S1535-6108(02)00030-2
[21] Tibshirani,R.:通过套索进行回归收缩和选择。J.R.统计社会服务。B 58267-288(1996)·Zbl 0850.62538号
[22] Tibshirani,R.,Bien,J.,Friedman,J.、Hastie,T.、Simon,N.、Taylor,J.和Tibshilani,R.:套索型问题中抛弃预测因子的强规则。J.R.统计社会服务。B 74245-266(2012)·Zbl 1411.62213号 ·文件编号:10.1111/j.1467-9868.2011.01004.x
[23] Tseng,P.:不可微极小化的块坐标下降法的收敛性。J.优化。理论应用。109(3), 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[24] Vogt,J.,Roth,V.:对\[l_{1,p}\]l1,p群lasso的完整分析。收录:《第29届国际机器学习大会论文集》(ICML-12),ICML2012,Omnipress,第185-192页(2012)·Zbl 1091.62054号
[25] Wang,H.,Leng,C.:关于自适应群套索的注释。计算。统计数据分析。52, 5277-5286 (2008) ·Zbl 1452.62524号 ·doi:10.1016/j.csda.2008.05.006
[26] Wang,L.,Zhu,J.,Zou,H.:用于微阵列分类和基因选择的混合huberized支持向量机。生物信息学24,412-419(2008)·doi:10.1093/bioinformatics/btm579
[27] Wu,T.,Lange,K.:套索惩罚回归的坐标下降算法。附录申请。统计数字2,224-244(2008)·Zbl 1137.62045号 ·doi:10.1214/07-AOAS147
[28] Wu,T.,Lange,K.:MM替代EM.Stat.Sci。4, 492-505 (2010) ·Zbl 1329.62106号 ·doi:10.1214/08-STS264
[29] Yuan,M.,Lin,Y.:分组变量回归中的模型选择和估计。J.R.统计社会服务。B 68,49-67(2006)·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[30] Zhang,T.:基于凸风险最小化的分类方法的统计行为和一致性。Ann.Stat.32,56-85(2004年)·Zbl 1105.62323号 ·doi:10.1214/aos/1079120130
[31] Zou,H.:自适应套索及其预言属性。《美国统计协会期刊》101,1418-1429(2006)·Zbl 1171.62326号 ·doi:10.1198/016214500000735
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。