×

惩罚优化问题的改进局部二次近似算法。 (英语) Zbl 1468.62114号

摘要:在本文中,我们提出了一种优化算法,称为改进的局部二次逼近算法用于最小化各种受(ell1)惩罚的凸损失函数。该算法迭代求解损失函数的(ell_1)惩罚局部二次近似,并在无法减少原始(ell_1-)惩罚损失函数时修改解。作为扩展,我们将所提出的算法与凹凸过程相结合,构造了一种最小化各种非凸惩罚凸损失函数的算法,该算法可以应用于大多数非凸惩罚函数,如平滑剪裁的绝对偏差和极小极大凹罚函数。数值研究表明,该算法对于求解高维惩罚优化问题是稳定和快速的。

MSC公司:

62-08 统计问题的计算方法
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿隆,美国。;北巴尔凯。;诺特曼,D.A。;吉什,K。;伊巴拉,S。;麦克,D。;Levine,A.J.,通过寡核苷酸阵列探测肿瘤和正常结肠组织的聚类分析揭示的广泛基因表达模式,Proc。国家。阿卡德。科学。,96, 6745-6750, (1999)
[2] Bishop,C.M.,《模式识别的神经网络》,(1995),克拉伦登出版社,牛津
[3] Böhning,D。;Lindsay,B.G.,二次近似算法的单调性,《统计年鉴》。数学。,40, 641-663, (1988) ·Zbl 0723.65150号
[4] Breheny,P。;Huang,J.,非凸惩罚回归的坐标下降算法及其在生物特征选择中的应用,Ann.Appl。统计,5232-253,(2011)·Zbl 1220.62095号
[5] 陈S.S。;Donoho,D.L。;桑德斯,M.A.,《基追踪原子分解》,SIAM J.Sci。计算。,20, 33-61, (1999) ·兹比尔0919.94002
[6] De Borst,R。;医学硕士克里斯菲尔德。;雷默斯,J.J。;Verhoosel,C.V.,《固体和结构的非线性有限元分析》(2012),John Wiley and Sons·Zbl 1300.74002号
[7] Dudoit,S。;Fridlyand,J。;Speed,T.P.,《利用基因表达数据对肿瘤进行分类的鉴别方法比较》,J.Amer。统计师。协会,97,77-87,(2002)·Zbl 1073.62576号
[8] 埃夫隆,B。;哈斯蒂,T。;Johnstone,我。;Tibshirani,R.,最小角度回归,Ann.Statist。,32, 407-499, (2004) ·Zbl 1091.62054号
[9] 范,J。;Li,R.,通过非冲突惩罚似然进行变量选择及其预言性质,J.Amer。统计师。协会,96,1348-1360,(2001)·Zbl 1073.62547号
[10] 弗里德曼,J。;哈斯蒂,T。;Höfling,H。;Tibshirani,R.,路径坐标优化,Ann.Appl。统计,1,302-332,(2007)·Zbl 1378.90064号
[11] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J.Stat.Softw。,33, 1-22, (2010)
[12] Gunn,S.R。;Kandola,J.S.,《稀疏核结构建模》,马赫。学习。,48, 115-136, (2002) ·Zbl 0998.68119号
[13] Kim,Y。;Choi,H。;哦,H.S.,J.Amer,在高维上平滑地剪裁了绝对偏差。统计师。协会,103,1665-1673,(2008)·Zbl 1286.62062号
[14] Kim,J。;Kim,Y。;Kim,Y.,LASSO,J.Compute基于梯度的优化算法。图表。统计人员。,17, 994-1009, (2008)
[15] Kim,Y。;Kwon,S。;Song,S.,使用基因表达数据对多种癌症类型进行分类的多类稀疏逻辑回归,计算。统计师。数据分析。,51, 1643-1655, (2006) ·Zbl 1157.62535号
[16] Krishnapuram,B。;Carin,L。;Figueiredo,M。;Hartemink,A.,《稀疏多项式逻辑回归:快速算法和推广界限》,IEEE Trans。模式分析。机器。智力。,27, 957-968, (2005)
[17] Lokhorst,J.,Turlach,B.A.,Venables,W.N.,Lasso2:一个S-Plus库,用于解决回归问题,同时对参数施加\(ell_1\)-约束。R-lasso2 Library中的文档,2006年。
[18] 奥斯本,M.R。;Presnell,B。;Turlach,B.A.,《最小二乘问题中变量选择的新方法》,IMA J.Numer。分析。,20, 389-404, (2000) ·Zbl 0962.65036号
[19] 帕克,M。;Hastie,T.,\(L_1\)-广义线性模型的正则化路径算法,J.R.Stat.Soc.Ser。B、 69659-667(2007)·Zbl 07555370号
[20] Piazza,J.A.,《阿富汗各省的鸦片贸易和恐怖主义模式:实证分析》,恐怖。政治暴力,24,213-234,(2012)
[21] Rosset,S。;朱,J.,分段线性正则解路径,Ann.Statist。,351012-1030,(2007年)·Zbl 1194.62094号
[22] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.R.Stat.Soc.Ser。B、 58267-288(1996)·Zbl 0850.62538号
[23] 袁国喜。;Ho,C.H。;Lin,C.J.,《用于l1-正则逻辑回归的改进GLMNET》,J.Mach。学习。1999年至2030年第13号决议(2012年)·Zbl 1432.68404号
[24] 尤耶,A。;Rangarajan,A.,概念-凸过程,神经计算。,15, 915-936, (2003) ·Zbl 1022.68112号
[25] 张春华,极小极大凹惩罚下的几乎无偏变量选择,安统计学家。,38, 894-942, (2010) ·Zbl 1183.62120号
[26] Zhang,H.H。;瓦赫巴,G。;Lin,Y。;沃克尔,M。;费里斯,M。;Rklein,R。;Klein,B.,通过似然基追踪进行变量选择和模型构建,J.Amer。统计师。协会,99,659-672,(2004)·Zbl 1117.62459号
[27] 邹,H。;Li,R.,非冲突惩罚似然模型中的一步稀疏估计,Ann.Statist。,36, 1509-1533, (2008) ·Zbl 1142.62027号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。