×

高维数据MCP惩罚回归的交替方向乘数方法。 (英语) Zbl 1407.62263号

摘要:理论和实践证明,最小最大凹罚(MCP)在变量选择和参数估计的非凸惩罚中是有效的。在本文中,我们开发了一种高效的交替方向乘法器方法(ADMM)和连续算法,用于解决高维MCP惩罚的最小二乘问题。在一些温和的条件下,我们研究了该方法的收敛性和Karush-Kuhn-Tucker(KKT)最优性条件。开发了一种高维BIC来选择最佳调谐参数。仿真和实际数据示例表明了该方法的有效性和准确性。

MSC公司:

62年5月 线性回归;混合模型
2007年6月62日 岭回归;收缩估计器(拉索)
65千5 数值数学规划方法
90C26型 非凸规划,全局优化
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 贝克尔,S。;Bobin,J。;Candès,E.J.,NESTA:一种快速准确的稀疏恢复一阶方法,SIAM J.Imaging Sci。,4, 1-39, (2011) ·Zbl 1209.90265号 ·数字对象标识代码:10.1137/090756855
[2] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;等。,通过交替方向乘数法进行分布式优化和统计学习。趋势马赫数。学习。,3, 1-122, (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[3] Breheny,P。;Huang,J.,非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用,Ann.Appl。统计,5232-253,(2011)·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388
[4] Bühlmann,P.,Van De Geer,S.:《高维数据的统计:方法、理论和应用》,施普林格-弗拉格出版社,柏林,2011年·Zbl 1273.62015年 ·doi:10.1007/978-3-642-20192-9
[5] 范,Q。;焦,Y。;Lu,X.,压缩传感用带延拓的原始-对偶有源集算法,IEEE Trans。信号处理。,62, 6276-6285, (2014) ·Zbl 1394.94175号 ·doi:10.1109/TSP.2014.2362880
[6] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J.Stat.Softw。,33, 1-22, (2010) ·doi:10.18637/jss.v033.i01
[7] 高,H.Y。;Bruce,A.G.,WaveShrink with firm收缩,统计师。Sinica,7855-874(1997)·Zbl 1067.62529号
[8] Golub,G.H.,Van Loan,C.F.:《矩阵计算》(第4版),约翰·霍普金斯大学出版社,巴尔的摩,2013年·兹比尔1268.65037
[9] 洪,M。;罗志强。;Razaviyayn,M.,一类非凸问题的交替方向乘子法的收敛性分析,SIAM J.Optim。,26, 337-364, (2016) ·兹比尔1356.49061 ·数字对象标识代码:10.1137/140990309
[10] 黄,J。;Breheny,P。;Lee,S。;等。,变量选择的Mnet方法,Statist。Sinica,26,903-923,(2016)·Zbl 1356.62091号
[11] Huang,J.,Jiao,Y.,Liu,Y.等:高维稀疏线性回归的构造性方法,arXiv预印本arXiv:1701.05128v12017
[12] 黄,J。;马,S。;Zhang,C.H.,稀疏高维回归模型的自适应拉索,统计学。Sinica,第18期,1603-1618页,(2008年)·Zbl 1255.62198号
[13] 焦,Y。;Jin,B。;Lu,X.,一个具有连续算法的原对偶活动集\(ℓ\)0-正则优化问题,应用。计算。哈蒙。分析。,39, 400-426, (2015) ·Zbl 1329.49042号 ·doi:10.1016/j.aca.2014.10.001
[14] Jiao,Y.,Jin,B.,Lu,X.,et al.:一类非凸稀疏优化的原-对偶活动集算法,arXiv预印本arXiv:1310.1147v32016
[15] 焦,Y。;金,Q。;卢,X。;等。,线性反问题的交替方向乘数法,SIAM J.Numer。分析。,54, 2114-2137, (2016) ·Zbl 1342.65137号 ·数字对象标识代码:10.1137/15M1029308
[16] Jin,Z.F。;Wan,Z。;焦,Y。;等。,非凸低秩极小化的交替方向延拓方法,J.Sci。计算。,66, 849-869, (2015) ·Zbl 1342.65144号 ·doi:10.1007/s10915-015-0045-0
[17] 李,X。;Zhao,T。;袁,X。;等。,R,J.Mach中用于高维线性回归和精确矩阵估计的flare包。学习。决议,16553-557,(2015)·Zbl 1337.62007号
[18] 卢,Z。;Pong,T.K。;Zhang,Y.,寻找Dantzig选择器的交替方向方法,计算。统计师。数据分析。,56, 4037-4046, (2012) ·Zbl 1255.6206号 ·doi:10.1016/j.csda.2012.04.019
[19] Mazumder,R。;弗里德曼,J.H。;Hastie,T.,Sparsenet:协调下降与非凸惩罚,J.Amer。统计师。协会,1061125-1138,(2011)·兹比尔1229.62091 ·doi:10.1198/jasa.2011.tm09738
[20] 彭,B。;Wang,L.,高维非凸惩罚分位数回归的迭代坐标下降算法,J.Compute。图表。统计学。,24, 676-694, (2015) ·doi:10.1080/10618600.2014.913516
[21] Scheetz,T。;Kim,K。;斯维德斯基,R。;等。,哺乳动物眼睛中基因表达的调节及其与眼病的相关性,Proc。国家。阿卡德。科学。美国,103,14429-14434,(2006)·doi:10.1073/pnas.0602562103
[22] 西蒙,N。;弗里德曼,J。;哈斯蒂,T。;等。,Cox比例风险模型通过坐标下降的正则化路径,J.Stat.Softw。,39, 1-13, (2011) ·doi:10.18637/jss.v039.i05
[23] 宋,C。;Yoon,S。;Pavlovic,V.,带自适应惩罚的分布式优化快速ADMM算法,(2016)
[24] Tseng,P.,不可微极小化块坐标下降法的收敛性,J.Optim。理论应用。,109, 475-494, (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[25] Wang,H。;李,B。;Leng,C.,具有不同参数数量的收缩调整参数选择,J.R.Stat.Soc.Seri。B统计方法。,71, 671-683, (2009) ·Zbl 1250.62036号 ·文件编号:10.1111/j.1467-9868.2008.00693.x
[26] Wang,H。;李,R。;Tsai,C.L.,平滑剪裁绝对偏差方法的调整参数选择器,Biometrika,94,553-568,(2007)·Zbl 1135.62058号 ·doi:10.1093/biomet/asm053
[27] 王,L。;Kim,Y。;Li,R.,超高维非凸惩罚回归的校准,Ann.Statist。,41, 2505-2536, (2013) ·Zbl 1281.62106号 ·doi:10.1214/13-AOS1159
[28] Wang,Y.,Yin,W.,Zeng,J.:非凸非光滑优化中ADMM的全局收敛性。arXiv预印本,arXiv:1511.06324v5,2017
[29] Xu,Z.,Figueiredo,M.A.T.,Goldstein,T.:具有谱惩罚参数选择的自适应ADMM。arXiv预印本,arXiv:1605.07246v52017
[30] 杨,J。;Zhang,Y.,交替方向算法\(ℓ\)_{1} -问题在压缩传感中,SIAM J.Sci。计算。,33, 250-278, (2011) ·Zbl 1256.65060号 ·数字对象标识代码:10.1137/09077761
[31] Yu,L。;Lin,N。;Wang,L.,大规模非凸惩罚分位数回归的并行算法,(2017)
[32] Yu,Y。;Feng,Y.,APPLE:惩罚似然估计量的近似路径,统计计算。,24, 803-819, (2014) ·Zbl 1322.62092号 ·doi:10.1007/s11222-013-9403-7
[33] 袁欣,协方差选择模型的交替方向法,科学学报。计算。,51, 261-273, (2012) ·Zbl 1255.65031号 ·doi:10.1007/s10915-011-9507-1
[34] 张春华,极小极大凹惩罚下的几乎无偏变量选择,安统计学家。,38, 894-942, (2010) ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。