柯成玉;Ahn、Miju;申善英;娄亦菲 基于对数复合正则化的迭代重加权群Lasso。 （英语） Zbl 1476.62157号 SIAM J.科学。计算。 43，第5号，S655-S678（2021）. 摘要：本文考虑了具有分组输入特征的标记数据的监督学习问题。这些组是不重叠的，因此与输入特征对应的模型系数形成不相交的组。系数具有组稀疏结构，即对应于每个组的系数应同时为零或非零。为了有效利用这种先验给定的群稀疏性结构，我们引入了一种新的对数复合正则化子，该正则化子可以通过迭代算法最小化。特别是，我们的算法迭代地解决了一个传统的组最小绝对收缩和选择算子（Lasso）问题，该问题涉及到对每个组的l_2范数求和，直到收敛。通过更新组权重，我们的方法强制上一次迭代中的一组较小系数与组Lasso相比更有可能设置为零。理论结果包括所提出模型的最小化特性以及在温和条件下迭代算法收敛到平稳解。我们在合成数据集和实际数据集上进行了大量实验，表明我们的方法在线性回归和二元分类方面的性能优于最先进的方法。 理学硕士： 62J07型 岭回归；收缩估计器（拉索） 62-08 统计问题的计算方法 65千5 数值数学规划方法 90C26型 非凸规划，全局优化 92C60型 医学流行病学 92天10分 遗传学和表观遗传学 关键词：群稀疏性;非凸正则化;迭代重加权算法;方向平稳性;变量选择 软件：ElemStatLearn（电子状态学习）;PDCO公司;格拉索;Yall1号机组 PDF格式BibTeX公司 XML格式引用 \textit{C.Ke}等人，SIAM J.Sci。计算。43，第5号，S655--S678（2021；Zbl 1476.62157） 全文： 内政部 参考文献： [1] M.Ahn，稀疏样本平均近似的d-平稳解的一致性界和支持恢复，J.Global Optim。，78（2020年），第397-422页·Zbl 1465.90067号 [2] M.Ahn、J.-S.Pang和J.Xin，《凸学习的差异：方向平稳性、最优性和稀疏性》，SIAM J.Optim。，27（2017），第1637-1665页，https://doi.org/10.1137/16M1084754。 ·Zbl 1369.90130号 [3] S.Bakin，数据挖掘问题中的自适应回归和模型选择，博士论文，澳大利亚国立大学，堪培拉，澳大利亚，1999年。 [4] S.Boyd、N.Parikh、E.Chu、B.Peleato和J.Eckstein，通过乘数交替方向方法进行分布式优化和统计学习，Found。趋势马赫数。学习。，3（2011年），第1-122页·Zbl 1229.90122号 [5] P.Breheny和J.Huang，带分组预测因子的非凸惩罚线性和逻辑回归模型的群下降算法，统计计算。，25（2015），第173-187页·Zbl 1331.62359号 [6] P.Breheny和J.Huang，《高维回归建模：方法、应用和软件》，文本统计科学。，Chapman&Hall/CRC，佛罗里达州博卡拉顿，2019年。 [7] E.J.Candès、J.Romberg和T.Tao，从不完整和不准确的测量中恢复稳定信号，Comm.Pure Appl。数学。，59（2006），第1207-1223页·邮编1098.94009 [8] E.J.CandeÉs和T.Tao，从随机投影中恢复接近最优的信号：通用编码策略？，IEEE传输。通知。《理论》，52（2006），第5406-5425页·Zbl 1309.94033号 [9] E.J.Candès和T.Tao，《Dantzig选择器：p远大于n时的统计估计》，Ann.Statist。，35（2007年），第2313-2351页·Zbl 1139.62019号 [10] E.J.Candès、M.B.Wakin和s.Boyd，通过重加权最小化增强稀疏性，J.Fourier Ana。申请。，14（2008），第877-905页·Zbl 1176.94014号 [11] S.S.Chen、D.L.Donoho和M.A.Saunders，通过基追踪进行原子分解，SIAM J.Sci。计算。，20（1998），第33-61页，https://doi.org/10.1137/S1648277596304010。 ·Zbl 0919.94002号 [12] A.P.Chiang、J.S.Beck、H.J.Yen、M.K.Tayeh、T.E.Scheetz、R.E.Swiderski、D.Y.Nishimura、T.A.Braun、K.-Y.A.Kim、J.Huang、K.Elbedour、R.Carmi、D.C.Slusarski、T.L.Casavant、E.M.Stone和V.C.Sheffield，用SNP阵列进行的纯合度映射将E3泛素连接酶TRIM32识别为Bardet-Biedl综合征基因（BBS11），程序。国家。阿卡德。科学。美国，103（2006），第6287-6292页。 [13] F.E.Curtis，Y.Dai和D.P.Robinson，涉及群稀疏诱导正则化的最小化子空间加速方法，预印本，https://arxiv.org/abs/2007.14951, 2020. [14] W.Deng，W.Yin，and Y.Zhang，《交替方向法的群稀疏优化》，载于《论文集》第8858卷：小波与稀疏性XV，SPIE，华盛顿州贝灵汉，2013年，第242-256页。 [15] D.L.Donoho，压缩传感，IEEE Trans。通知。《理论》，52（2006），第1289-1306页·Zbl 1288.94016号 [16] D.L.Donoho和X.Huo，测不准原理和理想原子分解，IEEE Trans。通知。《理论》，47（2001），第2845-2862页·Zbl 1019.94503号 [17] J.Fan和R.Li，通过非冲突惩罚似然选择变量及其预言性质，J.Amer。统计人员。协会，96（2001），第1348-1360页·Zbl 1073.62547号 [18] E.Forsythe和P.L.Beales，Bardet-Biedl综合征，《欧洲人类遗传学杂志》，21（2013），第8-13页。 [19] F.E.Harrell，Jr.、P.A.Margolis、S.Gove、K.E.Mason、E.K.Mulholland、D.Lehmann、L.Muhe、S.Gatchalian和H.F.Eichenwald，《序数结果临床预测模型的开发：世界卫生组织对婴幼儿肺炎、败血症和脑膜炎的临床症状和病因学因子的多中心研究》，《医学统计》，17（1998），第909-944页。 [20] T.Hastie和R.Tibshirani，广义加法模型，Monogr。统计人员。申请。普罗巴伯。43，查普曼和霍尔/CRC，伦敦，1990年·Zbl 0747.62061号 [21] T.Hastie、R.Tibshirani和J.Friedman，《统计学习的要素：数据挖掘、推断和预测》，第二版，Springer Ser。统计人员。，施普林格，纽约，2009年·Zbl 1273.62005年 [22] T.Hastie、R.Tibshirani和M.Wainwright，《稀疏的统计学习：套索和泛化》，Monogr。统计人员。申请。普罗巴伯。143，CRC出版社，佛罗里达州博卡拉顿，2015年·Zbl 1319.68003号 [23] J.Huang、P.Breheny和S.Ma，高维模型中群体选择的选择性综述，统计学。科学。，27（2012），第481-499页·Zbl 1331.62347号 [24] D.R.Hunter和K.Lange，MM算法教程，Amer。统计人员。，58（2004），第30-37页。 [25] D.T.Jamison、J.G.Breman、A.R.Measham、G.Alleyne、M.Claeson、D.B.Evans、P.Jha、A.Mills和P.Musgrove，《发展中国家的疾病控制优先次序》，世界银行，牛津大学出版社，纽约，2006年。 [26] T.Kronvall和A.Jakobsson，群解析回归的超参数选择：概率方法，信号处理。，151（2018），第107-118页。 [27] K.Lange，MM优化算法，SIAM，费城，2016，https://doi.org/10.1137/1.9781611974409。 ·Zbl 1357.90002号 [28] F.Lauer和H.Ohlsson，通过群稀疏优化找到多项式方程组的稀疏解，J.Global Optim。，62（2015），第319-349页·Zbl 1347.90078号 [29] X.Liao，H.Li和L.Carin，加权最小化的广义交替投影及其在基于模型的压缩传感中的应用，SIAM J.成像科学。，7（2014），第797-823页，https://doi.org/10.1137/10936658。 ·Zbl 1296.65088号 [30] Y.Lou和M.Yan，通过近端算子实现快速L1-L2最小化，J.Sci。计算。，74（2018），第767-785页·Zbl 1390.90447号 [31] Lou，P.Yin，Q.He，J.Xin，基于（{L_1}）和（{L_2}）的差异计算高相干字典中的稀疏表示，科学学报。计算。，64（2015），第178-196页·Zbl 1327.65111号 [32] L.Meier、S.Van De Geer和P.Buöhlmann，逻辑回归拉索组，J.R.Stat.Soc.Ser。B统计方法。，70（2008），第53-71页·Zbl 1400.62276号 [33] M.Nikolova，正则估计的局部强同质性，SIAM J.Appl。数学。，61（2000），第633-658页，https://doi.org/10.1137/S0036139997327794。 ·Zbl 0991.94015号 [34] J.S.Pang、M.Razaviyayn和A.Alvarado，计算非光滑DC程序的b-平稳点，数学。操作。决议，42（2017），第95-118页·Zbl 1359.90106号 [35] M.Y.Park和T.Hastie，广义线性模型的（L_1）正则化路径算法，J.R.Stat.Soc.Ser。B统计方法。，69（2007），第659-677页·Zbl 07555370号 [36] D.N.Phan和H.A.Le-Thi，通过（ell_{p，0}）正则化选择群变量并应用于最佳评分，神经网络，118（2019），第220-234页·Zbl 1441.62073号 [37] Z.Qin和D.Goldfarb，通过交替方向方法构造稀疏性，J.Mach。学习。Res.，13（2012），第1435-1468页·兹比尔1303.68108 [38] Y.Rahimi、C.Wang、H.Dong和Y.Lou，稀疏信号恢复的尺度-变方法，SIAM J.Sci。计算。，41（2019），第A3649-A3672页，https://doi.org/10.1137/18M123147X。 ·Zbl 1427.94050号 [39] A.Rakotomamonjy，测量和比较同时稀疏近似（或群-最小二乘）算法，信号处理。，91（2011），第1505-1526页·Zbl 1213.94044号 [40] M.Razaviyayn，M.Hong，和Z.-Q.Luo，非光滑优化的块逐次极小化方法的统一收敛性分析，SIAM J.Optim。，23（2013），第1126-1153页，https://doi.org/10.1137/120891009。 ·兹比尔1273.90123 [41] I.Rudan、C.Boschi-Pint、Z.Biloglav、K.Mulholland和H.Campbell，《儿童肺炎的流行病学和病因学》，公牛。世界卫生组织，86（2008），第408-416页。 [42] T.E.Scheetz、K.-Y.A.Kim、R.E.Swiderski、A.R.Philp、T.A.Braun、K.L.Knudtson、A.M.Dorrance、G.F.DiBona、J.Huang、T.L.Casavant、V.C.Sheffield和E.M.Stone，哺乳动物眼睛中基因表达的调节及其与眼病的相关性，Proc。国家。阿卡德。科学。美国，103（2006），第14429-14434页。 [43] S.Shin，J.Fine，和Y.Liu，《部分重叠模型的自适应估计》，《中国统计》，26（2016），第235-253页·Zbl 1419.62044号 [44] S.Shin、Y.Liu、S.R.Cole和J.P.Fine，《半参数回归模型的集合估计和变量选择》，《生物统计学》，107（2020），第433-448页·Zbl 1441.62103号 [45] R.Tibshirani，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B统计方法。，58（1996），第267-288页·Zbl 0850.62538号 [46] C.Wang、M.Yan、Y.Rahimi和Y.Lou\({五十} _1个/{五十} _2\)最小化，IEEE Trans。信号处理。，68（2020），第2660-2669页·Zbl 07590919号 [47] L.Wang、G.Chen和H.Li，微阵列时间进程基因表达数据的群体SCAD回归分析，生物信息学，23（2007），第1486-1494页。 [48] 王毅，尹文伟，曾俊华，非凸非光滑优化中ADMM的全局收敛性，科学学报。计算。，78（2019年），第29-63页·Zbl 1462.65072号 [49] D.Wipf和S.Nagarajan，寻找稀疏解的迭代重加权（ell_1）和（ell_2）方法，IEEE J.Sel。主题信号处理。，4（2010年），第317-329页。 [50] 吴彦、刘彦，分位数回归中的变量选择，《中国统计》2009年第19期，第801-817页·Zbl 1166.62012年 [51] 杨毅，邹宏，一种求解群-随机惩罚学习问题的快速统一算法，统计计算。，25（2015），第1129-1141页·Zbl 1331.62343号 [52] P.Yin、E.Esser和J.Xin，《（l_1）和（l_2）范数的比率和差异与连贯词典的稀疏表示》，Commun。通知。系统。，14（2014），第87-109页·兹比尔1429.94037 [53] 袁明源，林毅，分组变量回归中的模型选择与估计，J.R.Stat.Soc.Ser。B统计方法。，68（2007），第49-67页·Zbl 1141.62030号 [54] C.Zhang，极小极大凹罚下的近似无偏变量选择，Ann.Statist。，38（2010），第894-942页·Zbl 1183.62120号 [55] S.Zhang和J.Xin，变换惩罚最小化：理论，凸函数算法的差异，以及在压缩感知中的稳健应用，数学。程序。，169（2018），第307-336页·Zbl 1386.94049号 [56] Y.Zhang、N.Zhang，D.Sun和K.-C.Toh，用于求解大规模稀疏群Lasso问题的基于Hessian的高效算法，数学。程序。，179（2020），第223-263页·Zbl 1435.90112号 [57] Z.Zhao，S.Wang，C.Sun，R.Yan，X.Chen，轴承多故障诊断的稀疏多周期群套索，IEEE Trans。《仪器测量》，69（2019），第419-431页。 [58] Z.Zhao，S.Wu，B.Chaio，S.Wang，X.Chen，用于轴承故障诊断的增强稀疏周期组套索，IEEE Trans。工业电子。，66（2018），第2143-2153页。 [59] H.Zou，自适应套索及其预言属性，J.Amer。统计人员。协会，101（2006），第1418-1429页·Zbl 1171.62326号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。