×

群稀疏多项式logistic回归的子空间二次正则化方法。 (英语) Zbl 1472.62122号

摘要:稀疏多项式logistic回归最近受到了广泛关注。它为解决信号和图像处理、机器学习和疾病诊断等各个领域的多分类问题提供了一个有用的工具。本文首先研究了群稀疏多项式logistic回归模型,并建立了其最优性条件。基于该模型的理论结果,我们提出了一种有效的算法,称为子空间二次正则化算法,用于计算给定问题的驻点。该算法具有良好的收敛性,包括全局收敛性和局部二次收敛性。最后,我们在标准基准数据上的数值结果清楚地表明了我们提出的算法在逻辑损失值、稀疏恢复和计算时间方面的优越性能。

MSC公司:

62J12型 广义线性模型(逻辑模型)
62-08 统计问题的计算方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bahmani,S。;拉吉,B。;Boufounos,P.,贪婪稀疏约束优化,J.Mach。学习。研究,14807-841(2013)·Zbl 1320.90046号
[2] 贝克,A。;Hallak,N.,涉及群稀疏项的优化问题,数学。程序。,178, 39-67 (2019) ·Zbl 1430.90465号 ·doi:10.1007/s10107-018-1277-1
[3] 布隆德尔,M。;Seki,K。;Uehara,K.,大规模稀疏多类分类的块坐标下降算法,马赫。学习。,93, 31-52 (2013) ·Zbl 1293.68216号 ·doi:10.1007/s10994-013-5367-2
[4] Böhning,D.,《多项式逻辑回归算法》,Ann.Inst.Stat.Math。,44, 1, 197-200 (1992) ·Zbl 0763.62038号 ·doi:10.1007/BF00048682
[5] Breheny,P。;Huang,J.,带分组预测因子的非凸惩罚线性和logistic回归模型的群下降算法,统计计算。,25, 2, 173-187 (2015) ·Zbl 1331.62359号 ·doi:10.1007/s11222-013-9424-2
[6] 伯恩,E。;Schniter,P.,通过近似消息传递的稀疏多项式逻辑回归,IEEE Trans。信号处理。,64, 21, 5485-5498 (2016) ·Zbl 1414.94096号 ·doi:10.1109/TSP.2016.2593691
[7] Cawley,G.C.,Talbot,N.L.,Girolma,M.:通过贝叶斯L1调节的稀疏多项式逻辑回归。高级神经信息处理。系统。第209-216页(2007年)
[8] Chen,X.J,Pan,L.L.,Xiu,N.H.:多元回归的三个稀疏优化问题的解集。香港理工大学应用数学系技术报告(2020年)
[9] Freedman,DA,《统计模型:理论与实践》(2009),剑桥:剑桥大学出版社,剑桥·兹比尔1167.62001 ·doi:10.1017/CBO9780511815867
[10] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J.Stat.Softw。,33,1,1-22(2010年)·doi:10.18637/jss.v033.i01
[11] Harrell,FE Jr,《回归建模策略:应用于线性模型、逻辑和有序回归以及生存分析》(2015),柏林:施普林格出版社,柏林·Zbl 1330.62001 ·doi:10.1007/978-3-319-19425-7
[12] 坎佐,C。;Qi,HD,变分不等式问题的无QP约束牛顿型方法,数学。程序。,85, 1, 81-106 (1999) ·Zbl 0958.65078号 ·doi:10.1007/s101070050047
[13] Krishnapuram,B。;Carin,L。;Figueiredo,M。;Hartemink,A.,《稀疏多项式逻辑回归:快速算法和推广界限》,IEEE Trans。模式分析。机器。智力。,27, 6, 957-968 (2005) ·doi:10.1109/TPAMI.2005.127
[14] 夸克,C。;Clayton-Matthews,A.,《多项式逻辑回归》,努斯出版社。第51、6、404-410号决议(2002年)·doi:10.1097/00006199-200211000-00009
[15] Lee,JD;孙,Y。;Saunders,MA,最小化复合函数的近似牛顿型方法,SIAM J.Optim。,24, 1420-1443 (2014) ·Zbl 1306.65213号 ·doi:10.1137/130921428
[16] Li,F.F.,Fergus,R.,Perona,P.:从少数训练示例中学习生成性视觉模型:在101个对象类别上测试的增量贝叶斯方法。2004年计算机视觉和模式识别研讨会,IEEE(2004)
[17] Li,H.,Lin,Z.:非凸规划的加速近似梯度法。高级神经信息处理。系统。379-387 (2015)
[18] Li,J.,Bioucas-Dias,J.M.,Plaza,A.:使用新的(软)稀疏多项式logistic回归模型进行半监督高光谱图像分类。2011年:高光谱图像和信号处理第三次研讨会:遥感发展(WHISPERS)。IEEE标准。1-4 (2011)
[19] McCullagh,P。;JA Nelder,《广义线性模型》(1989),纽约:查普曼和霍尔出版社,纽约·Zbl 0588.62104号 ·doi:10.1007/9781-4899-3242-6
[20] 莫雷,JJ;Sorensen,DC,计算信赖域步骤,SIAM J.Sci。统计计算。,4, 3, 553-572 (1983) ·Zbl 0551.65042号 ·doi:10.1137/0904038
[21] Natarajan,BK,线性系统的稀疏近似解,SIAM J.Compute。,24, 2, 227-234 (1995) ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406
[22] Nocedal,J。;Wright,SJ,《数值优化》(1999),纽约:Springer,纽约·兹伯利0930.65067 ·数字对象标识代码:10.1007/b98874
[23] Obozinski,G。;Taskar,B。;Jordan,M.,多分类问题的联合协变量选择和联合子空间选择,Stat.Comput。,20231-252(2010年)·数字对象标识代码:10.1007/s11222-008-9111-x
[24] Pang,T。;聂,F。;Han,J。;Li,X.,通过\(l_{2,0}\)-范数约束稀疏回归的有效特征选择,IEEE Trans。知识。数据工程,31,5,880-893(2019)·doi:10.1109/TKDE.018.2847685
[25] Rockafellar,RT公司;Wets,RJ,变分分析(1998),纽约:Springer,纽约·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3
[26] Ryalia,S。;苏佩卡巴克,K。;阿布拉姆萨,DA;Menonad,V.,fMRI数据全脑分类的稀疏逻辑回归,NeuroImage,51,2752-764(2010)·doi:10.1016/j.neuroimage.2010.02.040
[27] Simon,N.、Friedman,J.、Hastie,T.:一种用于群体化多响应和多项式回归的分块下降算法。arXiv预印arXiv:1311.6529(2013)
[28] 孙,Y。;巴布,P。;Palomar,DP,《信号处理、通信和机器学习中的优化最小化算法》,IEEE Trans。信号处理。,65, 3, 794-816 (2016) ·Zbl 1414.94595号 ·doi:10.1109/TSP.2016.2601299
[29] 图茨,G。;Pößnecker,W。;Uhlmann,L.,一般多项式logit模型中的变量选择,计算。统计数据分析。,82, 207-222 (2015) ·Zbl 1507.62170号 ·doi:10.1016/j.csda.2014.09.009
[30] 文森特,M。;Hansen,NR,稀疏群套索和高维多项式分类,计算。统计数据分析。,71, 771-786 (2014) ·Zbl 1471.62200号 ·doi:10.1016/j.csda.2013.06.004
[31] 王,R。;秀,NR;Zhou,SL,《二阶正则稀疏逻辑回归的扩展Newton型算法及其对大规模数据集分类的效率》,J.Compute。申请。数学。,397, 113656 (2021) ·Zbl 1469.90161号 ·doi:10.1016/j.cam.2021.113656
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。