恩里科·西维泰利;马蒂奥·拉普奇;法比奥·舍恩;阿莱西奥·索蒂诺 基于信息准则的逻辑回归特征子集选择的有效过程。 （英语） Zbl 1472.62120号 计算。最佳方案。申请。 80，编号1，1-32（2021）. 摘要：本文研究了logistic回归中的最佳子集选择问题。特别是，我们考虑了采用信息标准（如AIC或BIC）所产生的问题的表述，作为良好性度量。有各种方法可以解决这个问题。启发式方法计算成本低，但通常只能找到低质量的解决方案。基于局部优化的方法与启发式方法具有相似的局限性。另一方面，基于问题的混合整数重新计算的方法更加有效，代价是更高的计算要求，当问题规模增大时，这些要求将变得不可持续。因此，我们提出了一种新的方法，它结合了混合整数编程和分解技术，以克服上述可伸缩性问题。我们提供了所提算法属性的理论表征。在广泛可用的数据集上进行的大量数值实验结果表明，该方法实现了优于最新技术的目标。 引用于5文件 MSC公司： 62J12型 广义线性模型（逻辑模型） 2008年6月62日 统计问题的计算方法 90立方厘米11 混合整数编程 90C05（二氧化碳） 线性规划 关键词：逻辑回归;信息准则;最佳子集选择;稀疏优化;块坐标下降 软件：LIBLINEAR银行;阿波罗3;蟒蛇;科学Py;PRMLT公司;邦明;古罗比;ElemStatLearn（电子状态学习）;Scikit公司;L-BFGS公司;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit｛E.Civitelli｝等人，计算机。最佳方案。申请。80，编号1，1--32（2021；Zbl 1472.62120） 全文： 内政部 OA许可证 参考文献： [1] Akaike，H.，统计模型识别的新视角，IEEE Trans。自动。控制，19，6，716-723（1974）·Zbl 0314.62039号 ·doi:10.1109/TAC.1974.1100705 [2] Akaike，H.：信息理论和最大似然原理的扩展。收录于：《秋叶裕久文选》，第199-213页。斯普林格（1998） [3] 巴赫，F。；Jenatton，R。；Mairal，J。；Obozinski，G.，《发现稀疏诱导惩罚的优化》。趋势马赫。学习。，4, 1, 1-106 (2012) ·Zbl 06064248号 ·doi:10.1561/220000015 [4] 贝克，A。；Eldar，Y.，《稀疏约束非线性优化：优化条件和算法》，SIAM J.Optim。，23, 3, 1480-1509 (2013) ·Zbl 1295.90051号 ·数字对象标识代码：10.1137/120869778 [5] Bertsekas，DP；Tsitsiklis，JN，《并行和分布式计算：数值方法》（1989），恩格伍德悬崖：普伦蒂斯·霍尔，恩格尔伍德悬崖·Zbl 0743.65107号 [6] Bertsimas，D.，Digalakis Jr，V.：超高维稀疏机器学习的主干方法。arXiv:2006.06592（2020） [7] Bertsimas，D。；金·A。；Mazumder，R.，《通过现代优化透镜选择最佳子集》，《Ann.Stat.》，44，813-852（2016）·Zbl 1335.62115号 ·doi:10.1214/15-AOS1388 [8] Bertsimas，D。；金，A.，《逻辑回归：从艺术到科学》，《统计科学》。，32, 3, 367-384 (2017) ·Zbl 1442.62166号 ·doi:10.1214/16-STS602 [9] Bishop，CM，模式识别和机器学习（2006），柏林：施普林格，柏林·Zbl 1107.68072号 [10] Bonami，P。；比格勒，LT；连接器，AR；Cornuéjols，G。；格罗斯曼，IE；莱尔德，CD；Lee，J。；Lodi，A。；Margot，F。；Sawaya，N.，凸混合整数非线性规划的算法框架，离散优化。，5, 2, 186-204 (2008) ·Zbl 1151.90028号 ·doi:10.1016/j.disopt.2006.10.011 [11] Bozdogan，H.，Akaike的信息标准和信息复杂性的最新发展，J.Math。心理医生。，44, 1, 62-91 (2000) ·兹比尔1047.62501 ·doi:10.1006/jmps.1999.1277 [12] Burnham，K.P.，Anderson，D.R.：信息理论方法的实际应用。摘自：《模型选择和推断》，第75-117页。斯普林格（1998）·Zbl 0920.62006号 [13] KP伯纳姆；安德森博士，《多模型推理：在模型选择中理解AIC和BIC》，社会学。方法研究，33，2，261-304（2004）·doi:10.1177/0049124104268644 [14] 迪甘吉，L。；拉普奇，M。；肖恩，F。；Sortino，A.，线性回归最佳子集选择的有效优化方法，应用于自回归时间序列的模型选择和拟合，计算。最佳方案。申请。，74, 3, 919-948 (2019) ·Zbl 1435.90088号 ·doi:10.1007/s10589-019-00134-5 [15] Dua，D.，Graff，C.：UCI机器学习库（2017）。http://archive.ics.uci.edu/ml [16] 马萨诸塞州杜兰；Grossmann，IE，一类混合整数非线性程序的外近似算法，数学。程序。，36, 3, 307-339 (1986) ·Zbl 0619.90052号 ·doi:10.1007/BF02592064 [17] 马萨诸塞州埃弗罗林森；A.拉斯顿。；Wilf，HS，多元回归分析，数字计算机数学方法，191-203（1960），纽约：Wiley，纽约·Zbl 0089.12602号 [18] 风机，R-E；Chang，K-W；谢家杰；Wang，X-R；Lin，C-J，LIBLINEAR:大型线性分类库，J.Mach。学习。1871-1874年第9号决议（2008年）·Zbl 1225.68175号 [19] Gómez，A.，Prokopyev，O.A.：最佳子集选择的混合整数分式优化方法。信息J.计算。（2021，已接受）·Zbl 07362333号 [20] Gurobi Optimization，L.：古罗比优化器参考手册（2020）。网址：http://www.gurobi.com [21] 汉南，EJ；Quinn，BG，《自回归顺序的确定》，J.R.Stat.Soc.Ser。B（Methodol.），41，2，190-195（1979）·Zbl 0408.62076号 [22] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.，《统计学习的要素：数据挖掘、推断和预测》（2009），柏林：施普林格出版社，柏林·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7 [23] 霍斯默，小杜威；莱梅肖，S。；Sturdivant，RX，应用逻辑回归（2013），霍博肯：威利，霍博克·Zbl 1276.62050号 ·doi:10.1002/9781118548387 [24] 詹姆斯·G。；维滕，D。；哈斯蒂，T。；Tibshirani，R.，《统计学习导论》（2013），柏林：施普林格出版社，柏林·Zbl 1281.62147号 ·doi:10.1007/978-1-4614-7138-7 [25] Jörnsten，K.，Näsberg，M.，Smeds，P.：变量分裂：一些数学规划模型的新拉格朗日松弛方法。LiTH MAT R.：马特马提斯卡研究所。林雪平大学数学系（1985年） [26] Kamiya，S.，Miyashiro，R.，Takano，Y.：通过混合积分优化选择多项式logit模型的特征子集。摘自：第22届国际人工智能与统计会议，第1254-1263页（2019年） [27] Kim，S-J；Koh，K。；Lustig，M。；博伊德，S。；Gorinevsky，D.，《大规模正则化最小二乘的内点方法》，IEEE J.Sel。顶部。信号处理。，1, 4, 606-617 (2007) ·doi:10.1109/JSTSP.2007.910971 [28] Konishi，S。；Kitagawa，G.，《信息标准和统计建模》（2008），柏林：施普林格出版社，柏林·Zbl 1172.62003年 ·数字对象标识代码：10.1007/978-0-387-71887-3 [29] Lee，S-I；Lee，H。；Abbeel，P。；Ng，AY，Efficient（\ell_1）正则化逻辑回归，AAAI，6，401-408（2006） [30] 刘，DC；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45，1-3503-528（1989年）·Zbl 0696.90048号 ·doi:10.1007/BF01589116 [31] 刘齐，G。；Rinaldi，F.，Solving\（\ell_0\）-通过Frank-Wolfe降维方法Optim用简单约束惩罚问题。莱特。，9, 1, 57-74 (2015) ·Zbl 1316.90047号 ·doi:10.1007/s11590-014-0757-3 [32] Lu，Z。；Zhang，Y.，通过惩罚分解方法的稀疏近似，SIAM J.Optim。，2448-2478年4月23日（2013年）·Zbl 1295.90056号 ·数字对象标识代码：10.1137/100808071 [33] Miller，A.，《回归中的子集选择》（2002），博卡拉顿：查普曼和霍尔/CRC，博卡拉通·Zbl 1051.62060号 ·doi:10.1201/9781420035933 [34] Miyashiro，R。；Takano，Y.，《线性回归变量选择的混合整数二阶锥规划公式》，欧洲期刊Oper。研究，247，3721-731（2015）·Zbl 1346.90616号 ·doi:10.1016/j.ejor.2015.06.081 [35] Miyashiro，R。；Takano，Y.，Mallows的Cp子集选择：混合整数规划方法，专家系统。申请。，42, 1, 325-331 (2015) ·doi:10.1016/j.eswa.2014.07.056 [36] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；杜堡，V。；范德普拉斯，J。；帕索斯，A。；库纳波，D。；布鲁彻，M。；佩罗，M。；Duchesnay，E.，Scikit-learn：Python中的机器学习，J.Mach。学习。第12号决议，2825-2830（2011年）·Zbl 1280.68189号 [37] Rinaldi，F。；肖恩，F。；Sciandrone，M.，多面体集上最小化零范数的凹形编程，计算。最佳方案。申请。，46, 3, 467-486 (2010) ·Zbl 1229.90170号 ·doi:10.1007/s10589-008-9202-9 [38] 佐藤，T。；Y.Takano。；Miyashiro，R。；Yoshise，A.，通过混合整数优化进行逻辑回归的特征子集选择，计算。最佳方案。申请。，64, 3, 865-880 (2016) ·Zbl 1352.90068号 ·doi:10.1007/s10589-016-9832-2 [39] Schwarz，G.，估算模型的维数，《Ann.Stat.》，6，2，461-464（1978）·Zbl 0379.62005年 ·doi:10.1214/aos/1176344136 [40] 沈，X。；潘·W。；Zhu，Y。；周浩，关于约束和正则化高维回归，Ann.Inst.Stat.Math。，65, 5, 807-832 (2013) ·Zbl 1329.62307号 ·doi:10.1007/s10463-012-0396-3 [41] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B（Methodol.），58，1，267-288（1996）·Zbl 0850.62538号 [42] Tseng，P.，不可微极小化块坐标下降法的收敛性，J.Optim。理论应用。，109, 3, 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105 [43] Virtanen，P.、Gommers，R.、Oliphant，T.E.、Haberland，M.、Reddy，T.、Cournapeau，D.、Burovski，E.、Peterson，P.，Weckesser，W.、Bright，J.、van der Walt，S.J.、Brett，M.，Wilson，J.，Millman，K.Jarrod，Mayorov，N.、Nelson，A.R.J.、Jones，E.、Kern，R.，Larson，E.、Carey，C.、Polat，I.、Feng，Y.、Moore，E.W.、Vander Plas，J.和Laxalde，D.、Perktold，J.，Cimrman，R.，Henriksen，I.，Quintero，E.A.，Harris，C.R.，Archibald，A.M.，Ribeiro，A.H.，Pedregosa，F.，van Mulbregt，P.：python和SciPy 1.0贡献者中科学计算的基本算法。科学py 1.0。《自然方法》17，261-272（2020）。doi:10.1038/s41592-019-0686-2 [44] 韦斯顿，J。；Elisseeff，A。；Schölkopf，B。；Tipping，M.，零形式与线性模型和核方法的使用，J.Mach。学习。1439-1461年3月第3号决议（2003年）·Zbl 1102.68605号 [45] 元，G-X；Ho，C-H；Lin，C-J，《L1回归的改进GLMNET》，J.Mach。学习。1999年至2003年（2012年）第13、64号决议·兹比尔1432.68404 [46] 郑，Z。；范，Y。；Lv，J.，高维阈值回归和收缩效应，J.R.Stat.Soc.Ser。B（Stat.Methodol.），第76、3、627-649页（2014年）·Zbl 1411.62049号 ·doi:10.1111/rssb.12037 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。