迪米特里斯·伯西马斯；安吉拉·金；拉胡尔·马祖姆德 通过现代优化透镜选择最佳子集。 （英语） Zbl 1335.62115号 Ann.统计。 44，No.2，813-852（2016）. 摘要：在1991-2015年期间，混合整数优化（MIO）算法的进步加上硬件的改进，使得MIO问题的求解速度惊人地提高了4500亿因子。我们提出了一种MIO方法来解决在给定观测值的线性回归中从（p）特征中选择（k）的经典最佳子集选择问题。我们开发了现代一阶连续优化方法的离散扩展，以找到高质量的可行解，并将其用作MIO求解器的温热启动，从而找到可证明的最优解。所得到的算法（a）为解决方案提供了其次优性的保证，即使我们提前终止该算法，（b）可以适应线性回归系数上的侧约束，并且（c）扩展到为最小绝对偏差损失函数寻找最佳子集解。通过使用各种合成数据集和实际数据集，我们证明了我们的方法在分钟内解决了1000年代和100年代的问题，从而证明了最优性，并在分钟内找到了100年代和1000年代的近似最优解。我们还通过数值实验证明，在获得具有良好预测能力的稀疏解方面，MIO方法的性能优于Lasso和其他常用的稀疏学习程序。 引用于1审查引用于165文件 MSC公司： 62J05型 线性回归；混合模型 62J07型 岭回归；收缩估计器（拉索） 62G35型 非参数稳健性 90立方厘米 混合整数编程 90C26型 非凸规划，全局优化 90C27型 组合优化 关键词：稀疏线性回归；最佳子集选择；\（ell_{0}）约束最小化；套索；最小绝对偏差；算法；混合整数规划；全局优化；离散优化 软件：古罗比；PDCO公司；ElemStatLearn（电子状态学习）；稀疏的；助推 PDF格式BibTeX公司 XML格式引用 \textit{D.Bertsimas}等人，Ann.Stat.44，No.2，813--852（2016；Zbl 1335.62115） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] Bandeira，A.S.、Dobriban，E.、Mixon，D.G.和Sawin，W.F.（2013）。很难证明受限制的等距属性。IEEE传输。通知。理论59 3448-3450·Zbl 1364.94109号 ·doi:10.1109/TIT.2013.2248414 [2] Bertsimas，D.、King，A.和Mazumder，R.（2015）。补充“通过现代优化透镜选择最佳子集”·Zbl 1335.62115号 ·doi:10.1214/15-AOS1388 [3] Bertsimas，D.和Mazumder，R.（2014）。通过现代优化实现最小分位数回归。安。统计师。42 2494-2525. ·Zbl 1302.62154号 ·doi:10.1214/14-AOS1223 [4] Bertsimas，D.和Shioda，R.（2009年）。基数约束二次优化算法。计算。最佳方案。申请。43 1-22. ·Zbl 1178.90262号 ·doi:10.1007/s10589-007-9126-9 [5] Bertsimas，D.和Weismantel，R.（2005）。整数优化。Belmont的Dynamic Ideas。 [6] Bickel，P.J.、Ritov，Y.和Tsybakov，A.B.（2009年）。同时分析套索和Dantzig选择器。安。统计师。37 1705-1732. ·Zbl 1173.62022号 ·doi:10.1214/08-AOS620 [7] Bienstock，D.（1996）。一类混合整数二次规划问题的计算研究。数学。编程74 121-140·Zbl 0855.90090号 ·doi:10.1007/BF02592208 [8] Bixby，R.E.（2012）。线性和混合整数编程计算的简史。文件。数学。额外卷：优化故事107-121·1270.90003赞比亚比索 [9] Blumensath，T.和Davies，M.E.（2008年）。稀疏近似的迭代阈值。J.傅里叶分析。申请。14 629-654. ·Zbl 1175.94060号 ·doi:10.1007/s00041-008-9035-z [10] Blumentich，T.和Davies，M.E.（2009年）。压缩感知的迭代硬阈值。申请。计算。哈蒙。分析。27 265-274. ·兹比尔1174.94008 ·doi:10.1016/j.acha.2009.04.002 [11] Bühlmann，P.和van de Geer，S.（2011）。高维数据统计：方法、理论和应用。统计学中的斯普林格系列。海德堡施普林格·Zbl 1273.62015年 ·doi:10.1007/978-3-642-20192-9 [12] Bunea，F.、Tsybakov，A.B.和Wegkamp，M.H.（2007年）。高斯回归的聚合。Ann.Statist公司。35 1674-1697. ·Zbl 1209.62065号 ·doi:10.1214/00905360000001587 [13] Candès，E.J.（2008）。受限等距特性及其对压缩传感的影响。C.R.数学。阿卡德。科学。巴黎346 589-592·Zbl 1153.94002号 ·doi:10.1016/j.crma.2008.03.014 [14] Candès，E.J.和Plan，Y.（2009年）。通过（ell_{1}）最小化选择近理想模型。安。统计师。37 2145-2177. ·Zbl 1173.62053号 ·doi:10.1214/08-AOS653 [15] Candes，E.J.和Tao，T.（2006）。随机投影的近最优信号恢复：通用编码策略？IEEE传输。通知。理论52 5406-5425·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507 [16] Candès，E.J.、Wakin，M.B.和Boyd，s.P.（2008）。通过重加权（l_{1}）最小化增强稀疏性。J.傅里叶分析。申请。14 877-905·Zbl 1176.94014号 ·doi:10.1007/s00041-008-9045-x [17] Chen，S.S.、Donoho，D.L.和Saunders，M.A.（1998年）。通过基追踪进行原子分解。SIAM J.科学。计算。20 33-61. ·兹比尔0919.94002 ·doi:10.1137/S1064827596304010 [18] Dettling，M.（2004）。利用基因表达数据进行肿瘤分类。生物信息学20 3583-3593。 [19] Donoho，D.L.（2006）。对于大多数大型欠定线性方程组，最小（l_{1}）范数解也是最稀疏解。普通纯应用程序。数学。59 797-829. ·Zbl 1113.15004号 ·doi:10.1002/cpa.20132年 [20] Donoho，D.L.和Elad，M.（2003）。通过（l^{1}）最小化在一般（非正交）字典中实现最优稀疏表示。程序。国家。阿卡德。科学。美国100 2197-2202（电子版）·Zbl 1064.94011号 ·doi:10.1073/pnas.0437847100 [21] Donoho，D.L.和Huo，X.（2001）。不确定性原理和理想原子分解。IEEE传输。通知。理论47 2845-2862·兹比尔1019.94503 ·doi:10.1109/18.959265 [22] Donoho，D.L.和Johnstone，I.M.（1994年）。通过小波收缩实现理想的空间自适应。生物特征81 425-455·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425 [23] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归。安。统计师。32 407-499. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [24] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.艾默。统计师。协会96 1348-1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [25] Fan，J.和Lv，J.（2011）。具有NP维的非凹陷惩罚似然。IEEE传输。通知。理论57 5467-5484·Zbl 1365.62277号 ·doi:10.1109/TIT.2011.2158486 [26] Fan，Y.和Lv，J.（2013）。阈值参数空间中正则化方法的渐近等价性。J.艾默。统计师。协会108 1044-1061·Zbl 06224986号 ·doi:10.1080/01621459.2013.803972 [27] Frank，I.和Friedman，J.（1993年）。一些化学计量学回归工具的统计视图（含讨论）。技术计量35 109-148·Zbl 0775.62288号 ·doi:10.2307/1269656 [28] Friedman，J.（2008）。快速稀疏回归和分类。斯坦福大学统计系技术报告，加利福尼亚州斯坦福。 [29] Friedman，J.、Hastie，T.、Höfling，H.和Tibshirani，R.（2007）。路径坐标优化。Ann.应用。统计数字1 302-332·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131 [30] Furnival，G.和Wilson，R.（1974年）。跨越式回归。技术计量16 499-511·Zbl 0285.05110号 ·doi:10.1016/0095-8956（74）90098-7 [31] Greenshtein，E.（2006）。最优子集选择、高维统计学习中的持久性和（l_{1}）约束下的优化。安。统计师。34 2367-2386. ·Zbl 1106.62022号 ·doi:10.1214/00905360000000768 [32] Greenshtein，E.和Ritov，Y.（2004）。高维线性预测器选择的持续性和超参数化的优点。伯努利10 971-988·Zbl 1055.62078号 ·doi:10.3150/bj/1106314846 [33] Gurobi，I.（2013）。优化。Gurobi优化器参考手册。可从获取。 [34] Hastie，T.、Tibshirani，R.和Friedman，J.（2009年）。《统计学习的要素：数据挖掘、推断和预测》，第二版，《统计学中的斯普林格系列》。纽约州施普林格·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7 [35] K.奈特和W.傅（2000）。套索型估计量的渐近性。安。统计师。28 1356-1378. ·Zbl 1105.62357号 ·doi:10.1214操作系统/1015957397 [36] Loh，P.-L.和Wainwright，M.（2013）。具有非凸性的正则M-估计量：局部最优的统计和算法理论。神经信息处理系统进展476-484。纽约州Red Hook市Curran Associates。 [37] Lv，J.和Fan，Y.（2009）。使用正则化最小二乘进行模型选择和稀疏恢复的统一方法。安。统计师。37 3498-3528. ·Zbl 1369.62156号 ·doi:10.1214/09-AOS683 [38] Mazumder，R.、Friedman，J.H.和Hastie，T.（2011年）。SparseNet：协调下降与非凸惩罚。J.艾默。统计师。协会106 1125-1138·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [39] Meinshausen，N.和Bühlmann，P.（2006）。高维图和用套索选择变量。安。统计师。34 1436-1462. ·Zbl 1113.62082号 ·doi:10.1214/09053606000000281 [40] Miller，A.（2002年）。回归中的子集选择，第二版，统计学和应用概率专著95。查普曼和霍尔/CRC，佛罗里达州博卡拉顿·Zbl 1051.62060号 [41] Natarajan，B.K.（1995年）。线性系统的稀疏近似解。SIAM J.计算。24 227-234. ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406 [42] Nemhauser，G.（2013）。整数编程：全球影响。2013-12-2013-04，意大利罗马。在EURO上演示，INFORMS，已访问。可从获取。 [43] Nesterov，Y.（2004）。凸优化入门讲座：基础课程。应用优化87。Kluwer Academic，马萨诸塞州波士顿·Zbl 1086.90045号 [44] 于内斯特罗夫。(2005). 非光滑函数的平滑最小化。数学。程序。103 127-152. ·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [45] 于内斯特罗夫。(2013). 最小化复合函数的梯度方法。数学。程序。140 125-161. ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [46] Optimization Inc.（2015）。Gurobi 6.0性能基准测试。可从获取。2015年9月5日查阅。 [47] Raskutti，G.、Wainwright，M.J.和Yu，B.（2011年）。球上高维线性回归的极小极大估计率。IEEE传输。通知。理论57 6976-6994·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [48] Shen，X.、Pan，W.、Zhu，Y.和Zhou，H.（2013）。关于约束和正则化高维回归。Ann.Inst.统计。数学。65 807-832. ·Zbl 1329.62307号 ·doi:10.1007/s10463-012-0396-3 [49] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。乙58 267-288·Zbl 0850.62538号 [50] Tibshirani，R.（2011）。回归收缩和套索选择：回顾。J.R.统计社会服务。B统计方法。73 273-282. ·doi:10.1111/j.1467-9868.2011.00771.x [51] 超级计算机站点500强（2015年）。Top500列表的目录页。自1993年6月以来的每个列表的结果。访问时间：2015年9月15日。可从获取。 [52] Tropp，J.A.（2006）。放松：识别噪声中稀疏信号的凸编程方法。IEEE传输。通知。理论52 1030-1051·兹比尔1288.94025 ·doi:10.1109/TIT.2008.2009806 [53] van de Geer，S.、Bühlmann，P.和Zhou，S.（2011）。潜在指定错误模型的自适应和阈值拉索（以及拉索的下限）。电子。《美国联邦法律大全》第5卷第688-749页·Zbl 1274.62471号 ·doi:10.1214/11-EJS624 [54] Wainwright，M.J.（2009）。使用（ell_{1}）约束二次规划（Lasso）恢复高维和噪声稀疏性的锐化阈值。IEEE传输。通知。理论55 2183-2202·Zbl 1367.62220号 ·doi:10.1109/TIT.2009.2016018 [55] Zhang，C.-H.（2010年a）。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [56] Zhang，T.（2010年b）。稀疏正则化的多级凸松弛分析。J.马赫。学习。第11号决议1081-1107·Zbl 1242.68262号 [57] Zhang，C.-H.和Huang，J.（2008）。高维线性回归中LASSO选择的稀疏性和偏倚。安。统计师。36 1567-1594. ·Zbl 1142.62044号 ·doi:10.1214/07-AOS520 [58] Zhang，Y.，Wainwright，M.和Jordan，M.I.（2014）。稀疏线性回归多项式时间算法性能的下限。预打印。可从获取。arXiv公司：1402.1918 [59] Zhang，C.-H.和Zhang、T.（2012）。高维稀疏估计问题的凹正则化的一般理论。统计师。科学。27 576-593. ·Zbl 1331.62353号 ·doi:10.1214/12-STS399 [60] Zhao，P.和Yu，B.（2006）。关于Lasso的模型选择一致性。J.马赫。学习。第7号决议2541-2563·Zbl 1222.62008年 [61] Zheng，Z.，Fan，Y.和Lv，J.（2014）。高维阈值回归和收缩效应。J.R.统计社会服务。B.统计方法。76 627-649. ·doi:10.1111/rssb.12037 [62] 邹华（2006）。自适应套索及其oracle属性。J.艾默。统计师。协会101 1418-1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735 [63] 邹浩和李若明（2008）。非凹陷惩罚似然模型中的一步稀疏估计。安。统计师。36 1509-1533. ·Zbl 1142.62027号 ·doi:10.1214/0090536007000000802 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。