侯赛因·哈齐梅;拉胡尔·马祖姆德;阿里·萨博 规模稀疏回归：基于一阶优化的分枝定界。 （英语） Zbl 1506.90168号 数学。程序。 196，编号1-2（B），347-388（2022）. 小结：我们考虑了最小二乘回归问题，该问题由\（\ell_0\）和平方\（\el_2\）惩罚函数的组合惩罚（也称为\（\ ell_0\ ell_2\）正则化）。最近的工作表明，在许多高维环境中，得到的估计器具有诱人的统计特性。然而，这些估计量的精确计算仍然是一个重大挑战。事实上，基于混合整数规划（MIP）的现代精确方法在特征数量（p\sim 10^4）的问题上面临困难。在这项工作中，我们提出了一个新的精确MIP框架，用于（ell_0\ell_2）-正则化回归，与最先进的精确方法相比，该框架可以扩展到（p\sim 10^7），实现至少5000倍的加速。与最近依赖于商业MIP求解器的工作不同，我们通过批判性地利用问题结构设计了一个专门的非线性分枝定界（BnB）框架。在我们的框架中，一个关键的区别在于使用基于坐标下降（CD）的专用一阶方法有效地求解节点松弛。我们基于CD的方法通过使用温启动、活动集和梯度筛选，有效地利用了BnB节点上的信息。此外，我们设计了一种从原始CD解中获得对偶界的新方法，该方法在高维中可以证明是有效的。在合成和真实高维数据集上的实验表明，我们的框架不仅比现有技术快得多，而且还可以为现有方法无法解决的具有统计挑战性的实例提供经验证的最佳解决方案。我们通过工具包\（\ell_0\）BnB打开实现的源代码。 引用于8文件 MSC公司： 90立方厘米 混合整数编程 90C20个 二次规划 90C57型 多面体组合学，分支与绑定，分支与切割 关键词：\（\ell_0\）正则化;稀疏;混合整数规划;一阶方法;分支和绑定;大规模计算 软件：扩展的MIQCP;努姆巴;CPLEX公司;稀疏的;格尔姆奈特;十亿卢比;古罗比;皮奥莫 PDF格式BibTeX公司 XML格式引用 \textit{H.Hazimeh}等人，《数学》。程序。196，编号1--2（B），347--388（2022；Zbl 1506.90168） 全文： 内政部 arXiv公司 链接 参考文献： [1] Achterberg，T。；科赫，T。；Martin，A.，《重新审视分支规则》，Oper。Res.Lett.公司。，33, 1, 42-54 (2005) ·Zbl 1076.90037号 ·doi:10.1016/j.orl.2004.04.002 [2] Aktürk，理学硕士；阿塔姆图尔克，A。；Gürel，S.，加工时间可控的机器作业分配的强二次曲线二次型公式，Oper。Res.Lett.公司。，37, 3, 187-191 (2009) ·Zbl 1167.90518号 ·doi:10.1016/j.orl.2008.12.009 [3] Andersen，教育部；Roos，C。；Terlaky，T.，关于实现二次曲线二次优化的原对偶内点方法，数学。程序。，95, 2, 249-277 (2003) ·Zbl 1030.90137号 ·文件编号：10.1007/s10107-002-0349-3 [4] Applegate，D.，Bixby，R.，Cook，W.，Chvátal，V.：关于旅行推销员问题的解决方案（1998）·兹比尔0904.90165 [5] Atamturk，A.，Gomez，A.：稀疏回归的秩一凸化。arXiv预印本arXiv:1901.10334（2019） [6] Atamturk，A.，Gomez，A.：从透视放松角度对l0-回归进行安全筛选规则。收录于：H.D.III，A.Singh（编辑）第37届机器学习国际会议论文集。机器学习研究论文集，第119卷，第421-430页。PMLR（2020）。http://proceedings.mlr.press/v119/atamturk20.html [7] 贝克，A。；Eldar，YC，《稀疏约束非线性优化：优化条件和算法》，SIAM J.Optim。，23, 3, 1480-1509 (2013) ·Zbl 1295.90051号 ·数字对象标识代码：10.1137/120869778 [8] 贝洛蒂，P。；柯奇，C。；Leyffer，S。；林德拉斯，J。；卢埃特克，J。；Mahajan，A.，《混合整数非线性优化》，《数值学报》。，22, 1-131 (2013) ·Zbl 1291.65172号 ·文件编号：10.1017/S0962492913000032 [9] Bertsekas，D.：非线性规划。雅典娜科学优化计算系列。雅典娜科学（2016）。https://books.google.com/books？id=TwOujgEACAAJ [10] Bertsimas，D。；金，A。；Mazumder，R.，《通过现代优化透镜选择最佳子集》，《Ann.Stat.》，44，2813-852（2016）·Zbl 1335.62115号 ·doi:10.1214/15-AOS1388 [11] Bertsimas，D.，Pauphilet，J.，Van Parys，B.：稀疏分类：一个可扩展的离散优化视角。arXiv预印arXiv:1710.01352（2017）·Zbl 07465779号 [12] Bertsimas，D.，Pauphilet，J.，Van Parys，B.：稀疏回归：可扩展算法和经验性能。arXiv预印arXiv:1902.06547（2019）·Zbl 07307186号 [13] Bertsimas，D。；Van Parys，B.，《稀疏高维回归：精确可缩放算法和相变》，《Ann.Stat.》，48，1，300-323（2020）·Zbl 1444.62094号 ·doi:10.1214/18-AOS1804 [14] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。哈蒙。分析。，27, 3, 265-274 (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002 [15] Bonami，P.，Lee，J.，Leyffer，S.，Wächter，A.：凸非线性整数规划中的更多分支定界实验。预印ANL/MCS-P1949-0911，阿贡国家实验室，数学和计算机科学部（2011） [16] Bühlmann，P.，Kalisch，M.，Meier，L.：着眼于生物学应用的高维统计（2014） [17] 科扎德，A。；内华达州萨希尼迪斯；Miller，DC，《基于仿真的优化学习代理模型》，AIChE J.，60，6，2211-2227（2014）·doi:10.1002/aic.14418 [18] Dakin，RJ，混合整数规划问题的树搜索算法，计算。J.，8，3，250-255（1965）·Zbl 0154.42004号 ·doi:10.1093/comjnl/8.3.250 [19] David，G.，Ilias，Z.：二元系数的高维回归。估计平方误差和相位交叉。摘自：学习理论会议，第948-953页（2017年） [20] Dedieu，A.，Hazimeh，H.，Mazumder，R.：学习稀疏分类器：连续和混合整数优化视角。arXiv预打印arXiv:2001.06471（2020）·兹比尔07415078 [21] Dong，H.，Chen，K.，Linderath，J.：正则化与统计变量选择的二次曲线优化观点。ArXiv电子打印，Relaxation（2015） [22] 马萨诸塞州杜兰；Grossmann，IE，一类混合整数非线性程序的外近似算法，数学。掠夺。，36, 3, 307-339 (1986) ·Zbl 0619.90052号 ·doi:10.1007/BF02592064 [23] 阿拉斯加州弗莱彻；Rangan，S。；Goyal，VK，稀疏模式恢复的必要和充分条件，IEEE Trans。《信息论》，55，12，5758-5772（2009）·兹比尔1367.94090 ·doi:10.1109/TIT.2009.2032726 [24] Frangioni，A。；Gentile，C.，一类凸0-1混合整数程序的透视切割，数学。程序。，106, 2, 225-236 (2006) ·Zbl 1134.90447号 ·doi:10.1007/s10107-005-0594-3 [25] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，通过坐标下降广义线性模型的正则化路径，J.Stat.Softw。，33, 1, 1-22 (2010) ·doi:10.18637/jss.v033.i01 [26] Greenshtein，E.，最佳子集选择，l1约束下高维统计学习和优化的持久性，《Ann.Stat.》，34，5，2367-2386（2006）·Zbl 1106.62022号 ·doi:10.1214/00905360000000768 [27] Günlük，O。；Linderoth，J.，《带指标变量的混合整数非线性程序的透视重新公式》，数学。程序。，124, 1-2, 183-205 (2010) ·Zbl 1229.90106号 ·doi:10.1007/s10107-010-0360-z [28] 古罗比优化，I.：古罗比优化器参考手册。统一资源定位地址网址：http://www.gurobi.com (2020) [29] Hammarling，S.，Lucas，C.：更新qr因子分解和最小二乘问题。曼彻斯特大学曼彻斯特数学科学研究所（2008） [30] 哈特，WE；沃森，JP；伍德拉夫，DL，Pyomo：用python，Math建模和求解数学程序。程序。计算。，3, 3, 219-260 (2011) ·doi:10.1007/s12532-011-0026-8 [31] Hastie，T.、Tibshirani，R.、Tipshirani、R.J.：最佳子集选择、正向逐步选择和套索的扩展比较。arXiv预印arXiv:1707.08692（2017）·Zbl 07307187号 [32] 哈齐梅，H。；Mazumder，R.，《快速最佳子集选择：坐标下降和局部组合优化算法》，Oper。第68号、第5号、第1517-1537号决议（2020年）·Zbl 1457.90153号 ·doi:10.1287/opre.2019.1919 [33] Hazimeh，H.，Mazumder，R.：学习规模层次交互：凸优化方法。摘自：国际人工智能和统计会议，第1833-1843页。PMLR（2020年） [34] 洪，M。；王，X。；拉扎维亚因，M。；罗，ZQ，块坐标下降法的迭代复杂性分析，数学。程序。，163, 1-2, 85-114 (2017) ·Zbl 1367.49010号 ·doi:10.1007/s10107-016-1057-8 [35] Lam，S.K.，Pitrou，A.，Seibert，S.:Numba：基于llvm的python jit编译器。摘自：《HPC中LLVM编译器基础设施第二次研讨会论文集》，第1-6页（2015年） [36] Lee，J。；Leyffer，S.，《混合整数非线性规划》（2011），纽约：Springer Science&Business Media出版社，纽约 [37] Lubin，M.，Yamangil，E.，Bent，R.，Vielma，J.P.：混合整数凸规划中的扩展公式。摘自：整数规划和组合优化国际会议，第102-113页。斯普林格（2016）·Zbl 1419.90078号 [38] Mazumder，R.，《基于广泛比较的“最佳子集、正向逐步或套索”分析和建议的讨论》，《统计科学》。，35, 4, 602-608 (2020) ·Zbl 07307189号 ·doi:10.1214/20-STS807 [39] Mazumder，R。；JH弗里德曼；Hastie，T.，Sparsenet：协调下降与非凸惩罚，《美国统计协会期刊》，106，495，1125-1138（2011）·兹比尔1229.62091 ·doi:10.1198/jasa.2011.tm09738 [40] Mazumder，R.，Radchenko，P.，Dedieu，A.：具有收缩的子集选择：低信噪比时的稀疏线性建模。arXiv预印本arXiv：1708.03288（2017） [41] Miyashiro，R。；Takano，Y.，mallows的cp子集选择：混合整数编程方法，专家系统。申请。，42, 1, 325-331 (2015) ·doi:10.1016/j.eswa.2014.07.056 [42] Natarajan，BK，线性系统的稀疏近似解，SIAM J.Compute。，24, 2, 227-234 (1995) ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406 [43] Nesterov，Y.，最小化复合函数的梯度方法，数学。程序。，140, 1, 125-161 (2013) ·Zbl 1287.90067号 ·doi:10.1007/s10107-012-0629-5 [44] 欧文，AB，套索和脊线回归的稳健杂交，康斯坦普。数学。，443, 7, 59-72 (2007) ·Zbl 1134.62047号 ·doi:10.1090/conm/443/08555 [45] Pilanci，M。；温赖特，MJ；El Ghaoui，L.，通过布尔松弛进行稀疏学习，数学。程序。，151, 1, 63-87 (2015) ·Zbl 1328.90106号 ·doi:10.1007/s10107-015-0894-1 [46] Raskutti，G。；温赖特，MJ；Yu，B.，（l_q）球上高维线性回归的最小极大估计率，IEEE Trans。信息理论，57，10，6976-6994（2011）·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [47] Studio CPLEX，I.I.C.O.：用户手册第12版第6版。美国内华达州斜井村，IBM ILOG CPLEX部门（2013年） [48] Tawarmalani，M。；内华达州萨希尼迪斯，《全局优化的多面体分支与切割方法》，数学。程序。，103, 2, 225-249 (2005) ·Zbl 1099.90047号 ·doi:10.1007/s10107-005-0581-8 [49] Tseng，P.，不可微极小化块坐标下降法的收敛性，J.Optim。理论应用。，109, 3, 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105 [50] 维埃玛，JP；艾哈迈德，S。；Nemhauser，GL，混合整数二次曲线规划的提升线性规划分枝定界算法，INF.J.Compute。，20, 3, 438-450 (2008) ·Zbl 1243.90170号 ·doi:10.1287/ijoc.1070.0256 [51] 维埃玛，JP；邓宁，I。；哈切特，J。；Lubin，M.，混合整数二次规划中的扩展公式，数学。程序。计算。，9, 3, 369-418 (2017) ·Zbl 1387.90165号 ·doi:10.1007/s12532-016-0113-y [52] 温赖特，MJ，高维和噪声环境中稀疏性恢复的信息论限制，IEEE Trans。《信息论》，55，12，5728-5741（2009）·Zbl 1367.94106号 ·doi:10.1109/TIT.2009.2032816 [53] 谢，W。；Deng，X.，稀疏岭回归的可缩放算法，SIAM J.Optim。，30, 4, 3359-3386 (2020) ·Zbl 1458.90489号 ·doi:10.137/19M1245414 [54] Zhang，Y.，Wainwright，M.J.，Jordan，M.I.：稀疏线性回归多项式时间算法性能的下限。摘自：学习理论会议，第921-948页。PMLR（2014） [55] 赵，P。；Yu，B.，关于套索的模型选择一致性，J.Mach。学习。第72541-2563号决议（2006年）·Zbl 1222.62008年 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。