×
迪米特里斯·伯西马斯；Van Parys，巴特

多项式稀疏层次回归。 （英语） 兹比尔1497.68410

机器。学习。 109，编号5，973-997（2020）.
摘要：我们提出了一种新的稀疏多项式回归方法。我们感兴趣的是次数多项式，它最多依赖于（k）个输入，最多计算（ell）个单项项，并最小化其预测误差的平方和。这种高度结构化的稀疏回归表示为F.R.巴赫[“利用分层多核学习探索大特征空间”，载于：第22届神经信息处理系统年会论文集，NIPS'08。纽约州Red Hook:Curran Associates，Inc.105–112（2009；doi:10.5555/2981780.2981794)] 作为稀疏层次回归在内核学习的背景下。分层稀疏规范与现代大数据设置非常一致，在现代大数据设置中，许多输入与预测目的无关，并且需要控制回归器的功能复杂性，以避免过度拟合。我们提出了一种有效的两步方法来解决这个分层稀疏回归问题。首先，我们使用一种非常快速的输入排序启发式方法来丢弃不相关的输入。其次，我们利用整数优化的现代割平面方法来精确地解决剩余的约化层次（k，ell）稀疏问题。我们的方法识别所有（k）相关输入和所有（ell）单项项的能力通过经验证明是经历相变的。至关重要的是，同样的转变也体现在我们拒绝所有无关特征和单项式的能力上。在我们的方法统计功能强大的情况下，其计算复杂性与拉索基于启发式。层次稀疏性可以保持一般非参数方法（如最近邻法或回归树）的灵活性(汽车)在不牺牲统计能力的情况下。因此，本研究填补了在高维环境中缺乏强有力的规范化非线性稀疏回归方法的空白。我们的方法是通过经验证明的，可以用输入维（约1000）的（约10{，}000）个观测值来衡量回归问题。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62J02型 一般非线性回归

关键词：

非线性回归；稀疏回归；整数优化；多项式学习

软件：

LS-SVMlab公司；朱莉娅
PDF格式BibTeX公司 XML格式引用
\textit{D.Bertsimas}和\textit{B.Van Parys}，马赫。学习。109，编号5，973--997（2020；Zbl 1497.68410）
全文： DOI程序 arXiv公司

参考文献：

[1] 奥尔特曼，NS，《核和最近邻非参数回归简介》，《美国统计学家》，46，3，175-185（1992）
[2] Bach，F.，组Lasso和多核学习的一致性，机器学习研究杂志，9，Jun，1179-1225（2008）·Zbl 1225.68147号
[3] 巴赫·F（2009）。使用分层多核学习探索大型特征空间。《神经信息处理系统进展》（第105-112页）。
[4] 巴恩哈特，C。；约翰逊，E。；纳姆豪泽，G。；Savelsbergh，M。；Vance，P.，《分支与价格：求解大型整数程序的列生成》，运筹学，46，3，316-329（1998）·Zbl 0979.90092号
[5] Bertsimas，D。；Copenhaver，M.，线性回归和矩阵回归中稳健化和正则化等价性的表征，《欧洲运筹学杂志》，270931-942（2018）·Zbl 1403.62040号
[6] Bertsimas，D。；金，A。；Mazumder，R.，《通过现代优化透镜选择最佳子集》，《统计年鉴》，44，2813-852（2016）·Zbl 1335.62115号
[7] Bertsimas，D.和Van Parys，B.（2017年）。稀疏高维回归：精确的可伸缩算法和相变。提交给《统计年鉴》。https://arxiv.org/abs/1709.10029。 ·Zbl 1444.62094号
[8] Breiman，L.，《分类和回归树》（2017），伦敦：劳特利奇出版社，伦敦
[9] Bühlmann，P。；van de Geer，S.，《高维数据统计：方法、理论和应用》（2011），柏林：施普林格出版社，柏林·Zbl 1273.62015年
[10] 坎迪斯，E。；J.隆伯格。；Tao，T.，鲁棒不确定性原理：从高度不完整的频率信息中重建精确信号，IEEE信息论汇刊，52，2489-509（2006）·Zbl 1231.94017号
[11] Donoho，D.和Stodden，V.（2006）。变量数超过观测数时模型选择的崩溃点。在神经网络国际联合会议上（第1916-1921页）。电气与电子工程师协会。
[12] 德里尼亚斯，P。；Mahoney，M.，《关于用NyströM方法逼近改进的基于核的学习的克矩阵》，机器学习研究杂志，2005年12月6日，2153-2175·Zbl 1222.68186号
[13] 杜兰，M。；Grossmann，I.，一类混合整数非线性规划的外逼近算法，数学规划，36，307-339（1986）·Zbl 0619.90052号
[14] 范，J。；Lv，J.，超高维特征空间的确定独立筛选，《皇家统计学会杂志：B辑（统计方法）》，70，5，849-911（2008）·Zbl 1411.62187号
[15] 范，J。；Lv，J.，《高维特征空间中变量选择的选择性综述》，《统计》，2010年第20期，第1期，第101页·Zbl 1180.62080号
[16] 弗莱彻，R。；Leyffer，S.，用外逼近法求解混合整数非线性规划，数学规划，66，1，327-349（1994）·Zbl 0833.90088号
[17] Gamarnik，D.和Zadik，I.（2017年）。二元系数高维回归。估计平方误差和相变。https://arxiv.org/abs/1701.04455。
[18] 盖恩，I。；Elisseeff，A.，《变量和特征选择简介》，《机器学习研究杂志》，3，3月，1157-1182（2003）·兹比尔1102.68556
[19] 霍尔，P。；Xue，JH，关于从高维数据中选择交互特征，计算统计与数据分析，71，694-708（2014）·Zbl 1471.62085号
[20] 郝，N。；Zhang，H.，超高维数据的交互筛选，美国统计协会杂志，109，507，1285-1301（2014）·Zbl 1368.62193号
[21] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习：套索和概括》（2015），博卡拉顿：CRC出版社，博卡拉通·Zbl 1319.68003号
[22] Hoerl，A。；Kennard，R.，Ridge回归：非正交问题的有偏估计，技术计量学，12，1，55-67（1970）·兹伯利0202.17205
[23] Huang，L.，Jia，J.，Yu，B.，Chun，B.G.，Maniatis，P.，&Naik，M.（2010）。使用稀疏多项式回归预测计算机程序的执行时间。《神经信息处理系统进展》（第883-891页）。
[24] 孔，Y。；李，D。；范，Y。；Lv，J.，通过距离相关实现高维多响应回归中的交互追求，《统计年鉴》，45，2，897-922（2017）·Zbl 1368.62140号
[25] Kpotufe，S.（2011年）。k-NN回归适用于局部内在维数。《神经信息处理系统进展》（第729-737页）。
[26] 鲁宾，M。；Dunning，I.，《使用Julia进行运筹研究中的计算》，《信息计算杂志》，27，2，238-248（2015）·Zbl 1331.90001号
[27] Mallat，S。；Zhang，Z.，用时频字典进行匹配，IEEE信号处理汇刊，41，12，3397-3415（1993）·Zbl 0842.94004号
[28] Mercer，J.，《正负型函数及其与积分方程理论的联系》，伦敦皇家学会哲学学报，209415-446（1909）·JFM 40.0408.02号文件
[29] Miller，A.，回归中的子集选择（2002），Boca Raton:Chapman和Hall/CRC，Boca Raton·Zbl 1051.62060号
[30] 内斯特罗夫，Y。；Nemirovskii，A.，凸规划中的内点多项式算法（1994），费城：SIAM，费城·Zbl 0824.90112号
[31] Pelckmans，K.，Suykens，J.，Van Gestel，T.，De Brabanter，J.、Lukas，L.、Hamers，B.、De Moor，B.和Vandewalle，J.（2002年）。LS-SVMlab：用于最小二乘支持向量机的Matlab/C工具箱。技术报告，K.U.Leuven·兹比尔1017.93004
[32] Poggio，T.，关于最佳非线性联想回忆，生物控制论，19，4，201-209（1975）·Zbl 0321.94001号
[33] 朔尔科普夫，B。；Smola，A.，《内核学习：支持向量机、正则化、优化及其后的发展》（2002），剑桥：麻省理工学院出版社，剑桥
[34] Smith，K.，关于观测多项式函数及其常数的调整值和内插值的标准偏差及其对正确选择观测分布的指导，Biometrika，12，1-2，1-85（1918）
[35] Stone，M.，《广义Weierstrass近似定理》，《数学杂志》，21，5，237-254（1948）
[36] 苏肯斯，J。；Vandewalle，J.，最小二乘支持向量机分类器，《神经处理快报》，9，3，293-300（1999）
[37] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊：B辑（方法学）》，58，1，267-288（1996）·Zbl 0850.62538号
[38] Tikhonov，A.，关于反问题的稳定性，Doklady Akademii Nauk SSSR，39，5195-198（1943）
[39] Vapnik，V.（1998）。函数估计的支持向量方法。非线性建模（第55-85页），Springer。
[40] Vapnik，V.，《统计学习理论的本质》（2013），柏林：施普林格出版社，柏林·兹比尔0934.62009
[41] Wainwright，M.，使用约束二次规划（Lasso）恢复高维和噪声稀疏性的夏普阈值，IEEE信息理论汇刊，55，5，2183-2202（2009）·Zbl 1367.62220号
[42] 赵，P。；罗查，G。；Yu，B.，分组和分层变量选择的复合绝对惩罚族，《统计年鉴》，373468-3497（2009）·Zbl 1369.62164号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。