林少波;唐少杰;王，姚;王迪 面向具有结构约束的高效集成学习：收敛算法和应用。 （英语） Zbl 07640783号 信息J.计算。 34，第6号，3096-3116（2022）. 总结：集成学习方法，如boosting，侧重于基于大量弱分类器生成强分类器。本文结合boosting中的重缩放和正则化思想，提出了一种新的二值分类集成学习方法，称为重缩放截断boosting（ReBooT）。理论上，我们给出了ReBooT收敛的一些充分条件，导出了一个几乎最优的数值收敛速度，并在统计学习理论的框架下推导了快速学习速度。在实验上，我们进行了玩具模拟和四次真实世界数据运行，以展示ReBooT的威力。结果表明，与现有的boosting算法相比，ReBooT在坚实的理论保证、完善的结构约束和良好的预测性能方面具有更好的学习性能和可解释性。 理学硕士： 90立方厘米 数学编程 关键词：集成学习;增压;学习理论;收敛 软件：XGBoost公司;SentiWordNet网站;达奇;ImageNet公司;CatBoost公司;UCI-毫升;AlexNet公司 PDF格式BibTeX公司 XML格式引用 \textit{S.-B.Lin}等人，《信息与计算》。34，编号6，3096-3116（2022；兹bl 07640783） 全文： 内政部 参考文献： [1] Bagirov A，Clausen C，Kohler M（2010）回归函数估计的l2增强算法。IEEE传输。通知。理论56（3）：1417-1429。Crossref，谷歌学者·Zbl 1366.62056号 ·doi:10.1109/TIT.2009.2039161 [2] Barron A，Cohen A，Dahmen W，Devore R（2008）贪婪算法的近似和学习。安。统计师。36（1）：64-94.Crossref，谷歌学者·Zbl 1138.62019号 ·doi:10.1214/009053607000000631 [3] Bartlett P，Traskin M（2007）Adaboost是一致的。J.机器学习。物件。8:2347-2368谷歌学者·Zbl 1222.68142号 [4] Bickel P，Ritov Y，Zakai A（2006）广义增压算法的一些理论。J.机器学习。物件。7:705-732.谷歌学者·Zbl 1222.68148号 [5] Blanchard G，Krämer N（2016）随机设计回归核共轭梯度的收敛速度。分析。申请。（新加坡）14（6）：763-794.Crossref，谷歌学者·Zbl 1349.62125号 ·doi:10.1142/S0219530516400017 [6] Breiman L（1996）装袋预测值。机器学习。24（2）：123-140.谷歌学者交叉引用·Zbl 0858.68080号 ·doi:10.1007/BF00058655 [7] Buhlmann P，Hothorn T（2007）Boosting algorithms:正则化，预测和模型拟合。统计师。科学。22（4）：477-505.谷歌学者·Zbl 1246.62163号 [8] Caponetto A，De Vito E（2007）正则化最小二乘算法的最佳速率。基础计算。数学。7（3）：331-368.谷歌学者Crossref·Zbl 1129.68058号 ·doi:10.1007/s10208-006-0196-8 [9] Chang N，Sheng O（2008）基于决策树的知识发现：单对多决策树归纳。信息J.计算。20（1）：46-54.Link，谷歌学者·Zbl 1243.68168号 [10] Chen T，Guestrin C（2016）Xgboost:一种可扩展的树木增强系统。程序。第22届ACM SIGKDD国际。Conf.知识发现数据挖掘（纽约计算机械协会），785-794.谷歌学者 [11] Chen D，Wu Q，Ying Y，Zhou D（2004）支持向量机软边缘分类器：误差分析。J.机器学习。物件。5:1143-1175.谷歌学者·Zbl 1222.68167号 [12] Cranor L，LaMacchia B（1998）垃圾邮件！通信ACM41（8）：74-83.Crossref，谷歌学者·doi:10.145/280324.280336 [13] Demsar J（2006）多数据集分类器的统计比较。J.机器学习。物件。7（1）：1-30.谷歌学者·Zbl 1222.68184号 [14] Deodhar M、Ghosh J、Saar-Teschensky M、Keshari V（2017）《使用多个局部回归模型的主动学习》。信息J.计算。29（3）：503-522.链接，谷歌学者·Zbl 1380.68332号 [15] Dua D Graff C（2019）UCI机器学习知识库（加州大学欧文分校信息与计算机科学学院）。https://archive.ics.uci.edu/ml/datasets/Spambase.谷歌学者 [16] Ehrlinger J，Ishwaran H（2012）《二语增强的特征》。安。统计师。40（2）：1074-1101.谷歌学者（Google Scholar）交叉引用·Zbl 1274.62420号 ·doi:10.1214/12-AOS997 [17] Esuli A，Sebastiani F（2006）《Sentiwordnet：意见挖掘的公开词汇资源》。程序。第五国际。语言资源与评估会议，第6卷，417-422.谷歌学者 [18] Evgeniou T、Pontil M、Poggio T（2000）正则化网络和支持向量机。高级计算。数学。13（1）：1-50.谷歌学者交叉引用·Zbl 0939.68098号 ·doi:10.1023/A:1018946025316 [19] Freund Y（1995）大多数人都支持弱学习算法。通知。计算。121（2）：256-285.Crossref，谷歌学者·Zbl 0833.68109号 ·doi:10.1006/inco.1995.1136 [20] Freund R，Grigas P（2016）弗兰克-沃尔夫方法的新分析和结果。数学。编程155（1-2）：199-230.谷歌学者交叉引用·Zbl 1342.90101号 ·doi:10.1007/s10107-014-0841-6 [21] Freund Y，Schapire RE（1997）在线学习的决策理论推广及其在助推中的应用。J.计算。系统科学。55（1）：119-139。Crossref，谷歌学者·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [22] Friedman J（2001）贪婪函数近似：梯度提升机。安。统计师。29（5）：1189-1232.谷歌学者交叉引用·Zbl 1043.62034号 ·doi:10.1214/aos/1013203451 [23] Friedman J，Hastie T，Tibshirani R（2000）《加性逻辑回归：增强-反驳的统计观点》。安。统计师。28（2）：400-407.Crossref，谷歌学者·兹比尔1106.62323 ·doi:10.1214/aos/1016218223 [24] Gabay D，Mercier B（1976）通过有限元近似解非线性变分问题的对偶算法。计算。数学。申请。2（1）：17-40.Crossref，谷歌学者·Zbl 0352.65034号 ·doi:10.1016/0898-1221（76）90003-1 [25] Grushka-Cockayne Y、Jose V、Lichtendahl K（2017）《过度飞行和过度自信预测的集合》。管理科学。63（4）：1110-1130.Link，谷歌学者 [26] Györfy L、Kohler M、Krzyżak A、Walk H（2002）非参数回归的无分布理论（纽约州施普林格）。Crossref，谷歌学者·Zbl 1021.62024号 ·数字对象标识代码：10.1007/b97848 [27] Hajj N，Rizk Y，Awad M（2019）使用改进的皮层算法的体育文章的主观性分类框架。神经计算。申请。31（11）:8069-8085.Crossref，谷歌学者·doi:10.1007/s00521-018-3549-3 [28] Hinton G，Osindero S，Teh Y（2006）深度信念网的快速学习算法。神经计算。18（7）：1527-1554.Crossref，谷歌学者·Zbl 1106.68094号 ·doi:10.1162/neco.2006.18.7.1527 [29] Jaggi M（2013）《重新审视Frank-Wolfe：无投影稀疏凸优化》。程序。第30届国际。机器学习问题。，第28卷谷歌学者 [30] Jiang W（2004）adaboost的过程一致性。安。统计师。32（1）：13-29.Crossref，谷歌学者·Zbl 1105.62316号 ·doi:10.1214/aos/1079120128 [31] Ke G，Meng Q，Finely T，Wang T，Chen W，Ma W，Ye Q，et al.（2017）Lightgbm：一种高效的梯度提升决策树。程序。第31届国际。神经信息处理系统会议，3149-3157.谷歌学者 [32] Kraus M、Feuerriegel S、Oztekin A（2020）《商业分析和运营研究的深度学习：模型、应用和管理启示》。欧洲药典。物件。281（3）：628-641.Crossref，谷歌学者·doi:10.1016/j.ejor.2019.09.018 [33] Krizhevsky A，Sutskever I，Hinton G（2017），深度卷积神经网络的Imagenet分类。通信ACM60（6）：84-90.谷歌学者Crossref·doi:10.1145/3065386 [34] Lin SB，Zhou DX（2018a）基于核的分布式梯度下降算法。构造性近似47（2）：249-276.Crossref，谷歌学者·Zbl 1390.68542号 ·doi:10.1007/s00365-017-9379-1 [35] Lin SB，Zhou DX（2018b）核偏最小二乘的最优学习率。J.傅里叶分析。申请。24（3）：908-933.Crossref，谷歌学者·Zbl 1395.68235号 ·doi:10.1007/s00041-017-9544-8 [36] Lin SB，Guo X，Zhou DX（2017a）正则化最小二乘分布式学习。J.机器学习。物件。18:1-31.谷歌学者·Zbl 1435.68273号 [37] Lin SB，Zeng J，Chang X（2017b）高斯核分类的学习率。神经计算。29（12）：3353C-3380.Crossref，谷歌学者·Zbl 1456.68155号 ·doi:10.1162/necoa_00968 [38] Lin S，Rong Y，Sun X，Xu Z（2013）树集合的优化。IEEE传输。神经网络学习。系统24（10）：1598-1608.谷歌学者 [39] MisićV（2020）树集合的优化。操作。物件。68（5）：1605-1624.链接，谷歌学者·Zbl 1457.90098号 [40] Mukherjee I，Rudin C，Schapire R（2013）adaboost的收敛速度。J.机器学习。物件。14:2315-2347.谷歌学者·Zbl 1317.68176号 [41] Nesterov Y（2005）非光滑函数的平滑最小化。数学。编程103（1）：127-152.Crossref，谷歌学者·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [42] Park Y（2021）通过数据聚合优化l1-范数误差拟合。信息J.计算。33(1):120-142.链接，谷歌学者·Zbl 07362307号 [43] Prokhorenkova L、Gusev G、Vorobev A、Dorogush AV、Gulin A（2018）《Catboost:无偏助推与分类功能》。程序。第32届国际。神经信息会议。处理系统，6639-6649。谷歌学者 [44] Quinlan J（1987）简化决策树。国际。J.人类计算机。螺柱。27（3）：221-234.谷歌学者 [45] Schapire R（2001）机器学习的促进方法：概述。程序。非线性估计和分类讲习班。谷歌学者 [46] Schapire R、Freund Y（2012）助推：基础和算法（麻省理工学院出版社，马萨诸塞州剑桥）。Crossref，谷歌学者·Zbl 1278.68021号 ·doi:10.7551/mitpress/8291.0001.0001 [47] Shi L，Feng YL，Zhou DX（2011）使用l1-正则化子和数据相关假设空间进行学习的浓度估计。申请。计算。哈蒙。分析。31（2）：286-302.Crossref，谷歌学者·Zbl 1221.68201号 ·doi:10.1016/j.aca.2011.01.001 [48] Shi L，Huang X，Feng Y，Suykens J（2019）基于系数的稀疏核回归ℓq再规范化。J.机器学习。物件。20（161）:1-44.谷歌学者·Zbl 1446.62119号 [49] Silver D、Huang A、Maddison C、Guez A、Sifre L、Van Den Driessche G、Schrittwieser J等（2016）掌握深度神经网络和树搜索的围棋游戏。自然529（7587）：484-489.Crossref，谷歌学者·doi:10.1038/nature16961 [50] Steinwart I，Christmann A（2008）支持向量机（纽约州施普林格）。谷歌学者·Zbl 1203.68171号 [51] Steinwart I，Scovel C（2007）使用高斯核的支持向量机的快速率。安。统计师。35（2）:575-607.谷歌学者（Google Scholar）交叉引用·Zbl 1127.68091号 ·doi:10.1214/009053606000001226 [52] Steinwart I，Hush D，Scovel C（2009）正则化最小二乘回归的最佳速率。程序。第22届学习大会。理论。谷歌学者 [53] Telgarsky M（2013）物流损失的增加是一致的，arXiv预印本arXiv:1305.2648。谷歌学者 [54] Temlyakov V（2008）贪婪近似。《数字学报》17:235-409.谷歌学者Crossref·Zbl 1178.65050号 ·doi:10.1017/S0962492906380014 [55] Temlyakov V（2015）凸优化中的贪婪近似。构造性近似41（2）：269-296.Crossref，谷歌学者·Zbl 1317.41016号 ·doi:10.1007/s00365-014-9272-0 [56] Terekhov D，Beck J，Brown K（2009）解决排队设计和控制问题的约束编程方法。信息J.计算。21（4）：549-561.谷歌学者链接·Zbl 1243.90047号 [57] Tsybakov A（2004）统计学习中分类器的最佳聚合。安。统计师。32（1）：135-166.Crossref，谷歌学者·Zbl 1105.62353号 ·doi:10.1214/aos/1079120131 [58] Vapnik V（2013）统计学习理论的本质。（Springer Science&Business Media，纽约）谷歌学者 [59] Wang Y，Guo X，Lin SB（2020）《基于核的二级支撑与结构约束》。预印本，于年月日提交，https://arxiv.org/abs/2009.07558谷歌学者 [60] 王毅，廖X，林S（2019）重新定标分类助推。IEEE传输。神经网络学习。系统30（9）：2598-2610.谷歌学者交叉引用·doi:10.1109/TNNLS.2018.2885085 [61] Wei Y，Yang F，Wainwright M（2019）《内核提升算法的提前停止：局部复杂性的一般分析》。IEEE传输。通知。理论65（10）：6685-6703.Crossref，谷歌学者·Zbl 1432.62115号 ·doi:10.1109/TIT.2019.2927563 [62] Xiang D（2011）不同高斯的Logistic分类。计算。数学。申请。61（2）：397-407.Crossref，谷歌学者·Zbl 1211.65064号 ·doi:10.1016/j.camwa.2010.11.016 [63] Yao Y，Rosasco L，Caponnetto A（2007）关于梯度下降学习中的早期停止。构造性近似26（2）：289-315.谷歌学者交叉引用·Zbl 1125.62035号 ·doi:10.1007/s00365-006-0663-2 [64] 叶毅（1997）内点算法：理论与分析（Wiley-Interscience，纽约）。Crossref，谷歌学者·Zbl 0943.90070号 ·doi:10.1002/9781118032701 [65] Young T，Hazarika D，Poria S，Cambria E（2018）基于深度学习的自然语言处理的最新趋势。IEEE计算。情报杂志13（3）：55-75.Crossref，谷歌学者·doi:10.1010/MCI.2018.2840738 [66] Yu Z，Wang Z，You J，Zhang J，Liu J，Wong H，Han G（2017）一种新的非参数检验，用于多数据集上多分类器的统计比较。IEEE传输。控制论47（12）：4418-4431.Crossref，谷歌学者·doi:10.1109/TCYB.2016.2611020 [67] Zhang T（2003）某些凸优化问题的序列贪婪逼近。IEEE传输。通知。理论49（3）：682-691.Crossref，谷歌学者·Zbl 1063.90040号 ·doi:10.1109/TIT.2002.808136 [68] Zhang T（2004）基于凸风险最小化的分类方法的统计行为和一致性。安。统计师。32（1）：56-85.Crossref，谷歌学者·Zbl 1105.62323号 ·doi:10.1214操作系统/1079120130 [69] 张涛，于斌（2005）提前停止推进：收敛性和一致性。安。统计师。33（4）：1538-1579。Crossref，谷歌学者·Zbl 1078.62038号 ·doi:10.1214/009053605000000255 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。