×

最优随机分类树的稀疏性。 (英语) Zbl 1441.62163号

摘要:决策树是流行的分类和回归工具,如果规模较小,则易于解释。传统上,贪婪的方法被用来构建树,产生一个非常快的训练过程;然而,控制稀疏性(可解释性的代理)是一项挑战。在最近的研究中,同时优化所有决策的最优决策树显示了更好的学习性能,尤其是在执行斜截时。在本文中,我们提出了一种基于斜割的连续优化方法来构建稀疏最优分类树,目的是在割中以及沿着整棵树使用较少的预测变量。两种类型的稀疏性,即局部稀疏性和全局稀疏性,都是通过多面体范数的正则化来建模的。报告的计算经验支持我们的方法的有用性。在我们所有的数据集中,可以在不影响分类精度的情况下改进局部和全局稀疏性。与贪婪方法不同,我们可以很容易地权衡一些分类精度以获得全局稀疏性。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统
90摄氏度 数学规划的应用
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Athey,S.,《机器学习对经济学的影响》,《人工智能经济学:议程》(2018年),芝加哥大学出版社
[2] Baesens,B。;塞提诺,R。;梅斯,C。;Vantheinen,J.,《使用神经网络规则提取和决策表进行信用风险评估》,《管理科学》,49,3,312-329(2003)·Zbl 1232.91684号
[3] Bennett,K.P。;Blue,J.,最优决策树,伦斯勒理工学院数学报告214(1996)
[4] Bertsimas,D。;Dunn,J.,最优分类树,机器学习,106,71039-1082(2017)·Zbl 1455.68159号
[5] Biau,G。;Scornet,E.,《随机森林导览》,Test,25,2,197-227(2016)·Zbl 1402.62133号
[6] Blankero,R.、Carrizosa,E.、Molero-Río,C.和Romero Morales,D.(2018年)。最优随机分类树。https://www.researchgate.net/publication/326901224_Optimal_Randomized_Classification_Trees。 ·Zbl 1510.90306号
[7] Breiman,L.,《随机森林,机器学习》,45,1,5-32(2001)·Zbl 1007.68152号
[8] 布雷曼,L。;弗里德曼,J。;斯通,C.J。;奥尔森,R.A.,《分类与回归树》(1984),CRC出版社·Zbl 0541.62042号
[9] Carrizosa,E。;马丁·巴拉根,B。;Romero Morales,D.,《在监督分类中检测相关变量和交互作用》,《欧洲运筹学杂志》,2131260-269(2011)
[10] Carrizosa,E。;罗梅罗·莫拉莱斯(Romero Morales,D.),《监督分类和数学优化》,《计算机与运营研究》,第40、1、150-165页(2013年)·Zbl 1349.68135号
[11] 邓,H。;Runger,G.,通过正则化树进行特征选择,2012年国际神经网络联合会议(IJCNN)论文集,1-8(2012),IEEE
[12] 邓,H。;Runger,G.,引导正则随机森林的基因选择,模式识别,46,12,3483-3489(2013)
[13] 费尔南德斯·德尔加多,M。;Cernadas,E。;巴罗,S。;Amorim,D.,我们需要数百个分类器来解决现实世界的分类问题吗?,机器学习研究杂志,15,1,3133-3181(2014)·Zbl 1319.62005号
[14] 弗拉特,M。;Crognier,G。;加博,A。;C.A.J.Hurkens。;Zhang,Y.,分类树基于列生成的数学启发式,计算机与运筹学(2019)
[15] Freitas,A.,《可理解的分类模型:立场文件》,ACM SIGKDD Explorations Newsletter,15,1,1-10(2014)
[16] Genuer,R。;波吉,J.-M。;Tuleau-Malot,C。;Villa-Vialaneix,N.,《大数据随机森林》,大数据研究,9,28-46(2017)
[17] 古德曼,B。;Flaxman,S.,欧盟关于算法决策和“解释权”的规定,AI杂志,38,3,50-57(2017)
[18] Günlük,O.,Kalagnanam,J.,Menickelly,M.,&Scheinberg,k.(2019年)。通过整数规划的最优广义决策树。arXiv:1612.03225v3·Zbl 1475.90039号
[19] 哈特·W·E。;莱尔德,C.D。;沃森,J.-P。;伍德拉夫·D·L。;Hackebeil,G.A。;Nicholson,B.L。;Siirola,J.D.,Pyomo-optimization modeling in python,67(2017),Springer Science&Business Media·Zbl 1370.90003号
[20] 哈特·W·E。;沃森,J.-P。;伍德拉夫,D.L.,《Pyomo:用Python建模和求解数学程序》,《数学编程计算》,3,3,219-260(2011)
[21] 哈斯蒂,T。;Tibshirani,R。;Friedman,J.,《统计学习的要素》(2009),施普林格:施普林格纽约·Zbl 1273.62005年
[22] Hyafil,L。;Rivest,R.L.,《构建最优二叉决策树是NP-完全的》,《信息处理快报》,5,1,15-17(1976)·Zbl 0333.68029号
[23] Jung,J.、Concannon,C.、Shroff,R.、Goel,S.和Goldstein,D.G.(2017年)。复杂决策的简单规则。arXiv:1702.04690v3。
[24] Lichman,M.(2013)。UCI机器学习库。http://archive.ics.uci.edu/ml。加州大学欧文分校信息与计算机科学学院。
[25] 马尔多纳多,S。;布拉沃,C。;洛佩兹,J。;Perez,J.,《信用评分中基于利润的特征选择和SVM分类的集成框架》,决策支持系统,104,113-121(2017)
[26] 马尔多纳多,S。;Lopez,J.,《双超平面支持向量机的同步特征选择》,基于知识的系统,132119-128(2017)
[27] Martens,D。;Baesens,B。;Van Gestel,T。;Vantheinen,J.,《使用支持向量机规则提取的可理解信用评分模型》,《欧洲运筹学杂志》,183,3,1466-1476(2007)·Zbl 1278.91177号
[28] 马丁·巴拉根,B。;里洛,R。;Romo,J.,功能数据的可解释支持向量机,《欧洲运筹学杂志》,232,1,146-155(2014)
[29] 诺鲁齐,M。;柯林斯,M。;约翰逊,医学硕士。;弗利特,D.J。;Kohli,P.,决策树的高效非贪婪优化,神经信息处理系统进展论文集,1729-1737(2015)
[30] Olafsson,S。;李,X。;Wu,S.,运筹学与数据挖掘,《欧洲运筹学杂志》,187,3,1429-1448(2008)·Zbl 1137.90776号
[31] Python核心团队,Python:一种动态的开源编程语言(2015)
[32] 里奇韦,G.,《预测的陷阱》,《国家司法研究所期刊》,271,34-40(2013)
[33] Silva,A.P.D.,监督分类的优化方法,《欧洲运筹学杂志》,261,2772-788(2017)·Zbl 1403.62114号
[34] Therneau,T.&Atkinson,B.(2019年)。rpart:递归分区和回归树。R包版本4.1-15,https://CRAN.R-project.org/package=rpart。
[35] Tibshirani,R。;温赖特,M。;Hastie,T.,《稀疏性统计学习》。套索和概括(2015),查普曼和霍尔/CRC·Zbl 1319.68003号
[36] Ustun,B。;Rudin,C.,优化医疗评分系统的超解析线性整数模型,机器学习,102,3,349-391(2016)·Zbl 1406.62144号
[37] Verwer,S。;Zhang,Y.,使用整数优化学习具有灵活约束和目标的决策树,《组合优化问题约束编程中AI和OR技术国际会议论文集》,94-103(2017),Springer·兹比尔1489.68259
[38] Verwer,S。;Zhang,Y。;Ye,Q.C.,使用回归树和线性模型作为整数程序的拍卖优化,人工智能,244368-395(2017)·Zbl 1404.68122号
[39] 瓦希特,A。;Biegler,L.T.,《关于大规模非线性规划中点内滤波器线搜索算法的实现》,《数学规划》,106,1,25-57(2006)·兹比尔1134.90542
[40] Yang,L。;刘,S。;佐卡,S。;Papageorgiou,L.G.,使用数学编程的回归树方法,应用专家系统,78,347-357(2017)
[41] 邹,H。;袁,M.,F-无穷范数支持向量机,中国统计,18,379-398(2008)·Zbl 1416.62370号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。