×
赫莱内·维哈盖;齐格弗里德·尼杰森;吉尔斯·佩森特;克洛德·盖·昆珀;皮埃尔·绍斯

使用约束规划学习最优决策树。 （英语） Zbl 07446942号

限制条件 25，编号3-4，226-250（2020）.
摘要：决策树是机器学习中最流行的分类模型之一。传统上，它们是使用贪婪算法学习的。然而，这种算法存在几个缺点：很难在保持良好分类精度的同时限制决策树的大小，并且很难对学习的模型施加额外的约束。由于这些原因，最近人们对用于学习决策树的精确且灵活的算法产生了兴趣。本文介绍了一种利用约束规划学习决策树的新方法。与以前的方法相比，我们的方法获得了更好的性能，同时仍然具有足够的灵活性，可以包含约束。我们的方法建立在三个关键的构建块上：（1）使用AND/OR搜索，（2）使用缓存，（3）使用最近针对项集挖掘问题提出的CoverSize全局约束。这使得我们的约束编程方法能够更有效地处理学习问题中的分解。

引用于10文件

MSC公司：

62件 统计学的应用
62华夏 多元分析
62至XX 统计学

关键词：

决策树;封面尺寸;和/或搜索树;缓存
PDF格式BibTeX公司 XML格式引用
\textit{H.Verhaeghe}等人，《限制条件》25，No.3--4，226--250（2020；Zbl 07446942）
全文： 内政部

参考文献：

[1] Breiman，L.（1984）。分类和回归树。劳特利奇·Zbl 0541.62042号
[2] Quinlan，J.R.（1986年）。决策树的归纳。机器学习，1（1），81-106。doi:10.1023/A:1022643204877。
[3] Quinlan，J.R.（1993）。C4.5：机器学习程序。摩根·考夫曼。
[4] Aghaei，S.、Azizi，M.J.和Vayanos，P.（2019年）。学习用于非歧视决策的最优和公平决策树。
[5] Bertsimas，D。；Dunn，J.，最优分类树，机器学习，106，7，1039-1082（2017）·Zbl 1455.68159号 ·doi:10.1007/s10994-017-5633-9
[6] Bessiere，C.、Hebrard，E.和O'Sullivan，B.（2009年）。最小化决策树大小作为组合优化。Gent，I.P.（Ed.）《约束编程的原理与实践——CP 2009》，第15届国际会议，CP 2009，葡萄牙里斯本，计算机科学论文集，讲稿，（第5732卷，第173-187页）：Springer。doi:10.1007/978-3-642-04244-7_16。
[7] Narodytska，N.、Ignatiev，A.、Pereira，F.和Marques-Silva，J.（2018年）。使用SAT学习最优决策树。In Lang，J.（Ed.）《第二十七届国际人工智能联合会议论文集》，2018年国际人工智能大会，瑞典斯德哥尔摩，IJCAI.org（第1362-1368页）。doi:10.24963/ijcai.2018/189·Zbl 1511.68249号
[8] Nijssen，S.和Fromont，E.（2007年）。从项集格挖掘最优决策树，第13届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第530-539页）：ACM。
[9] Nijssen，S。；Fromont，E.，从项集格中进行基于最优约束的决策树归纳，Data Min Knowl。发现。，21, 1, 9-51 (2010) ·doi:10.1007/s10618-010-0174-x
[10] Verwer，S.和Zhang，Y.（2019年）。使用二进制线性规划公式学习最优分类树。第三十三届AAAI人工智能会议，2019年，第三十届人工智能创新应用会议，2019IAAI，第九届AAAI-人工智能教育进步研讨会，2019EAAI（第1625-1632页）。檀香山：AAAI出版社。doi:10.1609/aaai.v33i01.33011624。
[11] Bonfietti，A.、Lombardi，M.和Milano，M.（2015）。在约束规划中嵌入决策树和随机森林。Michel，L（Ed.）《人工智能与操作规则技术在约束编程中的集成——第12届国际会议》，CPAIOR 2015，西班牙巴塞罗那，计算机科学论文集，讲稿，（第9075卷，第74-90页）：Springer。doi:10.1007/978-3-319-18008-36·Zbl 1459.68189号
[12] Hyafil，L。；Rivest，RL，《构建最优二叉决策树是np-complete》，《信息处理快报》，5，1，15-17（1976）·Zbl 0333.68029号 ·doi:10.1016/0020-0190（76）90095-8
[13] Hancock，T。；姜涛（Jiang，T.）。；李，M。；Tromp，J.，学习决策列表和树的下限，信息与计算，126，2，114-122（1996）·Zbl 0856.68121号 ·doi:10.1006/inco.1996.004
[14] Schaus，P.、Aoga，J.O.R.和Guns，T.（2017年）。Coversize：基于频率的项集挖掘的全局约束。在约束编程原理与实践国际会议（第529-546页）：Springer。
[15] Dechter，R.和Mateescu，R.（2004）。与或搜索空间对约束满足和计数的影响。《约束编程的原理与实践——CP 2004》，第十届国际会议，CP 2004，加拿大多伦多，会议记录（第731-736页）·Zbl 1152.68550号
[16] Babaki，B.、Guns，T.和De Raedt，L.（2017年）。带与或分枝定界的随机约束规划。《第二十六届国际人工智能联合会议论文集》，2017年国际人工智能学会，澳大利亚墨尔本（第539-545页）。
[17] Rossi，F.、Van Beek，P.和Walsh，T.（2006）。约束编程手册。爱思唯尔·兹比尔1175.90011
[18] Laurent Michel，P.S.（2018年）。MiniCP：用于约束编程的轻量级解算器。可从以下位置获得https://minicp.bitbucket.io。 ·Zbl 1480.90231号
[19] Dechter，R。；Mateescu，R.，和/或图形模型的搜索空间，人工智能，171，2-3，73-106（2007）·Zbl 1168.68549号 ·doi:10.1016/j.artint.2006.11.003
[20] Marinescu，R.和Dechter，R.（2004）。约束优化的和/或树搜索。第六届优惠与软约束国际研讨会论文集：Citeser·Zbl 1185.68648号
[21] Demeulenaere，J.、Hartert，R.、Lecoutre，C.、Perez，G.、Perron，L.、Régin，J.-C.和Schaus，P.（2016）。可压缩：使用可逆稀疏比特集有效过滤表约束，约束编程原理与实践国际会议（第207-223页）：Springer。
[22] 盖子，TM；JA Thomas，《信息理论的要素》（2012），纽约：威利出版社，纽约·Zbl 1140.94001号
[23] OscaR团队。(2012). OscaR：OR中的Scala。可从以下位置获得https://bitbucket.org/oscarlib/oscar。
[24] Rothberg，E.，《改进混合整数规划解决方案的进化算法》，INFORMS计算杂志，19，4，534-541（2007）·Zbl 1241.90092号 ·doi:10.1287/ijoc.1060.0189
[25] Verhaeghe，H.、Nijssen，S.、Pesant，G.、Quimper，C.-G.和Schaus，P.（2019年）。使用约束规划学习最优决策树。在Beuls，K.、Bogaerts，B.、Bontempi，G.、Geurts，P.、Harley，N.、Lebichot，B.、Lenaerts，T.、Louppe，G.和Eecke，P.V.（编辑）《第31届比荷卢联盟人工智能会议（BNAIC 2019）和第28届比利时-荷兰机器学习会议（Benelern 2019）论文集》，比利时布鲁塞尔，CEUR研讨会论文集，第2491卷：CEUR-WS.org。http://ceur-ws.org/Vol-2491/abstract109.pdf。
[26] Verhaeghe，H.、Nijssen，S.、Pesant，G.、Quimper，C.-G.和Schaus，P.（2020年）。使用约束编程学习最优决策树（扩展抽象）。第二十届国际人工智能联合会议论文集，IJCAI 2020，日本东京·Zbl 07446942号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。