于金强;阿列克谢·伊格纳提耶夫;彼得·斯图基（Peter J.Stuckey）。;皮埃尔·勒·博迪奇 使用SAT学习最优决策集和列表。 （英语） Zbl 1522.68489号 J.阿蒂夫。智力。研究（JAIR） 72, 1251-1279 (2021). 摘要：决策集和决策列表是两种最容易解释的机器学习模型。随着对可解释机器学习决策的重新重视，这两种机器学习模型都变得越来越有吸引力，因为它们结合了小尺寸和清晰的可解释性。在本文中，我们将大小定义为这些基于规则的模型的SAT编码中的文字总数，而不是早期专注于规则数量的工作。在本文中，我们开发了一些方法来计算最小大小的“完美”决策集和决策列表，这些决策集和列表在训练数据上完全准确，并且利用现代SAT求解技术实现了最小大小。我们还提供了一种新的确定最佳稀疏方案的方法，该方法权衡了大小和准确性。本文的实验表明，基于SAT的方法计算出的最优决策集与最佳启发式方法相当，但更简洁，因此更易于解释。我们对比了最优决策列表与最优决策集的大小和测试准确性，以及用于确定最优决策列表的其他最先进方法。最后，我们检查了由决策集和决策列表生成的平均解释的大小。 引用于4文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68T20型 人工智能背景下的问题解决（启发式、搜索策略等） 关键词：规则学习;机器学习;可满足性;解决问题 软件：StarExec公司;Scikit公司;UCI-毫升;PMLB公司;ORL公司;葡萄糖;4.5条;IMLI公司;PySAT公司;MLIC公司;形状 PDF格式BibTeX公司 XML格式引用 \textit{J.Yu}等人，J.Artif。智力。研究（JAIR）72，1251--1279（2021；Zbl 1522.68489） 全文： 内政部 参考文献： [1] Aglin，G.、Nijssen，S.和Schaus，P.（2020年）。使用缓存分支定界搜索学习最优决策树。InAAAI，第3146-3153页。 [2] Agrawal，R.、Imieli´nski，T.和Swami，A.（1993）。挖掘大型数据库中项目集之间的关联规则。在SIGMOD中，第207-216页。 [3] Angelino，E.、Larus-Stone，N.、Alabi，D.、Seltzer，M.和Rudin，C.（2017）。学习可证明的最佳规则列表。InKDD，第35-44页·Zbl 1473.68134号 [4] Angelino，E.、Larus-Stone，N.、Alabi，D.、Seltzer，M.和Rudin，C.（2018）。学习分类数据的可证明最优规则列表。机器学习研究杂志，18（234），1-78·Zbl 1473.68134号 [5] Apt´e，C.和Weiss，S.（1997年）。使用决策树和决策规则进行数据挖掘。未来一代计算机系统，13（2-3），197-210。 [6] As´ın，R.、Nieuwenhuis，R.、Oliveras，A.和Rodr´ıguez Carbonell，E.（2009）。基数网络及其应用。InSAT，第167-180页·Zbl 1247.68244号 [7] Audemard，G.、Lagniez，J.和Simon，L.（2013）。通过假设提高血糖以解决递增SAT：应用于MUS提取。InSAT，第309-317页·Zbl 1390.68587号 [8] Avellaneda，F.（2020）。最优决策树的有效推理。InAAAI，第3195-3202页。 [9] Baehrens，D.、Schroeter，T.、Harmeling，S.、Kawanabe，M.、Hansen，K.和M¨uller，K.（2010年）。如何解释个人分类决策。机器学习研究杂志，11803-1831·Zbl 1242.62049号 [10] Bailleux，O.和Boufkhad，Y.（2003年）。布尔基数约束的高效CNF编码。InCP，第108-122页·Zbl 1273.68332号 [11] Barnhart，C.、Johnson，E.L.、Nemhauser，G.L.、Savelsbergh，M.W.P.和Vance，P.H.（1998）。分支与价格：用于解决大型整数程序的列生成。操作。决议，46（3），316-329·Zbl 0979.90092号 [12] Batcher，K.E.（1968）。对网络及其应用进行分类。InAFIPS，第32卷，第307-314页。 [13] Bessiere，C.、Hebrard，E.和O'Sullivan，B.（2009年）。最小化决策树大小作为组合优化。InCP，第173-187页。 [14] Biere，A.、Heule，M.、van Maaren，H.和Walsh，T.（编辑）。(2009).可满足性手册。IOS出版社·Zbl 1183.68568号 [15] Clark，P.和Boswell，R.（1991）。CN2规则归纳：最近的一些改进。EWSL，第151-163页。 [16] Clark，P.和Niblett，T.（1989年）。CN2归纳算法。机器学习，3261-283。 [17] 科恩，W.W.（1995）。快速有效的规则归纳。InICML，第115-123页。 [18] Darwiche，A.（2020年）。人工智能中逻辑的三个现代角色。InPODS，第229-243页。ACM公司。 [19] Darwiche，A.和Hirth，A.（2020年）。关于决策背后的原因。InECAI，第712-720页。1276年·Zbl 1464.68307号 [20] Dash，S.、G¨unl¨uk，O.和Wei，D.（2018年）。通过列生成实现布尔决策规则。在NeurIPS中，第4660-4670页。 [21] Doshi-Velez，F.和Kim，B.（2017年）。严格可解释性科学的路线图。CoRR，abs/1702.08608。 [22] Dua，D.和Graff，C.（2017年）。UCI机器学习库。。 [23] Dufour，D.（2014）。寻找具有成本效益的决策树。滑铁卢大学硕士论文。 [24] Evans，R.和Grefenstette，E.（2018年）。从噪声数据中学习解释规则。J.阿蒂夫。智力。决议，61，1-64·Zbl 1426.68235号 [25] F¨urnkranz，J.、Gamberger，D.和Lavrac，N.（2012年）。规则学习基础。斯普林格·Zbl 1263.68002号 [26] Ghosh，B.和Meel，K.S.（2019年）。IMLI：基于maxsat的可解释分类规则学习的增量框架。InAIES，第203-210页。ACM公司。 [27] Guidotti，R.、Monreale，A.、Giannotti，F.、Pedreschi，D.、Ruggieri，S.和Turini，F.（2019a）。黑箱决策的事实和反事实解释。IEEE智能系统，34（6），14-23。 [28] Guidotti，R.、Monreale，A.、Ruggieri，S.、Turini，F.、Giannotti，F.和Pedreschi，D.（2019b）。黑箱模型解释方法综述。ACM计算。调查。，51(5), 93:1-93:42. [29] Han，J.、Kamber，M.和Pei，J.（2012）。数据挖掘：概念和技术，第3版。摩根·考夫曼·Zbl 1230.68018号 [30] Hancock，T.R.、Jiang，T.、Li，M.和Tromp，J.（1996）。学习决策列表和树的下限。信息计算。，126(2), 114-122. ·Zbl 0856.68121号 [31] Hu，X.、Rudin，C.和Seltzer，M.（2019）。最优稀疏决策树。神经信息处理系统进展，第7265-7273页。 [32] Ignatiev，A.（2020年）。《走向可信赖的、可解释的人工智能》，InIJCAI，第5154-5158页。 [33] Ignatiev，A.、Lam，E.、Stuckey，P.J.和Marques-Silva，J.（2021）。计算最优决策集的可扩展两阶段方法。在第34届AAAI人工智能会议（AAAI 2021）上，p.To Appear。 [34] Ignatiev，A.、Morgado，A.和Marques-Silva，J.（2018）。PySAT：一个使用SAT oracles进行原型制作的Python工具包。InSAT，第428-437页·Zbl 1484.68215号 [35] Ignatiev，A.、Morgado，A.和Marques-Silva，J.（2019a）。RC2：一个高效的maxsat解算器。J.满意。布尔模型。计算。，11(1), 53-64. ·Zbl 1484.68216号 [36] Ignatiev，A.、Narodytska，N.和Marques-Silva，J.（2019b）。机器学习模型的基于诱骗的解释。InAAAI，第1511-1519页。 [37] Ignatiev，A.、Narodytska，N.和Marques-Silva，J.（2019c）。关于相关解释和对抗性示例。InNeurIPS，第15857-15867页。 [38] Ignatiev，A.、Pereira，F.、Narodytska，N.和Marques-Silva，J.（2018）。一种基于SAT的学习可解释决策集的方法。InIJCAR，第627-645页·Zbl 1511.68249号 [39] Janota，M.和Morgado，A.（2020）。具有显式路径的最优决策树的基于SAT的编码。InSAT，第501-518页·Zbl 07331042号 [40] Jordan，M.I.和Mitchell，T.M.（2015）。机器学习：趋势、前景和展望。《科学》，349（6245），255-260·Zbl 1355.68227号 [41] Kamath，A.P.、Karmarkar，N.、Ramakrishnan，K.G.和Resende，M.G.C.（1992年）。归纳推理的连续方法。数学。程序。，57, 215-238. ·Zbl 0783.90122号 [42] Kim，B.、Khanna，R.和Koyejo，O.O.（2016）。榜样不够，学会批评！对可解释性的批评。《神经信息处理系统进展》，第2280-2288页。 [43] Lakkaraju，H.、Bach，S.H.和Leskovec，J.（2016）。可解释决策集：描述和预测的联合框架。InKDD，第1675-1684页。 [44] LeCun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。《自然》，521（7553），436。 [45] Li，O.、Liu，H.、Chen，C.和Rudin，C.（2018）。通过原型进行基于案例推理的深度学习：解释其预测的神经网络。InAAAI。 [46] Lipton，Z.C.（2018年）。模型可解释性的神话。Commun公司。美国医学会，61（10），36-43。 [47] Lundberg，S.M.和Lee，S.（2017年）。解释模型预测的统一方法。InNIPS，第4765-4774页。 [48] Malioutov，D.和Meel，K.S.（2018年）。MLIC：基于maxsat的学习可解释分类规则的框架。InCP，第312-327页。 [49] Marques-Silva，J.、Gerspacher，T.、Cooper，M.C.、Ignatiev，A.和Narodytska，N.（2020年）。用多项式时间和延迟解释朴素贝叶斯和其他线性分类器。在NeurIPS中。 [50] Marques-Silva等人，J.（2017）。与SAT技术代表、LASIGE、FCUL一起学习决策树。 [51] Michalski，R.S.（1969年）。关于一般覆盖问题的拟极小解。在信息处理国际研讨会上，第125-128页。 [52] Miller，T.（2019）。人工智能解释：来自社会科学的见解。人工智能，267，1-38·Zbl 1478.68274号 [53] Mitchell，T.M.（1997）。机器学习。麦格劳·希尔·Zbl 0913.68167号 [54] Mnih，V.、Kavukcuoglu，K.、Silver，D.、Rusu，A.A.、Veness，J.、Bellemare，M.G.、Graves，A.、Riedmiller，M.、Fidjeland，A.K.、Ostrovski，G.等人（2015年）。通过深度强化学习进行人性化控制。《自然》，518（7540），529。 [55] Monroe，D.（2018年）。AI，解释一下你自己。Commun公司。美国医学会，61（11），11-13。 [56] Montavon，G.、Samek，W.和M¨uller，K.（2018年）。解释和理解深层神经网络的方法。数字信号处理，73，1-15。 [57] Narodytska，N.、Ignatiev，A.、Pereira，F.和Marques-Silva，J.（2018年）。使用SAT学习最优决策树。InIJCAI，第1362-1368页。 [58] Olson，R.S.、La Cava，W.、Orzechowski，P.、Urbanowicz，R.J.和Moore，J.H.（2017）。Pmlb：用于机器学习评估和比较的大型基准套件。生物数据挖掘，10（1），36。 [59] 佩德雷戈萨（Pedregosa，F.）、瓦罗佐（Varoqueux，G.）、格兰福特（Gramfort，A.）、米歇尔（Michel，V.）、提里昂（Thirion，B。Scikit-learn：用python进行机器学习。机器学习研究杂志，12，2825-2830·Zbl 1280.68189号 [60] Quinlan，J.R.（1993）。C4.5：机器学习程序。摩根考夫曼。 [61] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016）。“我为什么要相信你？”：解释任何分类器的预测。Krishnapuram，B.、Shah，M.、Smola，A.J.、Aggarwal，C.C.、Shen，D.和Rastogi，R.（编辑），KDD，第1135-1144页。ACM公司。 [62] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2018年）。锚：高精度模型-认知解释。InAAAI。 [63] Rivest，R.L.（1987年）。学习决策列表。机器学习，2（3），229-246。 [64] Rudin，C.和Ertekin，S.（2018）。通过数学编程学习定制和优化的规则列表。数学规划计算，10659-702·Zbl 1411.90234号 [65] Schidler，A.和Szeider，S.（2021年）。基于SAT的大型数据集决策树学习。在AAAI中，第3904-3912页。 [66] Shih，A.、Choi，A.和Darwiche，A.（2018年）。一种解释贝叶斯网络分类器的符号方法。InIJCAI，第5103-5111页。 [67] Sinz，C.（2005年）。朝向布尔基数约束的最佳CNF编码。在CP中，第827-831页·Zbl 1153.68488号 [68] Stump，A.、Sutcliffe，G.和Tinelli，C.（2014）。Starexec：用于逻辑求解的跨社区基础设施。InIJCAR，第367-373页。 [69] Tseitin，G.S.（1968年）。关于命题演算中推导的复杂性。数学和数学逻辑研究，第二部分，115-125·Zbl 0197.00102号 [70] Verhaeghe，H.、Nijssen，S.、Pesant，G.、Quimper，C.-G.和Schaus，P.（2019年）。使用约束规划学习最优决策树。在CP-19的程序中·Zbl 07446942号 [71] Wang，T.、Rudin，C.、Doshi-Velez，F.、Liu，Y.、Klampfl，E.和MacNeille，P.（2017）。用于学习可解释分类规则集的贝叶斯框架。机器学习研究杂志，18，70:1-70:37·Zbl 1434.68467号 [72] Yu，J.、Ignatiev，A.、Le Bodic，P.和Stuckey，P.J.（2020a）。使用SAT.CoRR的最佳决策列表，abs/2010.09919。 [73] Yu，J.、Ignatiev，A.、Stuckey，P.J.和Le Bodic，P.（2020b）。使用SAT计算最优决策集。InCP，第952-970页 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。