×

学习分类数据的可证明最优规则列表。 (英语) Zbl 1473.68134号

摘要:我们提出了一种自定义离散优化技术的设计和实现,用于在分类特征空间上构建规则列表。我们的算法根据正则化的经验风险,生成具有最佳训练性能的规则列表,并附有最优性证书。通过利用算法界限、有效的数据结构和计算重用,我们实现了几个数量级的时间加速和内存消耗的大量减少。我们证明了我们的方法可以在几秒钟内生成关于实际问题的最佳规则列表。我们的结果表明,在佛罗里达州布劳沃德县的数据上,可以构建与COMPAS专有风险预测工具几乎一样准确的最佳稀疏规则列表,但这是完全可以解释的。该框架是CART和其他决策树方法的一种新的可解释建模方法。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
62第25页 统计学在社会科学中的应用
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] E.Angelino、N.Larus-Stone、D.Alabi、M.Seltzer和C.Rudin。学习分类数据的可证明最优规则列表。在2017年ACM SIGKDD知识发现和数据挖掘国际会议上。
[2] K.P.Bennett和J.A.Blue。最优决策树。技术报告,R.P.I.数学报告第214号,伦斯勒理工学院,1996年。
[3] I.布拉特科。机器学习:介于准确性和可解释性之间。《学习、网络和统计》,国际机械科学中心第382卷,第163-74 177页。施普林格维也纳,1997年·Zbl 0932.68088号
[4] L.Breiman、J.H.Friedman、R.A.Olshen和C.J.Stone。分类和回归树。沃兹沃斯,1984年·Zbl 0541.62042号
[5] S.Bushway。使用logit有什么逻辑吗。犯罪学与公共政策,12(3):563–5672013年。
[6] C.Chen和C.Rudin。学习下降规则列表的优化方法。在2018年国际人工智能与统计会议(AISTATS)上。
[7] H.A.Chipman、E.I.George和R.E.McCulloch。贝叶斯CART模型搜索。美国统计协会杂志,93(443):935-9481998。
[8] H.A.Chipman、E.I.George和R.E.McCulloch。贝叶斯树模型。机器学习,48(1):299–320,2002·Zbl 0998.68072号
[9] H.A.Chipman、E.I.George和R.E.McCulloch。BART:贝叶斯加性回归树。应用统计年鉴,4(1):266–2982010·Zbl 1189.62066号
[10] P.Clark和T.Niblett。CN2归纳算法。机器学习,3:261–2831989。
[11] W.W.科恩。快速有效的规则归纳。在机器学习国际会议(ICML)上,第115–123页,1995年。
[12] R·M·道斯。决策中不当线性模型的健壮美。美国心理学家,34(7):571-5821979。
[13] D.Dension、B.Mallick和A.F.M.Smith。贝叶斯CART算法。《生物特征》,85(2):363–3771998年·Zbl 1048.62502号
[14] D.Dobkin、T.Fulton、D.Gunopulos、S.Kasif和S.Salzberg。浅决策树的归纳,1996年。
[15] J.Dressel和H.Farid。预测累犯的准确性、公平性和局限性。《科学进展》,4(1),2018年。
[16] A.Farhangfar、R.Greiner和M.Zinkevich。一种快速生成最佳固定深度决策树的方法。在2008年国际人工智能与数学研讨会上。
[17] E.Frank和I.H.Witten。生成精确的规则集而不进行全局优化。1998年,在国际机器学习会议(ICML)上,第144-151页。
[18] A.A.弗雷塔斯。可理解的分类模型:立场文件。ACM SIGKDD探索新闻稿,15(1):2014年1月10日。
[19] M.Garofalakis、D.Hyun、R.Rastogi和K.Shim。构造具有约束的决策树的有效算法。在ACM SIGKDD知识发现和数据挖掘国际会议(KDD)上,第335–339页,2000年。75
[20] C.吉拉德承运人。超越预测准确性:什么?ECML-98《将学习提升到元层次:模型选择和数据转换》研讨会,第78-85页,1998年。
[21] S.Goel、J.M.Rao和R.Shroff。专区还是偏见?了解纽约市搜身政策中的种族差异。应用统计年鉴,10(1):365–3942016年3月。
[22] S.T.Goh和C.Rudin。用于学习不平衡数据的方框图。在2014年ACM SIGKDD知识发现和数据挖掘国际会议上。
[23] S.T.Goh和C.Rudin。条件差分估计的极小极大代理损失方法。CoRR,abs/1803.037692018年。统一资源定位地址https://arxiv.org/abs/1803.03769。
[24] B.古德曼和S.弗拉克斯曼。欧盟关于算法决策和“解释权”的规定。2016年,在ICML机器学习中人类可解释性研讨会上。
[25] R.C.霍尔特。非常简单的分类规则在最常用的数据集上表现良好。机器学习,11(1):63-911993·Zbl 0850.68278号
[26] J.Huysmans、K.Dejaeger、C.Mues、J.Vantheinen和B.Baesens。对基于决策表、树和规则的预测模型的可理解性进行实证评估。决策支持系统,51(1):141-1542011年。
[27] V.Kaxiras和A.Saligrama。2018年,使用规则列表构建预测模型。URL https://corels.eecs.harvard.edu。
[28] H.Lakkaraju和C.Rudin。基于规则列表的成本敏感和可解释的动态治疗机制。在2017年国际人工智能与统计会议(AISTATS)上。
[29] J.Larson、S.Mattu、L.Kirchner和J.Angwin。我们如何分析COMPAS累犯算法。ProPublica,2016年。
[30] N.Larus-Stone、E.Angelino、D.Alabi、M.Seltzer、V.Kaxiras、A.Saligrama和C.Rudin。用于学习可证明最优规则列表的系统优化。2018年SysML会议。
[31] 拉鲁斯·斯通。学习可证明的最佳规则列表:21世纪离散优化案例。2017年,哈佛大学本科生论文。
[32] B.Letham、C.Rudin、T.H.McCormick和D.Madigan。使用规则和贝叶斯分析的可解释分类器:构建更好的笔画预测模型。应用统计年鉴,9(3):1350–13712015·Zbl 1454.62348号
[33] O.Li、H.Liu、C.Chen和C.Rudin。通过原型进行基于案例推理的深度学习:解释其预测的神经网络。《人工智能发展协会(AAAI)会议记录》,2018年。76
[34] W.Li、J.Han和J.Pei。CMAR:基于多类关联规则的准确高效分类。IEEE国际数据挖掘会议(ICDM),第369-376页,2001年。
[35] J.T.Linderath和M.W.P.Savelsbergh。混合整数规划搜索策略的计算研究。信息计算杂志,11(2):173-1871999·Zbl 1040.90535号
[36] B.Liu、W.Hsu和Y.Ma。集成分类和关联规则挖掘。在ACM SIGKDD知识发现和数据挖掘国际会议(KDD)上,第80–96页,1998年。
[37] M.Marchand和M.Sokolova。学习数据相关功能的决策列表。《机器学习研究杂志》,6:427–4512005·Zbl 1222.68257号
[38] R.S.米查尔斯基。关于一般覆盖问题的拟最小解。信息处理国际研讨会,第125-128页,1969年。
[39] 纽约公民自由联盟。2014年的搜身数据。统一资源定位地址http://www.nyclu.org网站/content/stop和frisk-data。
[40] 纽约警察局。拦截、询问和搜身数据,2016年。统一资源定位地址http://www1。纽约市政府网站/nypd/stats/reports-analysis/stopfrisk.page。
[41] S.Nijssen和E.Fromont。基于项目集格的最优约束决策树归纳。数据挖掘与知识发现,21(1):9–51,2010。
[42] J.R.昆兰。C4.5:机器学习程序。摩根·考夫曼,1993年。
[43] P.R.Rijnbeek和J.A.Kors。通过穷举搜索找到一个析取范式的简短而准确的判定规则。机器学习,80(1):33-622010年7月。
[44] R.L.铆钉。学习决策列表。机器学习,2(3):229–2461987年11月。
[45] U.R–uckert和L.De Raedt。规则学习简单性的实验评估。《人工智能》,172:19-282008年·Zbl 1182.68183号
[46] C.Rudin和S。埃尔特金。通过数学编程学习定制和优化的规则列表。提交日期:2016年。
[47] C.Rudin、B.Letham和D.Madigan。关联规则和序列事件预测的学习理论分析。《机器学习研究杂志》,14:3384–34362013年·Zbl 1317.68184号
[48] S.R–uping公司。学习可解释模型。多特蒙德大学博士论文,2006年。
[49] G.Shmueli。解释还是预测?统计科学,25(3):289–3102010年8月·Zbl 1329.62045号
[50] M.Sokolova、M.Marchand、N.Japkowicz和J.Shawe-Taylor。决策列表机器。《神经信息处理系统进展》,第15卷,第921-928页,2003年。77
[51] N.Tollenaar和P.van der Heijden。哪种方法最能预测累犯统计、机器学习和数据挖掘预测模型的比较。《皇家统计学会杂志:A辑(社会统计)》,176(2):565–5842013。
[52] B.Ustun和C.Rudin。用于优化医疗评分系统的超解析线性整数模型。机器学习,102(3):349–3912016·Zbl 1406.62144号
[53] B.Ustun和C.Rudin。优化风险评分。在2017年ACM SIGKDD知识发现和数据挖掘国际会议上·Zbl 1406.62144号
[54] K.Vanhoof和B.Depaire。关联规则分类器的结构:综述。在国际智能系统与知识工程会议(ISKE),第9-12页,2010年。
[55] A.Vellido、J.D.Mart´´ón Guerrero和P.J.G.Lisboa。使机器学习模型具有可解释性。2012年,在欧洲人工神经网络、计算智能和机器学习(ESANN)研讨会上。
[56] F.Wang和C.Rudin。下降规则列表。国际人工智能与统计会议(AISTATS),2015年a。
[57] F.Wang和C.Rudin。导致坠落的规则列表。CoRR,abs/1510.051892015b。统一资源定位地址https://arxiv.org/abs/1510.05189。
[58] T·王。混合决策:当可解释模型与黑盒模型协作时。CoRR,abs/1802.043462018年。统一资源定位地址http://arxiv.org/abs/1802.04346。
[59] T.Wang、C.Rudin、F.Doshi-Velez、Y.Liu、E.Klampfl和P.MacNeille。贝叶斯或和的可解释分类,应用于上下文感知推荐系统。在2016年国际数据挖掘会议(ICDM)上。
[60] T.Wang、C.Rudin、F.Doshi Velez、Y.Liu、E.Klampfl和P.MacNeille。用于可解释分类的学习规则集的贝叶斯框架。机器学习研究杂志,18(70):1–372017·Zbl 1434.68467号
[61] E.Westervelt公司。保释改革算法促成了这名旧金山男子的谋杀吗?,2017.网址https://www.npr.org/2017/08/18/543976003/did-a-bail重新定义了一种算法,适用于这起男子-弗兰西斯科-男子-谋杀案。
[62] H.Yang、C.Rudin和M.Seltzer。可伸缩的贝叶斯规则列表。在2017年国际机器学习会议(ICML)上。
[63] X.Yin和J.Han。CPAR:基于预测关联规则的分类。在2003年SIAM国际数据挖掘会议(SDM)上,第331-335页。
[64] J.Zeng、B.Ustun和C.Rudin。累犯预测的可解释分类模型。《皇家统计学会杂志:A辑(社会统计)》,180(3):689–7222017。
[65] Y.Zhang、E.B.Laber、A.Tsiatis和M.Davidian。使用决策列表构建可解释和节约的治疗制度。生物计量学,71(4):895–9042015年·Zbl 1419.62490号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。