×
贝纳德，克莱门特；杰拉德·比亚；塞巴斯蒂安·达维加；二湾蝎子

SIRUS：用于分类的稳定且可解释的RUle集。 （英语） Zbl 1458.62126号

电子。J.统计。 第1期第15页，427-505（2021年）.
提出了一种新的回归规则算法SIRUS。该算法的主要思想是从随机森林中提取规则。证明了该方法具有渐近稳定性。在两个流行的基准数据集上说明了该方法的有效性。
审核人：丹尼斯·西多罗夫（伊尔库茨克）

引用于2文件

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
62G05型 非参数估计
62G35型 非参数稳健性
6220国集团 非参数推理的渐近性质

关键词：

分类；可解释性；规则；稳定性；随机森林

软件：

4.5条；随机森林；ENDER（恩德）；阿鲁莱斯CBA；之前；护林员；C50元；箔；节点收获；DLMF公司；RWeka公司；UCI-毫升；r零件；sirus公司；CRAN（起重机）
PDF格式BibTeX公司 XML格式引用
\textit｛C.Bénard｝等人，电子。J.Stat.15，No.1，427--505（2021；Zbl 1458.62126）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] 【阿格拉瓦尔、伊米林斯基和斯瓦米（1993）】阿格拉瓦尔，R.、伊米林斯基，T.和斯瓦密，A.（1993）。挖掘大型数据库中项目集之间的关联规则。1993年ACM SIGMOD国际数据管理会议记录207-216。纽约ACM。
[2] 【Alelyani，Zhao和Liu（2011）】Alelyany，S.、Zhao，Z.和Liu，H.（2011）。评估特征选择算法稳定性的难题。年，第13届IEEE高性能计算与通信国际会议701-707。IEEE，皮斯卡塔韦。
[3] 【Angelino等人（2017）】Angelino，E.、Larus-Stone，N.、Alabi，D.、Seltzer，M.和Rudin，C.（2017）。学习分类数据的可证明最优规则列表。，机器学习研究杂志18 8753-8830·兹比尔1473.68134
[4] 【贝纳德和赖特（2020）】贝纳德，C.和赖特，M.N.（2020）。sirus：稳定且可解释的RUle Set R软件包版本，0.3.1。
[5] 【Biau and Scornet（2016）】Biau，G.和Scornet，E.（2016）。一次随机的森林导游之旅（附有作者的评论和反驳）。，测试25 197-268·Zbl 1402.62134号 ·doi:10.1007/s11749-016-0488-0
[6] 【Boulesteix和Slawski（2009）】Boulesteix，A.L.和Slaws，M.（2009）。排序基因列表的稳定性和聚合。，生物信息学简介10 556-568。
[7] 【Bousquet和Elisseeff（2002）】BousquetO.和Elisseeff，A.（2002）。稳定性和泛化。，机器学习研究杂志2 499-526·Zbl 1007.68083号
[8] [Breiman（1996）]Breiman，L.（1996）。装袋预测值。，机器学习24 123-140·Zbl 0858.68080号
[9] 【Breiman（2001a）】Breiman，L.（2001年a）。统计建模：两种文化（作者的评论和反驳）。，统计科学16 199-231·Zbl 1059.62505号 ·doi:10.1214/ss/1009213726
[10] [Breiman（2001b）]Breiman，L.（2001年b）。随机森林。，机器学习45 5-32·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[11] 【Breiman（2003a）】Breiman，L.（2003年a）。建立、使用和理解随机森林3.1版。技术报告，加州大学伯克利分校。
[12] 【Breiman等人（1984）】Breiman，L.、Friedman，J.H.、Olshen，R.A.和Stone，C.J.（1984）。，分类和回归树。查普曼和霍尔/CRC，博卡拉顿·Zbl 0541.62042号
[13] 【Chao等人（2006）】Chao，A.、Chazdon，R.L.、Colwell，R.K.和Shen，T.J.（2006）。基于丰度的相似性指数及其在样本中存在未知物种时的估计。，生物统计学62 361-371·Zbl 1097.62141号 ·文件编号：10.1111/j.1541-0420.2005.00489.x
[14] [克拉克和奈布利特（1989）]克拉克，P.和奈布利特，T.（1989）。CN2归纳算法。，机器学习3 261-283。
[15] [科恩（1995）]科恩，W.W.（1995）。快速有效的规则归纳。在《第十二届机器学习国际会议论文集》115-123中。Morgan Kaufmann Publishers Inc.，旧金山。
[16] 【科恩和辛格（1999）】科恩，W.W.和辛格，Y.（1999）。一个简单、快速、有效的规则学习者。年，《第十六届全国人工智能会议记录》和《第十一届人工智能创新应用会议记录》335-342。AAAI出版社，Palo Alto。
[17] [Cvitkovic，Smith and Pande（2017）]Cvitkovi，M.、Smith，A.S.和Pande，J.（2017）。具有两个大参数的超几何函数的渐近展开式在陷阱场中格子气体配分函数中的应用。，物理学杂志A：数学与理论50 265206·Zbl 1454.82034号 ·doi:10.1088/1751-8121/aa7213
[18] 【Dembczynski、Kotlowski和Slowinski（2010）】Dembczynski，K.、Kotlowski，W.和Slovinski，R.（2010）。ENDER：增强决策规则的统计框架。，数据挖掘和知识发现21 52-90·Zbl 1185.68521号
[19] [Devroye和Wagner（1979）]Devroye，L.和Wagner，T.（1979）。删除和保持误差估计的无分布不等式。，IEEE信息理论汇刊25 202-207·Zbl 0408.62055号 ·doi:10.1109/TIT.1979.1056032
[20] 【Doshi-Velez和Kim（2017）】Doshi-Verez，F.和Kim，B.（2017）。走向可解释机器学习的严格科学。，arXiv:1702.08608。
[21] 【Dua和Graff（2017）】Dua，D.和Graff，C.（2017）。UCI机器学习，知识库。
[22] 【福克马（2020）】福克马，M.（2020）。用R包预处理拟合预测规则集合。，统计软件杂志92 1-30。
[23] 【Frank和Witten（1998）】Frank，E.和Witten，I.H.（1998）。生成精确的规则集而不进行全局优化。年，第十五届机器学习国际会议论文集144-151。Morgan Kaufmann Publishers Inc.，旧金山。
[24] 【Freitas（2014）】Freitas，A.A.（2014）。可理解的分类模型：立场文件。，ACM SIGKDD探索新闻稿15 1-10。
[25] [Friedman，Hastie和Tibshirani（2001）]Friedmon，J.、Hastie，T.和Tibschirani，R.（2001）。，统计学习的要素1。纽约统计的斯普林格系列·Zbl 0973.62007号
[26] 【弗里德曼和波佩斯库（2003）】弗里德曼，J.H.和波佩斯库，B.E.（2003）。重要性抽样学习群技术报告，斯坦福大学。
[27] 【弗里德曼和波佩斯库（2008）】弗里德曼，J.H.和波佩斯库，B.E.（2008）。通过规则集合进行预测学习。，应用统计学年鉴2 916-954·Zbl 1149.62051号 ·doi:10.1214/07-AOAS148
[28] 【Fürnkranz和Widmer（1994）】Fürn kranz，J.和Widmer-G.（1994）。增量减少错误修剪。年，第11届机器学习国际会议论文集70-77。Morgan Kaufmann Publishers Inc.，旧金山。
[29] 【Guidotti和Ruggieri（2019）】Guidotti，R.和Ruggeeri，S.（2019年）。关于可解释模型的稳定性。年，神经网络国际联合会议1-8。IEEE，皮斯卡塔韦。
[30] 【Guidotti等人（2018）】Guidotti，R.、Monreale，A.、Ruggieri，S.、Turini，F.、Giannotti，F.和Pedreschi，D.（2018）。解释黑匣子模型的方法综述。，ACM计算调查51 1-42。
[31] 【何和余（2010）】何，Z.和余，W.（2010）。生物标志物发现的稳定特征选择。，计算生物学与化学34 215-225·Zbl 1403.92068号 ·doi:10.1016/j.compbiochem.2010.07.002
[32] 【霍夫丁（1948）】霍夫丁，W.（1948年）。一类具有渐近正态分布的统计量。，《数理统计年鉴》19 293-325·Zbl 0032.04101号 ·doi:10.1214/网址/1177730196
[33] [Hornik，Buchta and Zeileis（2009）]霍尼克，K.、Buchta，C.和Zeileis，A.（2009）。开源机器学习：R Meets Weka。，计算统计学24 225-232·Zbl 1232.62007年 ·doi:10.1007/s00180-008-0119-7
[34] 【Johnson和Hahsler（2020）】Johnson，I.和Hahsler，M.（2020）。arulesCBA：基于关联规则的分类R包版本1.1.6。
[35] 【库恩和昆兰（2020）】库恩，M.和昆兰，R.（2020）。C50:C5.0决策树和基于规则的模型R包版本，0.1.3。
[36] 【Kumbier等人（2018）】Kumbier，K.、Basu，S.、Brown，J.B.、Celniker，S.和Yu，B.（2018）。通过签名迭代随机森林优化交互搜索。，arXiv:1810.07287。
[37] 【Lakkaraju，Bach和Leskovec（2016）】Lakkalaju，H.，Bach，S.H.和Leskovec，J.（2016）。可解释决策集：描述和预测的联合框架。年，第22届ACM SIGKDD知识发现和数据挖掘国际会议记录1675-1684。纽约ACM。
[38] [Letham（2015）]Letham，B.（2015）。决策统计学习：可解释性、不确定性和推理，麻省理工学院博士论文。
[39] 【Letham等人（2015）】Letham，B.、Rudin，C.、McCormick，T.H.和Madigan，D.（2015）。使用规则和贝叶斯分析的可解释分类器：建立更好的中风预测模型。，应用统计学年鉴9 1350-1371·Zbl 1454.62348号 ·doi:10.1214/15-AOAS848
[40] [利普顿（2016）]利普顿，Z.C.（2016）。模型可解释性的神话。，arXiv:1606.03490。
[41] 【刘、徐和马（1998）】刘、B.、徐、W.和马、Y.（1998）。集成分类和关联规则挖掘。年，《第14届知识发现和数据挖掘国际会议论文集》98 80-86。纽约ACM。
[42] 【Meinshausen（2010）】Meinshause，N.（2010）。节点收获。，应用统计年鉴4 2049-1972·Zbl 1220.62084号 ·doi:10.1214/10-OAS367
[43] 【Meinshausen（2015）】Meinshause，N.（2015）。节点收获R包版本，0.7-3。
[44] [Mentch and Hooker（2016）]Mentch，L.和Hooker，G.（2016）。通过置信区间和假设检验量化随机森林中的不确定性。，机器学习研究杂志17 841-881·Zbl 1360.62095号
[45] [米查尔斯基（1969）]米查尔斯基·R.S.（1969年）。关于一般覆盖问题的拟最小解。年，第五届信息处理国际研讨会论文集125-128。纽约ACM。
[46] 【默多克等人（2019年）】默多克·W·J、辛格·C、库姆比尔·K、阿巴斯·阿斯尔·R和尤·B（2019）。可解释机器学习：定义、方法和应用。，arXiv:1901.04592·Zbl 1431.62266号 ·doi:10.1073/pnas.1900654116
[47] [Oates and Jensen（1997）]Oates，T.和Jensen，D.（1997）。训练集大小对决策树复杂性的影响。年，第14届机器学习国际会议论文集254-262。Morgan Kaufmann Publishers Inc.，旧金山。
[48] 【Olver等人（2010）】Olver，F.W.J.、Lozier，D.W.、Boisvert，R.F.和Clark，C.W.（2010）。，NIST数学函数手册精装本和CD-ROM。剑桥大学出版社·Zbl 1198.00002号
[49] 【Piech（2016）】Piech，C.（2016）。泰坦尼克号数据集。，https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/problem12.html。访问时间：2020-10-26。
[50] 【Poggio等人（2004）】Poggio，T.、Rifkin，R.、Mukherjee，S.和Niyogi，P.（2004）。学习理论中预测性的一般条件。，自然428 419-422。
[51] [Quinlan（1990）]Quinlan，J.R.（1990）。从关系中学习逻辑定义。，机器学习5 239-266。
[52] 【昆兰（1992）】昆兰，J.R.（1992）。，C4.5：机器学习程序。Morgan Kaufmann Publishers Inc.，圣马特奥。
[53] [昆兰和卡梅隆-琼斯（1995）]昆兰，J.R.和卡梅伦-琼斯，R.M.（1995）。逻辑程序介绍：FOIL和相关系统。，新一代计算13 287-312。
[54] [Ribeiro，Singh和Guestrin（2016）]里贝罗，M.T.，Singh，S.和Guesterin，C.（2016）。我为什么要相信你？解释任何分类器的预测。年，第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集1135-1144。纽约ACM。
[55] [Rivest（1987）]Rivest，R.L.（1987）。学习决策列表。，机器学习2 229-246。
[56] [罗杰斯和瓦格纳（1978）]罗杰斯，W.H.和瓦格那，T.J.（1978）。局部判别规则约束的有限样本无分布性能。，统计年鉴6 506-514·Zbl 0385.62041号 ·doi:10.1214/aos/1176344196
[57] [Rudin（2018）]Rudin，C.（2018）。请停止解释高风险决策的黑箱模型。，arXiv:1811.10154。
[58] 【吕平（2006）】吕平，S.（2006）。学习可解释模型，多特蒙德大学博士论文。
[59] [Selfling（2009）]Serfling，R.J.（2009）。，数理统计的逼近定理162。约翰·威利父子公司。
[60] [Strobl等人（2006）]Strobl，C.、Boulesteix，A.L.、Zeileis，A.和Hothorn，T.（2006）。随机森林变量重要性度量中的偏差。年，复杂系统统计建模研讨会。Citeser。
[61] 【塞尔诺和阿特金森（2019）】塞尔诺，T.和阿特金斯，B.（2019年）。rpart：递归分区和回归树R包版本，4.1-15。
[62] [Tibshirani（1996）]Tibshilani，R.（1996）。通过套索进行回归收缩和选择。，英国皇家统计学会杂志。B系列（方法学）58 267-288·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x
[63] 【Tolomei等人（2017）】Tolomei，G.、Silvestri，F.、Haines，A.和Lalmas，M.（2017）。通过可操作的特征调整对基于树的集合进行可解释的预测。年，第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集465-474。纽约ACM。
[64] 【Vapnik（1998）】Vapnik.V.（1998年）。，统计学习理论。纽约威利·Zbl 0935.62007号
[65] 【Weiss and Indurkhya（2000）】Weiss，S.M.和Indurkhia，N.（2000年）。轻量级规则归纳。年，第十七届机器学习国际会议论文集1135-1142。Morgan Kaufmann Publishers Inc.，旧金山·Zbl 1043.68674号
[66] 【Wright和Ziegler（2017）】Wright，M.N.和Zieller，A.（2017）。ranger：C++和R中高维数据的随机森林的快速实现，统计软件杂志77 1-17。
[67] 【Yang，Rudin and Seltzer（2017）】Yang，H.、Rudin，C.和Saltzer，M.（2017年）。可伸缩的贝叶斯规则列表。年，第34届机器学习国际会议论文集3921-3930。马萨诸塞州剑桥市JMLR。
[68] 【尹和韩（2003）】尹，X和韩，J.（2003）。CPAR：基于预测关联规则的分类。2003年SIAM国际数据挖掘会议记录331-335。费城SIAM。
[69] [Yu（2013）]Yu，B.（2013）。稳定性。，伯努利19 1484-1500·Zbl 1440.62402号 ·doi:10.3150/13-BEJSP14号文件
[70] 【Yu和Kumbier（2019）】Yu，B.和Kumbie，K.（2019年）。数据科学的三个原则：可预测性、可计算性和稳定性（PCS）。，arXiv:1901.08152。
[71] 【Zaki等人（1997）】Zaki，M.J.，Parthasarathy，S.，Ogihara，M.和Li，W.（1997）。关联规则发现的并行算法。，数据挖掘和知识发现1 343-373。
[72] [Zucknick，Richardson和Stronach（2008）]Zucknick，M·兹比尔1276.92033 ·数字对象标识代码：10.2202/1544-6115.1307
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。