×

支持向量机模型的白盒归纳:可解释的人工智能与逻辑编程。 (英语) Zbl 1468.68171号

小结:我们关注的是归纳逻辑程序来解释由支持向量机(SVM)算法学习的模型的问题。自顶向下的顺序覆盖归纳逻辑编程(ILP)算法(例如FOIL)使用信息理论中的启发式应用爬山搜索。这类算法的一个主要问题是陷入局部最优。然而,在我们的新方法中,数据相关的爬山搜索被模型相关搜索所取代,其中首先训练全局最优的SVM模型,然后算法将支持向量视为模型中最具影响力的数据点,并归纳出一个子句,该子句将涵盖支持向量和与该支持向量最相似的点。我们的算法没有定义固定的假设搜索空间,而是使用SHAP来确定相关的特征集,SHAP是可解释人工智能中的一个示例特定解释器。该方法产生了一种捕获SVM模型底层逻辑的算法,在诱导子句数量和分类评估指标方面优于其他ILP算法。

MSC公司:

68T05型 人工智能中的学习和自适应系统
68N17号 逻辑编程
68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Aggarwal、Charu C.和Jiawei(编辑)Han。2014.频繁模式挖掘。施普林格国际出版公司·Zbl 1297.68010号
[2] 拉凯什、阿格拉瓦尔和斯里坎特、拉马克里什南。1994.大型数据库中挖掘关联规则的快速算法。《第20届超大数据库国际会议论文集》(VLDB’94)。Morgan Kaufmann Publishers Inc.,美国加利福尼亚州旧金山,487-499。
[3] 奇塔·巴拉尔。2003.知识表示、推理和陈述性问题解决。剑桥大学出版社·Zbl 1056.68139号
[4] 陈天琦和卡洛斯·盖斯特林。2016年,XGBoost:一个可扩展的树木提升系统。第22届ACM SIGKDD会议记录(美国加利福尼亚州旧金山)(KDD’16)。785-794.
[5] 威廉·W·科恩(William W.Cohen),1995年。快速有效的规则归纳。第十二届国际机器学习会议论文集(美国加利福尼亚州塔霍市)(ICML'95)。Morgan Kaufmann Publishers Inc.,美国加利福尼亚州旧金山,115-123。
[6] 科琳娜、科尔特斯和瓦普尼克,弗拉基米尔。1995年,支持向量网络。机器。学习。20,3(1995年9月),273-297。https://doi.org/10.1023/A:1022627411411 ·Zbl 0831.68098号
[7] 马克·克雷文(Mark W.Craven)和裘德·沙夫利克(Jude W.Shavlik),1995年。提取训练网络的树结构表示。第八届神经信息处理系统国际会议论文集(科罗拉多州丹佛)(NIPS'95)。麻省理工学院出版社,马萨诸塞州剑桥,美国,24-30。
[8] 约阿希姆·迪德里奇。2008.从支持向量机中提取规则:简介。施普林格-柏林-海德堡,柏林,海德堡·Zbl 1148.68431号
[9] Dheeru,Dua和Graff,Casey。2017.UCI机器学习库。http://archive.ics.uci.edu/ml
[10] Philippe Fournier-Viger、Jerry Chun-Wei Lin、Tin Truong-Chi和Roger Nkambou。2019.高效用项目集采矿调查。在高实用性模式挖掘中:理论、算法和应用。施普林格国际出版公司,1-45。https://doi.org/10.1007/978-3-030-04921-8_1
[11] Philippe Fournier-Viger、Cheng-Wei Wu、Souleymane Zida和Vincent S.Tseng。2014.FHM:使用预计公用设施共现修剪加快高公用设施项目集开采。在《智能系统基础》中,Troels、Andreasen、Henning、Christiansen、Juan-Carlos、Cubero和Ra-shi,Zbigniew W.(编辑)。施普林格国际出版公司,83-92。
[12] 冯格伦(Glenn,Fung)、萨提亚卡玛(Sathyakama)、桑迪利亚(Sandilya)和巴拉特·饶(Bharat Rao,R.),2005年。从线性支持向量机中提取规则。第十一届ACM SIGKDD数据挖掘知识发现国际会议论文集(美国伊利诺伊州芝加哥)(KDD'05)。ACM,美国纽约州纽约市,32-40·Zbl 1148.68433号
[13] 文生、甘、杰瑞·春伟、林、菲利普·福尼尔-维格、韩智超、洪子培和福田汉多。2018年,增量高效用项目集挖掘调查。威利公司(Wiley Interdiscip)。版本数据最小知识。发现8,2(2018年)。
[14] 迈克尔,盖尔方德和卡尔,尤利娅。2014.智能代理的知识表示、推理和设计:答案集编程方法。剑桥大学出版社。
[15] 大卫·冈宁。2015.可解释人工智能(XAI),https://www.darpa.mil/program/explanable-artificial-intelligence。检索日期:2018年6月。
[16] Mark、Hall、Eibe、Frank、Geoffrey、Holmes、Bernhard、Pfahringer、Peter、Reutemann和Witten,Ian H.,2009年。WEKA数据挖掘软件:更新。SIGKDD探索11,1(2009),10-18·Zbl 1242.68001号
[17] Johan、Huysmans、Bart、Baesens和Vantheenen,2006年1月。ITER:预测回归规则提取算法。在数据仓库和知识发现国际会议上。波兰克拉科夫施普林格,270-279。
[18] Johan、Huysmans、Rudy、Setiono、Bart、Baesens和Vantheenen,2008年1月。Minerva:用于规则提取的顺序覆盖。IEEE系统、人与控制论汇刊,B部分(控制论)38,2(2008),299-309·Zbl 1148.68439号
[19] Niels、Landwehr、Kristian、Kersting和De Raedt,Luc。2005年,nFOIL:集成Nave Bayes和FOIL。《第二十届全国人工智能会议和第十七届人工智能创新应用会议论文集》,2005年7月9日至13日,美国宾夕法尼亚州匹兹堡,795-800·Zbl 1222.68242号
[20] 尼尔斯、兰德维尔、安德里亚、帕塞里尼、吕克·德、雷德和弗拉斯科尼、保罗。kFOIL:学习简单关系内核。2006年7月16日至20日在美国马萨诸塞州波士顿举行的第二十届全国人工智能会议和第十八届人工智能创新应用会议论文集389-394。
[21] 伦德伯格、斯科特·M、加布里埃尔·G·埃里昂和苏因·李。2018年。树集合的一致个性化特征属性。arXiv预印arXiv:1802.03888(2018)。
[22] 斯科特·伦德伯格(Scott M Lundberg)和苏茵·李(Su-In Lee)。2017年,解释模型预测的统一方法。神经信息处理系统进展30。Curran Associates,Inc.,加利福尼亚州长滩,4765-4774。
[23] David Martens、Johan Huysmans、Rudy Setiono、Jan Vantheenen和Bart Baesens。2008年,《从支持向量机中提取规则:信用评分中的问题和应用概述》,Joachim,Diederich(Ed.)。施普林格柏林海德堡,柏林,海德堡,33-63·Zbl 1148.68439号
[24] 克里斯托夫·莫尔纳。2019.可解释机器学习:黑盒模型解释指南。https://christophm.github.io/createable-ml-book/。
[25] 斯蒂芬·马格尔顿(Stephen Muggleton)。1991.归纳逻辑编程。新发电机计算。8、4(1991年2月),295-318·Zbl 0712.68022号
[26] 斯蒂芬·马格尔顿(Stephen Muggleton)、吕克·德·雷特(Luc de Raedt)、大卫·普尔(David Poole)、伊万·布拉特科(Ivan Bratko)、彼得·弗拉奇(Peter Flach)、井上胜美(Katsumi Inoue)和阿什温·斯里尼。2012年,ILP年满20岁。机器。学习。86,1(2012年1月),3-23·Zbl 1243.68014号
[27] 斯蒂芬·马格尔顿(Stephen Muggleton)、胡玛·洛迪(Huma Lodhi)、阿塔·阿米尼(Ata Amini)和迈克尔·斯特恩伯格(Michael J.E.Sternberg),2005年。支持向量归纳逻辑编程。在《发现科学》(Discovery Science)中,阿希姆(Achim)、霍夫曼(Hoffmann)、广岛(Hiroshi)、本田(Motoda)和托拜厄斯(Tobias),谢弗(Scheffer)(编辑)。施普林格-柏林-海德堡,柏林,海德堡·Zbl 1088.68823号
[28] 海德马尔、努涅斯、塞西利奥、安古洛和加泰罗·安德烈。2002.从SVM中提取规则。程序中。欧洲人工神经网络研讨会。比利时布鲁日,107-112·Zbl 1036.68543号
[29] 普洛金,G.D.,1971年。关于归纳推广的进一步说明。《机器智能》(1971),第6卷。爱丁堡大学出版社,第101-124页·Zbl 0261.68042号
[30] Ross Quinlan,J.,1990年。从关系中学习逻辑定义。机器学习5(1990),239-266。
[31] Ross Quinlan,J.,1993年。C4.5:机器学习程序。Morgan Kaufmann Publishers Inc.,美国加利福尼亚州旧金山。
[32] 马可·图利奥(Marco Tulio)、里贝罗(Ribeiro)、萨梅尔(Sameer)、辛格(Singh)和盖斯特林(Guestrin)、卡洛斯(Carlos)。2016.“我为什么要相信你?”:解释任何分类器的预测。2016年第22届ACM SIGKDD会议记录。1135-1144.
[33] Riguzzi,F..2016年。SWI Prolog中的ALEPH。https://github.com/friguzzi/aleph网址
[34] 恰基·萨卡马。2005.非单调逻辑程序中答案集的归纳。ACM事务处理。计算。日志。6, 2 (2005), 203-231. ·兹比尔1367.68039
[35] Farhad、Shakerin和Gupta、Gopal。2020年。使用高效用项目集挖掘的默认规则白盒归纳。《声明性语言的实践方面——第22届国际研讨会》,PADL 2020,美国洛杉矶新奥尔良,2020年1月20日至21日,《会议录》(计算机科学讲稿,第12007卷),叶卡捷琳娜、科门丹茨卡亚和刘燕红(编辑)。施普林格,168-176。https://doi.org/10.1007/978-3-030-39197-3_11
[36] Farhad、Shakerin、Elmer、Salazar和Gupta、Gopal。2017.自动归纳学习默认理论的新算法。TPLP 17,5-6(2017),1010-1026·Zbl 1422.68029号
[37] 阿什温·斯里尼瓦桑。2001年,《Aleph手册》。http://web.comlab.ox.ac.uk/oucl/research/areas/machlearn/Aleph/
[38] 曾文森特·S、程伟、吴、菲利普·福涅尔·维格和于菲利浦。2016.挖掘top-k高效用项集的高效算法。IEEE传输。了解。和数据工程。28, 1 (2016), 54-67.
[39] Wielemaker,2020年1月。SWI-Prolog系统。http://www.swi-prolog.org/ ·Zbl 1204.68063号
[40] Qiang,Zeng,Patel,Jignesh M.和Page,David。2014.QuickFOIL:可扩展归纳逻辑编程。程序。荷兰VLDB。2014年11月8日、3日,197-208年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。