×
加布里埃尔·西拉维尼亚;彼得罗·巴比罗;弗朗西斯科·吉安尼尼;马可·戈里;彼得罗·利奥;马可·马基尼;斯特凡诺·麦拉奇

逻辑解释了网络。 （英语） Zbl 07638294号

Artif公司。智力。 314，文章ID 103822，30 p.（2023）.
摘要：深度学习的广泛流行与神经网络体系结构的一个主要局限性相冲突，即缺乏为决策提供人类可理解的动机的能力。在期望机器支持人类专家决策的情况下，提供可理解的解释是一个至关重要的功能。用于传达解释的语言必须足够正式，以便在机器中实现，并且足够友好，以便广大观众能够理解。在本文中，我们提出了一种在神经体系结构中实现可解释人工智能的通用方法，展示了网络的谨慎设计如何导致一系列可解释的深度学习模型，称为逻辑解释网络（LEN）。LEN只要求它们的输入是人类可以理解的谓词，并且它们用涉及此类谓词的简单一阶逻辑（FOL）公式提供解释。LEN足够通用，可以覆盖大量场景。其中，我们考虑了这样的情况，即LEN直接用作具有可解释性的特殊分类器，或者它们作为附加网络，为使黑盒分类器可由FOL公式解释创造条件。尽管主要强调了监督学习问题，但我们也表明，LEN可以在无监督学习环境中学习并提供解释。在多个数据集和任务上的实验结果表明，LEN可能比已建立的白盒模型（如决策树和贝叶斯规则列表）产生更好的分类，同时提供更紧凑和更有意义的解释。

引用于三文件

理学硕士：

68泰克 人工智能

关键词：

可解释人工智能;神经网络;逻辑解释网络

软件：

物理工具包;MNIST公司;BERT（误码率）;Scikit公司;ViT公司;Caltech-UCSD鸟类;深红色;形状;梯度-CAM;PyTorch公司
PDF格式BibTeX公司 XML格式引用
\textit{G.Ciravegna}等人，Artif。智力。314，文章ID 103822，30 p.（2023；Zbl 07638294）
全文： 内政部 arXiv公司 哈尔

参考文献：

[1] Chander，A。；斯里尼瓦桑，R。；Chelian，S。；Wang，J。；Uchino，K.，《带着信念工作：企业中的Ai透明度》（IUI Workshops（2018））
[2] 尤格德普，Gdpr。通用数据保护条例（2017年）
[3] 宾夕法尼亚州法律，华盛顿州联邦法规：州长打印件（10）。
[4] Goddard，M.，《欧盟一般数据保护法规（gdpr）：具有全球影响的欧洲法规》，《国际期刊》，第59、6、703-705页（2017年）
[5] Gunning，D.，可解释人工智能（XAI）（2017），国防高级研究计划局（DARPA）
[6] Das，A。；Rad，P.，《可解释人工智能（xai）的机遇与挑战：一项调查》（2020年），arXiv预印本
[7] 布伦达奇，M。；Avin，S。；Wang，J。；Belfield，H。；Krueger，G。；哈德菲尔德，G。；Khlaaf，H。；杨，J。；碳粉，H。；Fong，R.，《走向可信赖的人工智能发展：支持可验证主张的机制》（2020年），arXiv预印本
[8] 卡瓦略，D.V。；佩雷拉，E.M。；Cardoso，J.S.，《机器学习可解释性：方法和度量的调查》，《电子学》，第8、8、832页（2019年）
[9] Rudin，C.，停止解释高风险决策的黑箱机器学习模型，而使用可解释模型，Nat.Mach。智力。，1, 5, 206-215 (2019)
[10] 吉尔平，L.H。；鲍·D。；袁伯忠。；Bajwa，A。；斯佩克特，M。；Kagal，L.，解释：机器学习的可解释性概述，（2018年IEEE第五届数据科学和高级分析国际会议（DSAA）（2018），IEEE），80-89
[11] Lipton，Z.C.，《模型可解释性的神话：在机器学习中，可解释性概念既重要又难以捉摸》，Queue，16，3，31-57（2018）
[12] Marcinkevičs，R。；Vogt，J.E.，《可解释性和可解释性：机器学习动物园迷你版》（2020），arXiv预印本
[13] Doshi-Velez，F。；Kim，B.，《走向可解释机器学习的严格科学》（2017），arXiv预印本
[14] Doshi-Velez，F。；Kim，B.，《可解释机器学习中评估和泛化的考虑因素》（计算机视觉和机器学习中的可解释和可解释模型（2018），Springer），3-17
[15] 艾哈迈德，医学硕士。；埃克特，C。；Teredesai，A.，《医疗保健中的可解释机器学习》（2018年ACM生物信息学、计算生物学和健康信息学国际会议论文集（2018）），559-560
[16] W·萨梅克。；蒙塔文，G。；拉普什金，S。；Anders，C.J。；Müller，K.-R.，《走向可解释的机器学习：透明深层神经网络及其未来》（2020年），arXiv预印本
[17] 鲁丁，C。；陈，C。；陈，Z。；黄，H。；塞门诺娃。；钟，C.，可解释机器学习：基本原理和10大挑战（2021），arXiv预印本
[18] 布雷曼，L。；弗里德曼，J。；斯通，C.J。；Olshen，R.A.，《分类和回归树》（1984），CRC出版社·Zbl 0541.62042号
[19] 施密特，M。；Lipson，H.，《从实验数据中提取自由形式自然法则》，《科学》，324592381-85（2009）
[20] 莱瑟姆，B。；鲁丁，C。；McCormick，T.H。；Madigan，D.，《使用规则和贝叶斯分析的可解释分类器：构建更好的中风预测模型》，Ann.Appl。统计，9，3，1350-1371（2015）·Zbl 1454.62348号
[21] 医学博士克兰默。；Xu，R。；巴塔利亚，P。；Ho，S.，《利用图形网络学习符号物理》（2019年），arXiv预印本
[22] Molnar，C.，可解释机器学习（2020），Lulu.com
[23] 巴塔利亚，P.W。；哈姆里克·J·B。；巴普斯特，V。；Sanchez-Gonzalez，A。；赞巴尔迪，V。；马利诺夫斯基，M。；Tacchetti，A。；Raposo，D。；Santoro，A。；Faulkner，R.，关系归纳偏见，深度学习和图网络（2018），arXiv预印本
[24] 德夫林，J。；Chang，M.-W。；Lee，K。；Toutanova，K.，Bert:语言理解深度双向变换器预培训（2018），arXiv预印本
[25] Dosovitskiy，A。；Beyer，L。；Kolesnikov，A。；韦森伯恩，D。；翟，X。；Unterthiner，T.等人。；Dehghani，M。；Minderer，M。；Heigold，G。；Gelly，S.，一幅图像值16x16个单词：缩放图像识别变压器（2020），arXiv预印本
[26] 谢奇。；Luong，M.-T。；霍维，E。；Le，Q.V.，“与噪音学生的自我训练提高了图像网络分类”，（IEEE/CVF计算机视觉和模式识别会议论文集（2020）），10687-10698
[27] 斯里尼瓦桑，R。；Chander，A.，《认知科学的解释视角——一项调查》（第29届国际人工智能联合会议（2020年）），4812-4818
[28] Koh，P.W。；Nguyen，T。；Tang，Y.S。；穆斯曼，S。；皮尔逊，E。；Kim，B。；Liang，P.，概念瓶颈模型，（机器学习国际会议（2020），PMLR），5338-5348
[29] Miller，T.，《人工智能解释：来自社会科学的见解》，Artif。智力。，267, 1-38 (2019) ·Zbl 1478.68274号
[30] Simon，H.A.，《商业组织中的理性决策》，美国经济出版社。修订版，69、4、493-513（1979年）
[31] Kim，B。；Wattenberg，M。；Gilmer，J。；蔡，C。；韦克斯勒，J。；Viegas，F.，《超越特征属性的可解释性：使用概念激活向量（tcav）进行定量测试》，（机器学习国际会议（2018），PMLR），2668-2677
[32] Ghorbani，A。；韦克斯勒，J。；邹建勇。；Kim，B.，《走向基于概念的自动解释》，高级神经信息处理。系统。，32 (2019)
[33] McColl，H.，等价语句演算（第三篇论文），Proc。伦敦。数学。学会，1，1，16-28（1878）
[34] 奎因，W.V.，《简化真值函数的问题》，《美国数学》。周一。，59, 8, 521-531 (1952) ·Zbl 0048.24503号
[35] McCluskey，E.J.，布尔函数最小化，贝尔系统。《技术期刊》，35，6，1417-1444（1956）
[36] Ciravegna，G。；詹尼尼，F。；梅拉奇，S。；Maggini，M。；Gori，M.，基于约束的学习和解释方法，（AAAI（2020）），3658-3665
[37] Ciravegna，G。；詹尼尼，F。；戈里，M。；Maggini，M。；Melacci，S.，《人类驱动的深度学习解释》，（第二十届国际人工智能联合会议和第十七届环太平洋国际人工智能会议{IJCAI-PRICAI-20}，国际人工智能组织联合会议（2020）），2234-2240
[38] Tavares，A.R。；阿维拉，P。；Flach，J.M。；Nicolau，M。；Lamb，L.C。；Vardi，M.，《理解深层神经网络上布尔函数的可学习性》（2020），arXiv预印本
[39] 阿达迪，A。；Berrada，M.，《窥视黑匣子：可解释人工智能（xai）的调查》，IEEE Access，652138-52160（2018）
[40] Erhan，D。；科尔维尔，A。；Bengio，Y.，《理解在深层架构中学习的表示法》（2010年），蒙特利尔大学信息与管理系，加拿大蒙特利尔大学，技术代表1355（1）
[41] Simonyan，K。；Vedaldi，A。；Zisserman，A.，《深层卷积网络：可视化图像分类模型和显著图》（2013），arXiv预印本
[42] Zeiler，医学博士。；Fergus，R.，《卷积网络的可视化和理解》（欧洲计算机视觉会议（2014），施普林格），818-833
[43] 里贝罗，M.T。；辛格，S。；Guestrin，C.，机器学习的模型认知解释性（2016），arXiv预印本
[44] 里贝罗，M.T。；辛格，S。；Guestrin，C.，“我为什么要相信你？”解释了任何分类器的预测，（第22届ACM SIGKDD知识发现和数据挖掘国际会议（2016）论文集），1135-1144
[45] 伦德伯格，S。；Lee，S.-I.，《解释模型预测的统一方法》（2017），arXiv预印本
[46] Selvaraju，R.R。；Cogswell，M。；Das，A。；韦丹坦，R。；Parikh，D。；Batra，D.，Grad-cam：通过基于梯度的定位从深层网络中进行可视化解释，（IEEE计算机视觉国际会议论文集（2017）），618-626
[47] 安吉利诺，E。；Larus-Stone，N。；阿拉比，D。；Seltzer，M。；Rudin，C.，学习分类数据的可证明最优规则列表（2018）·Zbl 1473.68134号
[48] 吉多蒂，R。；Monreale，A。；Ruggieri，S。；佩德莱斯基，D。；图里尼，F。；Giannotti，F.，黑箱决策系统的基于本地规则的解释（2018），arXiv预印本
[49] 里贝罗，M.T。；辛格，S。；Guestrin，C.，《Anchors:高精度模型识别解释》（《AAAI人工智能会议论文集》，第32卷（2018））
[50] Waeldchen，S。；麦克唐纳，J。；Hauch，S。；Kutyniok，G.，理解二进制分类器决策的计算复杂性，J.Artif。智力。研究，70，351-387（2021）·Zbl 1512.68116号
[51] Shih，A。；Choi，A。；Darwiche，A.，解释贝叶斯网络分类器的符号方法，（第27届国际人工智能联合会议论文集（2018）），5103-5111
[52] 伊扎，Y。；Ignatiev，A。；北卡罗来纳州纳罗迪茨卡。；库珀，M.C。；Marques-Silva，J.，相关集的有效解释（2021），arXiv预印本
[53] 佐藤，M。；Tsukimoto，H.，通过决策树归纳从神经网络中提取规则，（IJCNN'01）。国际神经网络联合会议，会议记录（分类号01CH37222），第3卷（2001），IEEE，1870-1875
[54] 齐尔克，J.R。；Loza Mencía，E。；Janssen，F.，Deepred–从深度神经网络中提取规则，（Calders，T.；Ceci，M.；Malerba，D.，《发现科学》（2016），Springer International Publishing:Springer国际出版社Cham），457-473
[55] 哈斯蒂，T。；Tibshirani，R.，《广义加性模型：一些应用》，美国统计协会，82，398，371-386（1987）·Zbl 0633.62067号
[56] 卡鲁阿纳，R。；Lou，Y。；Gehrke，J。；科赫，P。；Sturm，M。；Elhadad，N.，《医疗保健智能模型：预测肺炎风险和医院30天再入院》（第21届ACM SIGKDD国际知识发现和数据挖掘会议论文集（2015）），1721-1730
[57] 阿加瓦尔，R。；Frosst，N。；张，X。；卡鲁阿纳，R。；Hinton，G.E.，《神经加性模型：使用神经网络的可解释机器学习》（2020年），arXiv预印本
[58] Quinlan，J.R.，《简化决策树》，国际期刊Man-Mach。双头螺栓，27，3221-234（1987）
[59] Cohen，W.W.，《快速有效规则归纳》（机器学习论文集1995（1995），Elsevier），第115-123页
[60] Valiant，L.G.，《可学习理论》（第十六届ACM计算理论年会论文集（1984），ACM），436-445·Zbl 0587.68077号
[61] Bessiere，C。；Koriche，F。；拉扎尔，N。；O'Sullivan，B.，《Constraint收购》，Artif。整数。，244, 315-342 (2017) ·Zbl 1404.68139号
[62] 科尔布，S。；Teso，S。；Passerini，A。；De Raedt，L.，使用smt解算器学习smt（lra）约束，（第二十七届国际人工智能联合会议论文集，{IJCAI-18}，第104卷（2018），国际人工智能组织联合会议），2067-2073
[63] 昆兰，J.R.，从关系中学习逻辑定义，马赫。学习。，5, 3, 239-266 (1990)
[64] Muggleton，S.，《归纳逻辑编程》，新一代。计算。，8, 4, 295-318 (1991) ·Zbl 0712.68022号
[65] De Raedt，L。；德里斯，A。；枪，T。；Bessiere，C.，《学习约束满足问题：一个ilp视角》，（数据挖掘和约束编程（2016），Springer），96-112·Zbl 1461.68178号
[66] 理查森，M。；多明戈斯，P.，马尔可夫逻辑网络，马赫。学习。，62, 1, 107-136 (2006) ·Zbl 1470.68221号
[67] 巴赫，S.H。；Broecheler，M。；黄，B。；Getoor，L.，铰链损失马尔可夫随机场和概率软逻辑（2015），arXiv预印本
[68] 多明戈斯，P。；Lowd，D.，《马尔可夫逻辑：人工智能的接口层》，Synth。勒克特。Artif公司。智力。机器。学习。，3, 1, 1-155 (2009) ·Zbl 1202.68403号
[69] 坎皮戈托，P。；巴提提，R。；Passerini，A.，《混合域偏好激发的学习模理论》（2015），arXiv预印本
[70] 杨，F。；Yang，Z。；Cohen，W.W.，《用于知识库推理的逻辑规则的差异学习》，高级神经信息处理。系统。，2319-2328 (2017)
[71] De Raedt，L。；德里斯，A。；Thon，I。；Van den Broeck，G。；Verbeke，M.，《从概率示例中归纳概率关系规则》（第二十四届国际人工智能联合会议（2015））
[72] Mendelson，E.，《数学逻辑导论》（2009），CRC出版社·兹比尔1173.03001
[73] 罗素·S·J。；Norvig，P.，《人工智能：现代方法》（2016），培生教育有限公司：培生教育马来西亚有限公司
[74] Simon，H.A.，《理性选择与环境结构》，《心理学》。修订版，63、2、129（1956年）
[75] Gnecco，G。；戈里，M。；梅拉奇，S。；Sanguineti，M.，支撑约束机基础，神经计算。，27, 2, 388-480 (2015) ·Zbl 1473.68145号
[76] 戈里，M。；Melacci，S.，《内核机器的约束验证》，IEEE Trans。神经网络。学习。系统。，24, 5, 825-831 (2013)
[77] 梅拉奇，S。；Gori，M.，最小熵编码的无监督学习，IEEE Trans。神经网络。学习。系统。，23, 12, 1849-1861 (2012)
[78] 亚里士多德，后验分析。
[79] 麦凯·D·J。；Mac Kay，D.J.，《信息理论、推理和学习算法》（2003），剑桥大学出版社·Zbl 1055.94001号
[80] Wilson，A.G.，《贝叶斯深度学习案例》（2020），arXiv预印本
[81] 库卡卡，J。；沃尔科夫。；Cremers，D.，《深度学习的正则化：分类法》（2017），arXiv预印本
[82] Santosa，F。；Symes，W.W.，带限反射地震图的线性反演，SIAM J.Sci。统计计算。，7, 4, 1307-1330 (1986) ·Zbl 0602.73113号
[83] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.，Ser。B、 Methodol.方法。，58, 1, 267-288 (1996) ·Zbl 0850.62538号
[84] LeCun，Y。；Denker，J.S。；索拉，S.A。；霍华德，R.E。；Jackel，L.D.，《最佳脑损伤》（NIP，第2卷（1989），Citeser），598-605
[85] 哈西比，B。；Stok，D.G.，《网络修剪的二阶导数：最佳脑外科医生》（1993），摩根·考夫曼
[86] 弗兰克尔，J。；Carbin，M.，《彩票假设：发现稀疏、可训练的神经网络》（2018），arXiv预印本
[87] Miller，G.A.，神奇的数字7，加或减2：我们处理信息能力的一些限制，心理医生。修订版，63，81-97（1956年）
[88] Cowan，N.，《短期记忆中的神奇数字4：重新思考精神存储能力》，Behav。脑科学。，24, 1, 87-114 (2001)
[89] 马伟杰（Ma，W.J.）。；侯赛因，M。；Bays，P.M.，《改变工作记忆的概念》，《自然神经科学》。，17, 3, 347 (2014)
[90] Hahnlosser，R.H。；Sarpeshkar，R。；Mahowald，医学硕士。；道格拉斯·R·J。；Seung，H.S.，数字选择和模拟放大在皮层启发的硅电路中共存，Nature，4056789，947-951（2000）
[91] 格洛洛特，X。；Bordes，A。；Bengio，Y.，深度稀疏整流器神经网络，（第十四届国际人工智能与统计会议论文集，JMLR研讨会和会议论文集（2011）），315-323
[92] 拉马钱德兰，P。；Zoph，B。；Le，Q.V.，《搜索激活函数》（2017），arXiv预印本
[93] 巴比埃罗，P。；Ciravegna，G。；Georgiev，D。；詹尼尼，F.，皮托雷，解释一下！用于逻辑解释网络的python库（2021），arXiv预打印
[94] Paszke，A。；毛重，S。；马萨，F。；Lerer，A。；布拉德伯里，J。；Chanan，G。；基林，T。；林，Z。；Gimelshein，N。；Antiga，L.，Pytorch:一种命令式的高性能深度学习库（2019），arXiv预印本
[95] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；Dubourg，V.，《Scikit-learn：python中的机器学习》，J.Mach。学习。第12号决议，2825-2830（2011年）·Zbl 1280.68189号
[96] 塞义德，M。；Villarroel，M。；Reisner，A.T。；克利福德，G。；雷曼，L.-W。；穆迪，G。；Heldt，T。；Kyaw，T.H。；穆迪，B。；Mark，R.G.，《重症监护中的多参数智能监测ii（mimic-ii）：公共访问重症监护室数据库》，《Crit.care Med.》，39，5，952（2011）
[97] Goldberger，A.L.公司。；洛杉矶阿马拉。；玻璃，L。；Hausdorff，J.M。；伊万诺夫，P.C。；马克·R·G。；Mietus，J.E。；穆迪，G.B。；Peng，C.-K。；Stanley，H.E.，Physiobank，physiotoolkit，and physoniet:复杂生理信号新研究资源的组成部分，《循环》，101，23，e215-e220（2000）
[98] LeCun，Y.，《mnist手写数字数据库》（1998）
[99] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度剩余学习，（IEEE计算机视觉和模式识别会议论文集（2016）），770-778
[100] 华，C。；布兰森，S。；韦林德，P。；佩罗纳，P。；Belongie，S.，《加州理工大学鸟类-200-2011年数据集》（2011年）
[101] Pemstein，D。；Marquardt，K.L。；泽尔戈夫，E。；Wang，Y.-t。；Krusell，J。；Miri，F.，《v-dem测量模型：跨国和跨时间专家编码数据的潜在变量分析》（2018年），v-dem工作文件21
[102] 科佩奇，M。；Gerring，J。；Knutsen，C.H。；林德伯格，S.I。；Teorell，J。；奥尔特曼，D。；伯恩哈德，M。；康奈尔大学。；鱼类，M.S。；Gastaldi，L.，V-dem代码簿v11（2021）
[103] 杠杆，J。；Krzywinski，M。；Altman，N.，《重要点：模型选择和过拟合》，《自然方法》，第13、9、703-705页（2016年）
[104] 马勒，R.T。；Arora，J.S.，《工程多目标优化方法综述》，结构。多磁盘。最佳。，26, 6, 369-395 (2004) ·Zbl 1243.90199号
[105] 米勒，D.J。；Xiang，Z。；Kesidis，G.，《针对深度神经网络分类的对抗性学习：防御攻击的综合综述》，Proc。IEEE，108，3，402-433（2020）
[106] Ozdag，M.，《针对深层神经网络的对抗性攻击和防御：调查》，Proc。计算。科学。，140, 152-161 (2018)
[107] 梅拉奇，S。；Ciravegna，G。；Sotgiu，A。；Demontis，A。；比吉奥，B。；戈里，M。；Roli，F.，《领域知识缓解多标签分类器中的对抗性攻击》，IEEE Trans。模式分析。机器。智力。，44, 12, 9944-9959 (2022)
[108] 克罗齐，F。；Hein，M.，利用各种无参数攻击集合对对抗鲁棒性进行可靠评估（2020年）
[109] Kazhdan，D。；迪马诺夫，B。；Jamnik，M。；李欧，P。；韦勒，A.，现在你看到我了（cme）：基于概念的模型提取（2020），arXiv预印本
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。