可解释人工智能研究综述

doi:10.3778/j.issn.1002-8331.2208-0322

摘要/摘要

摘要：随着机器学习和深度学习的发展，人工智能技术已经逐渐应用在各个领域。然而采用人工智能的最大缺陷之一就是它无法解释预测的依据。模型的黑盒性质使得在医疗、金融和自动驾驶等关键任务应用场景中人类还无法真正信任模型，从而限制了这些领域中人工智能的落地应用。推动可解释人工智能（可解释人工智能，XAI）的发展成为实现关键任务应用落地的重要问题。目前，国内外相关领域仍缺少有关可解释人工智能的研究综述，也缺乏对因果解释方法的关注以及对可解释性方法评估的研究。从解释方法的特点出发，将主要可解释性方法分为三类：独立于模型的方法、依赖于模型的方法和因果解释方法，分别进行总结分析，对解释方法的评估进行总结，列举出可解释人工智能的应用，讨论当前可解释性存在的问题并进行展望。

关键词: 可解释性, 人工智能, 机器学习, 深度学习, 评估

摘要：随着机器学习和深度学习的发展，人工智能技术已逐渐应用于各个领域。然而，采用人工智能的最大缺点之一是它无法解释预测的基础。模型的黑盒特性使人类不可能在医疗、金融和自动驾驶等关键任务应用场景中真正信任它们，从而限制了人工智能在这些领域的扎根应用。推动可解释人工智能（XAI）的发展已成为实现地面关键任务应用的一个重要问题。目前，国内外还缺乏对XAI相关领域的研究综述，也缺乏对因果解释方法和可解释方法评价的研究。因此，本研究首先从解释方法的特点出发，从解释类型的角度将主要的解释方法分为三类：模型依赖方法、模型依赖方法和因果解释方法，并分别进行总结和分析，然后总结了解释方法的评价，列举了可解释人工智能的应用，最后讨论了当前可解释性的问题并提出了展望。

关键词： 可解释性，人工智能，机器学习，深度学习，评价

赵延玉, 赵晓永, 王磊, 王宁宁. 可解释人工智能研究综述[J] ●●●●。计算机工程与应用, 2023, 59(14): 1-14.

赵燕玉、赵小勇、王磊、王宁宁。可解释人工智能综述[J]。计算机工程与应用，2023,59（14）：1-14。

参考文献

[1] ADADI A，BERRADA M.在黑盒子里偷窥：可解释人工智能（XAI）的调查[J]。IEEE接入，2018年，6:52138-52160。
[2] 张琦，ZHU S C.深度学习的视觉可解释性研究[J]。信息技术与电子工程前沿，2018,19（1）：27-39。
[3] 张Y，TI？O P，LEONARDIS A，等.神经网络可解释性研究综述[J]。IEEE计算智能新兴主题汇刊，2021,5（5）：726-742。
[4] 苏炯铭，刘鸿福，项凤涛，等.深度神经网络解释方法综述[J] 《工程》，2020,46（9）：1-15。
苏建明，刘海峰，向福田，等.深层神经网络解释方法综述[J]。计算机工程，2020,46（9）：1-15。
[5] 化盈盈，张岱墀，葛仕明.深度学习模型可解释性的研究进展[J] ●●●●。信息安全学报，2020，5（3）：1-12.
HUA YY，ZHANG D C，GE S M.深度学习模型可解释性研究进展[J]。《网络安全杂志》，2020,5（3）：1-12。
[6] 曾春艳，严康，王志锋，等.深度学习模型可解释性研究综述[J] ●●●●。计算机工程与应用，2021，57（8）：1-9.
曾智勇，颜克，王志发，等.深度学习模型可解释性研究综述[J]。计算机工程与应用，2021,57（8）：1-9。
[7] SPEITH T.可解释人工智能（XAI）方法分类综述[C]//2022年ACM公平、问责制和透明度会议，2022:2239-2250。
[8] 明德，王海霞，李永发，等。可解释人工智能：综合评述[J]。《人工智能评论》，2022,55（5）：3503-3568。
[9] 李瑶，左兴权，王春露，等.人工智能可解释性评估研究综述[J] ●●●●。导航定位与授时，2022，9（6）：13-24.
李Y，左学Q，王CL，等。人工智能可解释性评价研究进展[J]。导航定位和定时，2022,9（6）：13-24。
[10] ISLAM S R，EBERLE W，GHAFOOR S K。可解释人工智能方法中可解释性的量化[C]//第三十三届国际流派大会，2020年。
[11] CARVALHO D V，PEREIRA E M，CARDOSO J S.机器学习可解释性：方法和度量的调查[J]。电子，2019，8（8）：832。
[12] MOHSENI S，BLOCK J E，RAGAN E.机器学习解释的定量评估：基于人的基准[C]//第26届智能用户界面国际会议，2021:22-31。
[13] GUNNING D，AHA D W.DARPA的可解释人工智能程序[J]。AI杂志，2019,40（2）：44-58。
[14] 可解释、可通用的下一代人工智能方法重大研究计划2022年，南部项目[J]。模式识别与人工智能，2022，35（5）：481-482.
关于可解释和可推广的下一代人工智能方法2022年度项目指南的主要研究项目[J]。模式识别与人工智能，2022,35（5）：481-482。
[15] 固宁D，斯特菲克M，崔杰，等.XAI-可解释人工智能[J]。科学机器人，2019,4（37）：eaay7120。
[16] DAS S，AGARWAL N，VENUGOPAL D，et al.可解释机器学习方法的分类与综述[C]//2020 IEEE计算智能研讨会系列，2020:670-677。
[17] 杜瓦尔A.可解释人工智能（XAI）[R]。华威大学。数学研究所，2019:1-53。
[18] TAN S，CARUANA R，HOOKER G，等.利用模型蒸馏学习神经网络的全局可加性解释[J].arXiv.1801.08642018。
[19] MOLNAR C.可解释机器学习[Z].2020。
[20] 范福林，熊杰，李明，等。人工神经网络可解释性研究综述[J]。IEEE辐射和血浆医学学报，2021,5（6）：741-760。
[21]DAS A，RAD P.可解释人工智能（XAI）的机遇与挑战：一项调查[J].arXiv:2006。
11371，2020.
[22]RIBEIRO M T，SINGH S，GUESTRIN C.机器学习的模型认知解释[J].arXiv:1606.053862016。
[23]弗里德曼J H.格里迪函数近似：一种梯度提升机[J]。《统计年鉴》，2001:1189-1232。
[24]GOLDSTEIN A，KAPELNER A，BLEICH J，等.黑盒子内窥视：用个体条件期望图可视化统计学习[J]。计算与图形统计杂志，2015,24（1）：44-65。
[25]GALKIN F，ALIPER A，PUTIN E，等.基于深度学习和串联排列特征重要性和累积局部效应的人类微生物群老化时钟[J]。BioRxiv，2018:507780。
[26]FRIEDMAN J H，POPESCU B E.通过规则集合进行预测学习[J]。应用统计年鉴，2008，2（3）：916-954。
[27]布雷曼L.随机森林[J]。机器学习，2001,45（1）：5-32。
[28]FISHER A，RUDIN C，DOMINICI F。所有模型都是错误的，但许多模型都是有用的：通过同时研究一整类预测模型来学习变量的重要性[J]。马赫学习研究杂志，2019,20（177）：1-81。
[29]SUNDARARAJAN M，NAJMI A.模型解释的许多shapley值[C]//国际机器学习会议，2020:9269-9278。
[30]袁旭，何平，朱强，等.对抗性示例：深度学习的攻击与防御[J]。IEEE神经网络和学习系统汇刊，2019，30（9）：2805-2824。
[31] 孔祥维，杨浩.一种基于深度神经网络模型可解释性的对抗样本防御方法：CN112364885A[P].2021。
孔晓伟，杨红。基于深度神经网络模型可解释性的对抗性样本防御方法：CN112364885A[P].2021。
[32] 董胤蓬，苏航，朱军.面向对抗样本的深度神经网络可解释性分析[J] 《报告》，2022,48（1）：75-86。
董永平，苏赫，朱洁.深层神经网络的可解释性分析与对抗性实例[J]。自动化学报，2022,48（1）：75-86。
[33]NAUTA M、JUTTE A、PROVOOST J等。看起来是这样的，因为。。。解释可解释图像识别的原型[C]//关于数据库中机器学习和知识发现的欧洲联合会议。查姆：施普林格，2021:441-456。
[34]KOH P W，LIANG P.通过影响函数理解黑盒预测[C]//国际机器学习会议，2017:1885-1894。
[35]郭H，RAJANI N F，HASE P，et al.Fastif:高效模型解释和调试的可扩展影响函数[J].arXiv:2012.157812020。
[36]RIBEIRO M T，SINGH S，GUESTRIN C。“我为什么要相信你？”解释任何分类器的预测[C]//第22届ACM SIGKDD国际知识发现和数据挖掘会议记录，2016:1135-1144。
[37]张毅，宋凯，孙毅，等.“你为什么要相信我的解释？”理解LIME解释中的不确定性[J].arXiv:1904.129912019。
[38]RIBEIRO M T，SINGH S，GUESTRIN C.Anchors:高精度模型识别解释[C]//2018年AAAI人工智能会议论文集。
[39]周Z，HOOKER G，WANG F.S-lime：用于模型解释的稳定lime[C]//第27届ACM SIGKDD知识发现与数据挖掘会议论文集，2021:2429-2438。
[40]SHANKARANARAYANA S M，RUNJE D.ALIME:基于自动编码器的局部可解释性方法[C]//智能数据工程和自动学习国际会议。查姆：施普林格，2019:454-463。
[41]ELSHAWI R，SHERIF Y，AL-MALLAH M，et AL.ILIME:黑盒决策的局部和全局可解释模型认知解释[C]//欧洲数据库和信息系统进展会议。查姆：施普林格，2019:53-68。
[42]HAUFE S、MEINECKE F、G？RGEN K等。关于多元神经成像中线性模型权重向量的解释[J]。神经影像，2014,87:96-110。
[43]BERTSIMAS D，KING A.逻辑回归：从艺术到科学[J]。统计科学，2017,32（3）：367-384。
[44]QUINLAN J R.学习决策树分类器[J]。ACM计算调查，1996,28（1）：71-72。
[45]WEBB G I，KEOGH E，MIIKULAINEN R.Na？ve贝叶斯[J]。机器学习百科全书，2010年，15:713-714。
[46]SHRIKUMAR A，GREENSIDE P，KUNDAJE A.通过传播激活差异学习重要特征[C]//国际机器学习会议，2017:3145-3153。
[47]BACH S，BINDER A，MONTAVON G等。通过逐层相关传播对非线性分类器决策的逐像素解释[J]。公共科学图书馆，2015,10（7）：e0130140。
[48]王Z，黄X，杨J，等.攻击分层相关传播产生的通用对抗扰动[C]//2020 IEEE第十届智能系统国际会议，2020:431-436。
[49]MONTAVON G，BINDER A，LAPUSCHKIN S，等.分层相关传播：综述[J]。可解释人工智能：解释、解释和可视化深度学习，2019:193-209。
[50]SIMONYAN K，VEDALDI A，ZISSERMAN A.深层卷积网络：可视化图像分类模型和显著图[J].arXiv:1312.60342013。
[51]ERHAN D，BENGIO Y，COURVILLE A，et al.可视化深层网络的高层特征[Z]。蒙特利尔大学，2009年。
[52]ZEILER M D，FERGUS R.卷积网络的可视化和理解[C]//欧洲计算机视觉会议。查姆：施普林格，2014:818-833。
[53]斯普林根伯格J T，多索维茨基A，布罗克斯T，等.追求简单：全卷积网络[J].arXiv:1412.68062014。
[54]SMILKOV D，THORAT N，KIM B，et al.Smoothgrad：通过添加噪声消除噪声[J].arXiv:1706.038252017。
[55]SUNDARARAJAN M，TALY A，YAN Q.深度网络公理化归因[C]//国际机器学习会议，2017:3319-3328。
[56]周B，KHOSLA A，LAPEDRIZA A，等.学习区分性定位的深层特征[C]//IEEE计算机视觉与模式识别会议论文集，2016:2921-2929。
[57]SELVARAJU R R，COGSWELL M，DAS A，et al.Grad-CAM:通过基于梯度的本地化从深层网络中进行可视化解释[C]//IEEE计算机视觉国际会议论文集，2017:618-626。
[58]CHATTOPADHAY A，SARKAR A，HOWLADER P，et al.Grad-CAM++：基于广义梯度的深度卷积网络可视化解释[C]//2018 IEEE计算机视觉应用冬季会议，2018:839-847。
[59]王H，王Z，杜M，等.Score-CAM:卷积神经网络的分数加权可视化解释[C]//IEEE/CVF计算机视觉与模式识别研讨会论文集，2020:24-25。
[60]PEARL J.机器学习的理论障碍与因果革命的七个火花[J].arXiv:1801.040162018。
[61]WACHTER S，MITTELSTADT B，RUSSELL C.未打开黑匣子的反事实解释：自动决策和GDPR[J].arXiv:1711.003992017。
[62]GRATH R M，COSTABELLO L，VAN C L，等.具有反事实解释的可解释信贷应用预测[J].arXiv:1811.052452018。
[63]MOTHILAL R K，SHARMA A，TAN C.通过各种反事实解释解释机器学习分类器[C]//《2020年公平、问责制和透明度会议论文集》，2020:607-617。
[64]RUSSELL C.高效寻找各种连贯的解释[C]//《公平、问责制和透明度会议记录》，2019:20-28。
[65]刘S，凯尔库拉B，洛夫兰德D，等.可解释深度学习的生成性反事实自省[C]//2019 IEEE全球信号与信息处理会议（GlobalSIP），2019:1-5。
[66]LOOVEREN A V，KLAISE J.原型指导下的可解释反事实解释[C]//关于数据库中机器学习和知识发现的欧洲联合会议。查姆：施普林格，2021:650-665。
[67]DUONG T D，LI Q，XU G.因果分类的基于原型的反事实解释[J].arXiv:2105。
00703，2021.
[68]MAHAJAN D，TAN C，SHARMA A.机器学习分类器反事实解释中的因果约束保持[J].arXiv:1912.032772019。
[69]DOSHI-VELEZ F，KIM B.可解释机器学习中评估和泛化的考虑因素[M]//计算机视觉和机器学习中的可解释和可解释模型。查姆：施普林格，2018:3-17。
[70]MOLNAR C，CASALICCHIO G，BISCHL B.通过函数分解量化任意机器学习模型的可解释性[J]。Ulmer Informatik-Berichte，2019:41。
[71]YEH C K，HSIEH C Y，SUGGALA A，等.关于解释的保真度和敏感性[C]//神经信息处理系统的进展，2019。
[72]SRINIVAS S，FLEURET F.神经网络可视化的全粒度表示[C]//神经信息处理系统进展，2019。
[73]MORAFFAH R，KARAMI M，GUO R，等.机器学习问题的因果解释性，方法与评价[J]。ACM SIGKDD探索新闻稿，2020,22（1）：18-33。
[74]张毅，翁毅，陆J.可解释人工智能在诊断和手术中的应用[J]。诊断，2022,12（2）：237。
[75]EL-SAPPAGH S，ALONSO J M，ISLAM S M等。一种基于可解释人工智能的阿尔茨海默病多层多模式检测和预测模型[J]。科学报告，2021,11（1）：1-26。
[76]LAMY J B，SEKAR B，GUEZENNEC G，等.乳腺癌可解释人工智能：一种可视化的基于案例的推理方法[J]。医学中的人工智能，2019,94:42-53。
[77]LIN K，GAO Y.集团SHAP金融欺诈检测的模型可解释性[J]。专家系统与应用，2022210:118354。
[78]王D，林J，CUI P，等.用于金融欺诈检测的半监督图形关注网络[C]//2019 IEEE国际数据挖掘会议（ICDM），2019:598-607。
[79]KIM J，CANNY J.通过视觉化因果注意实现自动驾驶汽车的可解释学习[C]//IEEE计算机视觉国际会议论文集，2017:2942-2950。
[80]SOARES E，ANGELOV P，FILEV D，et al.基于密度的自驾驶行为分类解释方法[C]//2019第18届IEEE机器学习与应用国际会议（ICMLA），2019:469-474。
[81]AHMED F，ERMAN J，GE Z，et al.基于TCP丢失率和往返时间的蜂窝数据服务端到端性能退化检测和定位[J]。IEEE/ACM网络汇刊，2017,25（6）：3709-3722。
[82]LI Z，ZHAO N，LI M，et al.在线服务系统重复故障的可操作和可解释故障定位[C]//第30届ACM欧洲联合软件工程会议暨软件工程基础研讨会论文集，2022:996-2008。