×
李旭红;熊浩毅;黄思玉;吉、石磊;窦德静

图像分类模型解释和超越的跨模型共识：一项实证研究。 （英语） 兹伯利07702715

机器。学习。 112，第5期，1627-1662（2023）.
摘要：现有的解释算法发现，即使深度模型对同一图像做出相同的正确预测，它们也可能依赖不同的输入特征集进行分类。然而，在这些功能中，大多数模型可能会使用一些常见功能。在本文中，我们想知道各种模型用于分类的共同特征是什么和性能更好的模型是否有利于这些共同特征为此，我们的工作使用解释算法将特征（例如像素或超像素）的重要性作为解释，并提出解释的跨模型共识以捕获常见功能。具体来说，我们首先准备一组深层模型作为委员会，然后推导出每个模型的解释，并获得共识整个委员会的解释投票。在解释的跨模型共识下，我们在五个数据集/任务上使用80多个模型进行了广泛的实验。我们发现以下三个有趣的现象：（1）从图像分类模型中获得的共识与语义分割的基本事实一致；（2） 我们衡量委员会中每个模型的解释结果与共识的相似性（即一致性得分)发现共识得分与模型绩效正相关；共识得分与可解释性潜在相关。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

可解释性;深度神经网络的解释;语义分割;和可视化

软件：

MobileNetV2手机;Caltech-UCSD鸟类;Xception公司;形状;MS-COCO公司;梯度-CAM;混洗网;标准LIME;AlexNet公司;ACNet公司;SqueezeNet公司;Res2网络;拼图-CAM;BadNets（BadNet）;ImageNet公司;效率网;OverFeat（覆盖特征）;DARTS公司;移动网络
PDF格式BibTeX公司 XML格式引用
\textit{X.Li}等人，马赫。学习。112，第5号，1627--1662（2023；Zbl 07702715）
全文： 内政部 arXiv公司

参考文献：

[1] Adebayo，J.、Gilmer，J.，Muelly，M.Goodfellow，I.、Hardt，M.和Kim，B.（2018年）。检查显著性映射的合理性。《神经信息处理系统进展》（NeurIPS）（第9505-9515页）。
[2] 阿夫拉班佩，H。；佩尔托拉，T。；Piironen，J.等人。；Vehtari，A。；Kaski，S.，贝叶斯框架中模型可解释性的决策理论方法，机器学习，1091855-1876（2020）·Zbl 1525.68105号 ·doi:10.1007/s10994-020-05901-8
[3] Agarwal，S.、Nguyen，T.T.、Nguyen，T.L.和Ifrim，G.（2021）。通过聚合裁判进行排名：评估时间序列分类解释方法的信息性。在时间数据高级分析和学习国际研讨会上（第3-20页）。施普林格
[4] 埃亨，I.、诺亚克，A.、古兹曼-纳特拉斯，L.、杜，D.、李，B.和欢，J.（2019）。Normlime：一种新的特征重要性度量，用于解释深度神经网络。arXiv:1909.04200年
[5] Ancona，M.、Ceolini，E.、Oh ztireli，C.和Gross，M.（2018年）。更好地理解深度神经网络的基于梯度的属性方法。在学习代表国际会议上。
[6] Atanasova，P.、Simonsen，J.G.、Lioma，C.和Augenstein，I.（2020年）。生成事实检查解释。计算语言学协会第58届年会会议记录，ACL 2020，在线，2020年7月5日至10日。
[7] 巴赫，S。；粘合剂A。；蒙塔文，G。；Klauschen，F。；穆勒，K-R；Samek，W.，《通过分层相关传播对非线性分类器决策的像素解释》，PLoS ONE，10，7，0130140（2015）·doi:10.1371/journal.pone.0130140
[8] Bau，D.、Zhou，B.、Khosla，A.、Oliva，A.和Torralba，A.（2017年）。网络解剖：量化深层视觉表征的可解释性。在IEEE关于模式分析和机器智能（TPAMI）的交易中（第6541-6549页）。
[9] Bossard，L.、Guillaumin，M.和Van Gool，L.（2014）。食物——具有随机森林的101分钟鉴别成分。《欧洲计算机视觉会议论文集》（第446-461页）。斯普林格。
[10] Chattopadhay，A.、Sarkar，A.、Howlader，P.和Balasubramanian，V.N.（2018年）。Grad-cam++：深度卷积网络的基于广义梯度的视觉解释。2018年IEEE计算机视觉应用冬季会议（WACV）（第839-847页）。电气与电子工程师协会。
[11] Chen，C.、Li，O.、Tao，D.、Barnett，A.、Rudin，C.和Su，J.K.（2019年）。这看起来像是：可解释图像识别的深度学习。
[12] Chen，X.、Liu，C.、Li，B.、Lu，K.和Song，D.（2017）。利用数据中毒对深度学习系统进行有针对性的后门攻击。arXiv:1712.05526
[13] Chen，Y.、Li，J.、Xiao，H.、Jin，X.、Yan，S.和Feng，J.（2017）。双路径网络。《神经信息处理系统进展》（NeurIPS）（第4467-4475页）。
[14] Chollet，F.（2017）。Xception：利用深度可分离卷积进行深度学习。IEEE计算机视觉和模式识别会议（CVPR）（第1251-1258页）。
[15] Deng，J.、Dong，W.、Socher，R.、Li，L.-J、Li，K.和Fei Fei，L.（2009）。Imagenet：大规模分层图像数据库。IEEE计算机视觉和模式识别会议（CVPR）（第248-255页）。
[16] Ding，X.，Guo，Y.，Ding，G.，&Han，J.（2019）。Acnet：通过非对称卷积块增强强大cnn的内核骨架。IEEE计算机视觉和模式识别会议（CVPR）（第1911-1920页）。
[17] Doshi-Velez，F.和Kim，B.（2017年）。走向可解释机器学习的严格科学。arXiv:1702.08608号
[18] 费希尔，A。；鲁丁，C。；Dominici，F.，所有模型都是错误的，但许多模型都是有用的：通过同时研究一整类预测模型来学习变量的重要性，《机器学习研究杂志》，20，177，1-81（2019）·Zbl 1436.62019年
[19] Gao，S.，Cheng，M.-M.，Zhao，K.，Zhang，X.-Y.，Yang，M.-H.，&Torr，P.H.（2019）。Res2net：一种新的多尺度主干架构。
[20] Gu，T.、Dolan-Gavitt，B.和Garg，S.（2017年）。Badnets：识别机器学习模型供应链中的漏洞。arXiv:1708.06733号
[21] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别（CVPR）会议上。
[22] Hooker，S.、Erhan，D.、Kindermans，P.-J.和Kim，B.（2019年）。深度神经网络中可解释性方法的基准。《神经信息处理系统进展》（NeurIPS）（第9737-9748页）。
[23] Howard，A.、Sandler，M.、Chu，G.、Chen，L.-C.、Chen、B.、Tan，M.，Wang，W.、Zhu，Y.、Pang，R.、Vasudevan，V.和Le，Q.V.（2019年）。正在搜索mobilenetv3。在IEEE计算机视觉和模式识别（CVPR）会议上。
[24] Howard，A.G.、Zhu，M.、Chen，B.、Kalenichenko，D.、Wang，W.、Weyand，T.、Andreetto，M.和Adam，H.（2017）。手机：用于移动视觉应用的高效卷积神经网络。arXiv:1704.04861
[25] Hu，J.，Shen，L.，&Sun，G.（2018年）。挤压和激励网络。在IEEE计算机视觉和模式识别（CVPR）会议上。
[26] Huang，G.，Liu，Z.，Van Der Maaten，L.，&Weinberger，K.Q.（2017）。紧密连接的卷积网络。IEEE计算机视觉和模式识别会议（CVPR）（第4700-4708页）。
[27] Iandola，F.N.、Han，S.、Moskewicz，M.W.、Ashraf，K.、Dally，W.J.和Keutzer，K..（2016年）。Squeezenet：Alexnet级精度，参数少50倍，模型大小小于0.5 mb。arXiv:1602.07360
[28] Jeyakumar，J.V.、Noor，J.、Cheng，Y.-H.、Garcia，L.和Srivastava，M.（2020年）。我该如何向你解释？深度神经网络解释方法的实证研究。神经信息处理系统进展（NeurIPS）。
[29] Jo，S.和Yu，I.-J.（2021年）。益智凸轮：通过匹配部分和全部功能改进定位。arXiv:2101.11253
[30] Kim，B.、Wattenberg，M.、Gilmer，J.、Cai，C.、Wexler，J.和Viegas，F.（2018年）。超越特征属性的可解释性：用概念激活向量（tcav）进行定量测试。在机器学习国际会议（ICML）上（第2668-2677页）。
[31] Kim，J.-H.，Choo，W.和Song，H.O.（2020年）。拼图组合：利用显著性和本地统计信息进行优化组合。机器学习国际会议论文集。
[32] Koh，P.W.和Liang，P.（2017）。通过影响函数了解黑盒预测。在机器学习国际会议（ICML）上（第1885-1894页）。PMLR公司。
[33] Krause，J.、Stark，M.、Deng，J.和Fei-Fei，L.（2013）。用于细粒度分类的3D对象表示。IEEE计算机视觉和模式识别会议（CVPR）（第554-561页）。
[34] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。神经信息处理系统进展（NeurIPS）。
[35] Lage，I.、Chen，E.、He，J.、Narayanan，M.、Kim，B.、Gershman，S.和Doshi-Velez，F.（2019年）。对解释的人的可解释性的评估。arXiv:1902.00006号
[36] Lin，T.-Y.，Maire，M.，Belongie，S.，Hays，J.，Perona，P.，Ramanan，D.，Dollár，P.和Zitnick，C.L.（2014）。Microsoft COCO:上下文中的通用对象。欧洲计算机视觉会议论文集。
[37] Lin，Y.S.，Lee，W.C.，&Celik，Z.B.（2020年）。你看到了什么？通过神经后门评估可解释人工智能（xai）的可解释性。arXiv:2009.10639年
[38] Liu，H.、Simonyan，K.和Yang，Y.（2018）。飞镖：不同的建筑搜索。arXiv:1806.09055
[39] Looveren，A.V.和Janis，K.（2020年）。由原型指导的可解释的反事实解释。
[40] Lundberg，S.M.和Lee，S.-I.（2017年）。解释模型预测的统一方法。《神经信息处理系统进展》（NeurIPS）（第4765-4774页）。
[41] Ma，N.，Zhang，X.，Zheng，H.-T.，&Sun，J.（2018）。Shufflenet v2：高效cnn架构设计的实用指南。《欧洲计算机视觉会议论文集》（第116-131页）。
[42] Nilsback，M.-E.和Zisserman，A.（2008年）。在大量类别上进行自动花卉分类。第六届印度计算机视觉、图形和图像处理会议（第722-729页）。电气与电子工程师协会。
[43] Petsiuk，V.、Das，A.和Saenko，K.（2018）。上升：用于解释黑盒模型的随机输入抽样。英国机器视觉会议（BMVC）论文集。
[44] Redmon，J.、Divvala，S.、Girshick，R.和Farhadi，A.（2016）。你只看一次：统一的实时对象检测。IEEE计算机视觉和模式识别会议（CVPR）（第779-788页）。
[45] Redmon，J.和Farhadi，A.（2018年）。Yolov3:渐进式改进。arXiv公司：1804.02767
[46] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016）。“我为什么要相信你？”解释任何分类器的预测。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第1135-1144页）。
[47] Ross，A.和Doshi-Velez，F.（2018年）。通过正则化深度神经网络的输入梯度，提高其对抗性鲁棒性和可解释性。在人工智能AAAI会议记录中。
[48] 萨梅克，W。；粘合剂A。；蒙塔文，G。；拉普什金，S。；Müller，K-R，评估深层神经网络所学知识的可视化，IEEE神经网络和学习系统汇刊，28，11，2660-2673（2016）·doi:10.1109/TNNLS.2016.2599820
[49] Sandler，M.、Howard，A.、Zhu，M.，Zhmoginov，A.和Chen，L.-C.（2018年）。Mobilenetv2：反转残差和线性瓶颈。在IEEE计算机视觉和模式识别（CVPR）会议上。
[50] 塞尔瓦拉朱，RR；Cogswell，M。；Das，A。；韦丹坦，R。；Parikh博士。；Batra，D.，Grad-cam：通过基于梯度的定位从深层网络中进行视觉解释，国际计算机视觉杂志（IJCV），128，2，336-359（2020）·doi:10.1007/s11263-019-01228-7
[51] Sermanet，P.、Eigen，D.、Zhang，X.、Mathieu，M.、Fergus，R.和LeCun，Y.（2014）。专长：使用卷积网络集成识别、定位和检测。在学习代表国际会议上。
[52] Shrikumar，A.、Greenside，P.和Kundaje，A.（2017）。通过传播激活差异来学习重要功能。在机器学习国际会议（ICML）上（第3145-3153页）。
[53] Simonyan，K.和Zisserman，A.（2015）。用于大规模图像识别的深度卷积网络。在国际学习表征会议（ICLR）上。
[54] Smilkov，D.、Thorat，N.、Kim，B.、Viégas，F.和Wattenberg，M.（2017）。平滑渐变：通过添加噪波来消除噪波。在ICML关于深度学习可视化的研讨会上。
[55] Sundararajan，M.、Taly，A.和Yan，Q.（2017年）。深层网络的公理属性。在国际机器学习会议（ICML）上。
[56] Szegedy，C.、Liu，W.、Jia，Y.、Sermanet，P.、Reed，S.、Angelov，D.、Erhan，D.、Vanhoucke，V.和Rabinovich，A.（2015）。用卷积深入。IEEE计算机视觉和模式识别会议（CVPR）（第1-9页）。
[57] Tan，M.和Le，Q.V.（2019年）。Efficientnet：重新思考卷积神经网络的模型缩放。在国际机器学习会议（ICML）上。
[58] van der Linden，I.、Haned，H.和Kanoulas，E.（2019年）。黑箱模型本地解释的全球聚合。FACTS-IR：公平、责任、保密、透明和安全——SIGIR 2019研讨会。
[59] Vedaldi，A.和Soatto，S.（2008年）。模式搜索的快速移位和内核方法。《欧洲计算机视觉会议论文集》（第705-718页）。斯普林格。
[60] Vu，M.N.、Nguyen，T.D.、Phan，N.、Gera，R.和Thai，M.T.（2019年）。通过扰动评估解释器。arXiv:1906.02032年
[61] Wang，H.，Wang，Z，Du，M.，Yang，F.，Z.，Ding，S.，Mardziel，P.，&Hu，X.（2020年）。记分卡：卷积神经网络的记分视觉解释。IEEE/CVF计算机视觉和模式识别研讨会会议记录（第24-25页）。
[62] Wang，J.、Sun，K.、Cheng，T.、Jiang，B.、Deng，C.、Zhao，Y.、Liu，D.、Mu，Y.，Tan，M.、Wang，X.、Liw，W.（2020）。用于视觉识别的深度高分辨率表示学习。
[63] Wang，Y.、Zhang，J.、Kan，M.、Shan，S.和Chen，X.（2020年）。弱监督语义分割的自监督等变注意机制。2020年IEEE/CVF计算机视觉和模式识别会议，CVPR 2020，西雅图，华盛顿州，美国，2020年6月13-19日。
[64] Welinder，P.、Branson，S.、Mita，T.、Wah，C.、Schroff，F.、Belongie，S.和Perona，P.（2010年）。加州理工大学可持续发展学院鸟类200只。技术报告CNS-TR-2010-001，加利福尼亚理工学院。
[65] Xie，S.、Girshick，R.、DolláR，P.、Tu，Z.和He，K.（2017）。深度神经网络的聚合残差变换。在IEEE计算机视觉和模式识别（CVPR）会议上。
[66] Yang，M.和Kim，B.（2019年）。使用相对特征重要性对属性方法进行基准测试。arXiv:1907.09701年
[67] Yeh，C.-K.，Hsieh，C.-Y.，Suggala，A.S.，Inouye，D.I.，&Ravikumar，P.（2019）。关于解释的忠实性和敏感性。神经信息处理系统进展（NeurIPS）。
[68] Yuan，T.，Li，X.，Xiong，H.，Cao，H.和Dou，D.（2021）。使用马尔可夫链解释视觉变换器内部的信息流。在eXplainable AI方法中进行调试和诊断。
[69] Zhang，Q.、Yang，Y.、Ma，H.和Wu，Y.N.（2019）。通过决策树解释cnn。IEEE计算机视觉和模式识别会议（CVPR）（第6261-6270页）。
[70] Zhang，X.，Zhou，X.、Lin，M.和Sun，J.（2018）。Shufflenet：一种用于移动设备的非常有效的卷积神经网络。在IEEE计算机视觉和模式识别（CVPR）会议上
[71] Zhou，B.、Khosla，A.、Lapedriza，A.、Oliva，A.和Torralba，A.（2016）。学习深层特征以进行区分性定位。IEEE计算机视觉和模式识别会议（CVPR）（第2921-2929页）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。