Grad-CAM:通过基于梯度的本地化从深层网络中进行可视化解释

@文章{Selvaraju2016GradCAMVE,title={Grad-CAM:通过基于梯度的本地化从深层网络中进行可视化解释},作者={Ramprasaath R.Selvaraju、Abhishek Das、Ramakrishna Vedantam、Michael Cogswell、Devi Parikh和Dhruv Batra},journal={国际计算机视觉杂志},年份={2016年},体积={128},页数={336-359},url={https://api.semanticscholar.org/CorpusID:15019293}}
提出的Grad-CAM技术使用流入最终卷积层的任何目标概念的梯度来生成粗定位图,突出图像中的重要区域以预测概念,并表明即使是基于非注意的模型也可以学习定位输入图像的区分区域。

Grad-CAM++:基于广义梯度的深卷积网络可视化解释

本文提出了Grad-CAM++,它使用最后一个卷积层特征图相对于特定类别分数的正偏导数的加权组合作为权重,为考虑中的类别标签生成可视化解释,以提供更好的CNN模型预测的可视化解释。

RL-CAM:使用强化学习对卷积网络的可视化解释

这项工作提出了一种新的方法,使用强化学习来生成CNN的视觉解释,并证明了该方法优于现有技术,可以生成更准确的输入图像中感兴趣区域的定位掩码。

消融-CAM:基于无梯度定位的深卷积网络可视化解释

这种方法–基于烧蚀的类别激活映射(烧蚀CAM)使用烧蚀分析来确定单个特征映射单元w.r.t.类别的重要性,以生成粗定位映射,突出图像中用于预测概念的重要区域。

统计CAM:深度卷积网络的无梯度可视化解释

提出的统计CAM方法建立在现有CAM方法的基础上,由三个阶段组成:训练阶段、显著性确定阶段和推断阶段,可以实现小于2.1%的失配性能,并在保持无梯度特性的同时节省高达99.95%的额外计算成本。

基于Riemann-Stieltjes集成梯度定位的深度网络可视化解释

这项工作引入了一种新的技术,为CNN的预测生成可视化解释,该技术可以应用于网络的任何层,并且不受消失梯度问题的影响。

平滑梯度-CAM++:一种用于深度卷积神经网络模型的增强推理级可视化技术

平滑梯度CAM++技术提供了在推理级别(模型预测过程)的每个实例上可视化图层、特征映射子集或特征映射内神经元子集的功能。

适应Grad-CAM嵌入网络

本文提出了一种适用于嵌入网络的Grad-CAM方法,并开发了一种有效的权重传递方法来解释任何图像的决策,而无需反向传播。

综合梯度Cam:基于综合梯度评分的深度卷积网络的敏感性视觉解释

这项工作通过计算Grad-CAM中基于梯度的项的路径积分来解决低估模型发现的表示对其预测的贡献的问题。

特征CAM:深度卷积神经网络的可视化解释

提出了一种新的特征CAM,通过可视化卷积层学习表示的主成分来增强CNN预测的解释,卷积层的学习表示更加一致、类别区分性更强,并且对密集层产生的分类错误具有鲁棒性。

MACE:用于解释图像分类网络的模型不确定性概念抽取器

MACE框架分析卷积网络为图像生成的特征图,以提取基于概念的原型解释,并估计提取的概念与预处理模型预测的相关性,这是解释现有方法中缺失的单个类别预测的一个关键方面。
。。。

Grad CAM:你为什么这么说?基于梯度定位的深层网络可视化解释

研究表明,Guided Grad-CAM可以帮助未经训练的用户成功区分“较强”和“较弱”的深层网络,即使这两个网络做出了相同的预测,并且还揭示了一个有点令人惊讶的见解,即尽管没有对固定的图像-文本对进行训练,但普通的CNN+LSTM模型可以很好地定位有区别的输入图像区域。

用于语义分割的全卷积网络

关键的见解是建立“完全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。

网络解剖:量化深层视觉表征的可解释性

本文使用所提出的网络剖分方法来验证可解释性是表示空间的轴相关特性的假设,然后应用该方法比较不同网络在训练解决不同分类问题时的潜在表示。

选择你的神经元:通过神经元重要性整合领域知识

这项工作学习将有关新的“看不见的”类的领域知识映射到这个学习概念词典中,并优化网络参数,以有效地组合这些概念——本质上是通过在深层网络中发现和组合学习的语义概念来学习分类器。

利用自然预图像可视化深度卷积神经网络

本文基于“自然预图像”的概念,通过一些互补的可视化技术研究了几种地标表示,包括浅层和深层,并表明CNN中的几个层保留了关于图像的摄影精确信息,具有不同程度的几何和光度不变性。

追求简单:全卷积网络

研究发现,在多个图像识别基准上,最大pool可以简单地被一个步幅增加的卷积层所取代,而不会损失准确度。

深层卷积网络:可视化图像分类模型和显著性映射

本文讨论了利用深度卷积网络(ConvNets)学习的图像分类模型的可视化,并建立了基于梯度的ConvNet可视化方法与反卷积网络之间的联系。

学习用于判别式定位的深层特征

在这项工作中,我们重新审视了[13]中提出的全局平均池层,并阐明了它如何明确地使卷积神经网络(CNN)具有显著的定位能力

基于深度网络的自学目标定位

本文介绍了一种新的自学习目标定位方法,该方法利用训练用于全图像识别的深度卷积网络来定位图像中的目标,而无需额外的

视觉问题回答的分层问题-图像共同关注

本文提出了一种新的VQA共同注意模型,该模型通过一种新型的一维卷积神经网络(CNN)以分层方式联合推理图像和问题注意。
。。。