显著性地图的卫生检查

的一部分神经信息处理系统进展31（NeurIPS 2018）

作者

朱利叶斯·阿德巴约、贾斯汀·吉尔默、迈克尔·梅利、伊恩·古德费罗、莫里茨·哈德、比恩·金

摘要

显著性方法已经成为一种流行的工具，用于突出输入中的特征被认为与学习模型的预测相关。几种显著性方法通常以图像数据的视觉吸引力为指导。在这项工作中，我们提出一种可行的方法来评估给定的解释类型方法可以提供，也不能提供。我们发现，仅仅依靠视觉评估可能会产生误导。通过广泛的实验，我们表明显著性方法独立于模型和数据生成过程。因此，未通过拟议测试的方法不足以对数据或模型敏感的任务，例如查找数据中的异常值，解释模型学习的输入和输出之间的关系，并调试模型。我们通过以下类比来解释我们的发现图像中的边缘检测，这是一种既不需要训练数据也不需要模型的技术。线性模型和单层卷积神经网络的理论支持我们的实验结果。