理解复杂的机器学习模型,例如具有解释的深度神经网络,在各种应用中至关重要。许多解释源于模型视角,可能不一定能有效地传达为什么模型在正确的抽象级别上进行预测。例如,为图像中的单个像素提供重要性权重只能表示特定图像的哪些部分对模型很重要,但人类可能更喜欢通过基于概念的思维来解释预测。在这项工作中,我们回顾了基于概念的解释的新兴领域。我们首先介绍概念解释,包括概念激活向量(CAV)类别,该类别使用神经激活的适当空间中的向量来表征概念,并讨论有用概念的不同性质,以及测量概念向量有用性的方法。然后,我们讨论了自动提取概念的方法,以及解决一些警告的方法。最后,我们讨论了一些案例研究,展示了这种基于概念的解释在合成环境和实际应用中的效用。
我们使用cookie为您提供最佳体验。它们还允许我们分析用户行为,以便为您不断改进网站。关于隐私政策IOS出版社。