公平游戏：视频模型中的帧贡献

威尔·普莱斯，迪玛·达门; 2020年亚洲计算机视觉会议记录

摘要

本文介绍了一种用于解释动作识别模型的属性方法。这种模型通过分数聚合或关系推理，融合视频中多个帧的信息。我们公平地将模型的类分数分解为每个框架的贡献总和。我们的方法采用了一种公理化的解决方案来公平分配合作博弈中的奖励，称为Shapley值，用于可变长度序列中的元素，我们称之为Element Shapley value（ESV）。关键的是，我们提出了一种易于处理的ESV近似值，它与序列中的帧数成线性关系。我们使用ESV来解释细粒度数据集Something Something上的两个动作识别模型（TRN和TSN）。我们详细分析了支持/分散帧，以及ESV与帧位置、类预测和序列长度的关系。我们将ESV与朴素基线和两种常用的归因方法（Grad-CAM和Integrated-Gradents）进行了比较。

相关材料

[pdf格式][支持][代码]
[围巾]
@会议记录{Price_2020_ACCV，author={Price、Will和Damen、Dima}，title={Play Fair:视频模型中的帧贡献}，booktitle={亚洲计算机视觉会议（ACCV）会议记录}，月={11月}，年份={2020年}}