PALM：迭代调试的机器学习解释

当深度神经网络做出错误预测时，开发人员可能很难理解原因。虽然在预测特征方面有许多可解释性模型，但分离出对预测影响最大的一小组训练示例可能更为自然。然而，通常情况下，每个训练示例都以某种方式对预测做出贡献，但责任程度不同。我们提出了分区感知局部模型（PALM），这是一个学习和总结此职责结构以帮助机器学习调试的工具。PALM使用两部分代理模型来近似复杂模型（例如深度神经网络）：一个划分训练数据的元模型，以及一组近似每个分区内模式的子模型。这些子模型可以任意复杂以捕获复杂的局部模式。然而，元模型被约束为决策树。这样，用户可以检查元模型的结构，确定规则是否符合直觉，并将有问题的测试示例有效地链接到负责的培训数据。在识别相关数据方面，PALM查询比最近邻查询快近30倍，这是交互式应用程序的一个关键属性。