计算机科学>计算机视觉和模式识别
标题: 只要旋转它! 基于多个查询的闭源模型不确定性估计
摘要: 我们提出了一种简单有效的方法来估计闭源深度神经网络图像分类模型的不确定性。 给定一个基本图像,我们的方法创建多个转换版本,并使用它们查询闭源模型的前1个预测。 与为所有预测分配100%置信度的原始基线相比,我们证明了不确定性估计的校准有了显著改进。 当我们最初探索高斯扰动时,我们的经验发现表明,诸如旋转和弹性变形等自然变换可以产生更好的校准预测。 此外,通过实证结果和直接的理论分析,我们阐明了自然变换优于高斯噪声的原因。 利用这些见解,我们提出了一种转移学习方法,以进一步改进我们的校准结果。