通过反转来理解深层图像表示

利用自然预图像可视化深度卷积神经网络

阿拉文德·马亨德兰和安德烈亚·维达尔迪

摘要

图像表示，从SIFT和视觉词汇袋到卷积神经网络（CNN），几乎是任何图像理解系统的关键组成部分。然而，我们对它们的理解仍然有限。在本文中，我们通过提出以下问题来直接分析表征中包含的视觉信息：给定图像的编码，在何种程度上可以重建图像本身？为了回答这个问题，我们提供了一个反转表示的一般框架。我们表明，与最近的替代方法相比，该方法可以更准确地反转HOG和SIFT等表示，同时也适用于CNN。然后，我们首次使用该技术研究了最新CNN图像表示的反转。在我们的发现中，我们表明CNN中的几个层保留了关于图像的摄影精确信息，具有不同程度的几何和光度不变性。

源代码

CVPR提交的源代码位于https://github.com/aravindhm/deep-oggle网站。有关复制结果和运行代码的详细信息，请参阅github页面上的说明。该存储库还包含使用神经网络实现HOG和DSIFT的代码。

如果您正在查找IJCV出版物的源代码，请访问https://github.com/aravindhm/nnpreimage网址.

出版物

如果您使用我们的代码/方法，请引用

或