深度视觉类比制作

的一部分神经信息处理系统进展28（NIPS 2015）

作者

Scott E.Reed、Yi Zhang、Yuting Zhang和Honglak Lee

摘要

除了识别单个图像中的内容外，关联图像和生成相关图像也是图像理解的关键任务。最近，深度卷积网络在生成图像标签、注释和字幕方面取得了突破性进展，但只是刚刚开始用于生成高质量的图像输出。在本文中，我们开发了一种新型的端到端训练的深度网络来执行视觉类比制作，其任务是根据一对相关图像的示例转换查询图像。解决这个问题需要准确识别视觉关系并相应地生成转换后的查询图像。受语言建模最新进展的启发，我们建议通过学习将图像映射到类比推理简单的神经嵌入来解决视觉类比，例如通过向量减法和加法。在实验中，我们的模型在几个数据集上有效地模拟了视觉类比：2D形状、动画视频游戏精灵和3D汽车模型。