学习视觉属性

维托里奥·法拉利和安德鲁·齐瑟曼

概述

学习对象类别最近成为计算机视觉。在这项工作中，我们对补充学习属性的任务，即物体的视觉特性，例如红色、条纹或斑点。尽量减少所需的人力为了学习属性，我们从web搜索引擎训练模型，很简单通过按属性名查询并传递前几十个将图像返回到我们的学习算法（参见积极训练右侧的图像）。一旦学习了模型，它就能够小说中属性的识别及其空间范围的确定图像。

为什么这么难？

网络搜索引擎返回的图像并不总是包含属性。例如，右边的Bill Murray海报就是一个前几名的谷歌图片中，有一张是条纹图片。即使在属性出现在图像中，我们仍然不知道它在哪里。因此，该场景受噪声标签的弱监督。

另一个挑战是我们想要的广泛属性到模型。这些包括简单的颜色，如红色和绿色，图案具有特定外观，例如斑马和一般外观的图案，例如通常以任意两个ABAB交替的模式为特征颜色A和B，而不是通过特定的颜色组合。

在学习了一个属性后，当我们得到一个新颖的图像时挑战在于分割出属性所覆盖的区域，而不是而不是简单地确定它是否存在。

那么我们该怎么做呢？

我们提出了视觉属性的概率生成模型，以及从图像中学习其参数的过程。模型将属性视为统一段的模式，重复共享一些特性。这些可以是图案中线段的外观、形状或布局。此外，还考虑了具有一般外观的属性，比如任意两种颜色的交替图案条纹的特点。从未细分中学习训练图像时，通过包含一个负训练集和优化似然比（参见负右侧的训练图像）。学习的目的是确定属性和估计的特征是什么它们的分布。例如，模型学习到细长是条纹的特征属性，而红色则是不是。

“条纹”训练图像

示例结果

在右侧，我们显示了一些示例结果（上排=输入测试images，lower rows=输出分段）。请参阅论文以了解更多细节和定量评估。更多结果可用。

结果-条纹

结果-点

代码

你可以下载Matlab代码用于计算一组线段的几何属性。这个软件是根据许可证.

数据集集合

这个训练和测试数据集NIPS文件中使用的。

出版物

致谢

这项工作由欧盟项目资助类别.