×

使用标签信息的自动编码器表示的非参数指导。 (英语) Zbl 1433.68379号

摘要:虽然无监督学习长期以来对密度建模、探索性数据分析和可视化很有用,但它对于发现稍后用于区分任务的特征变得越来越重要。鉴别算法通常在具有高信息特征的情况下工作得最好;值得注意的是,这些特征通常可以在没有标签的情况下学习。执行这种无监督学习的一种特别有效的方法是使用自动编码器神经网络,它可以找到受约束但信息丰富的潜在表示,用于重建。然而,使用自动编码器的纯无监督学习可以找到对最终的辨别任务有用或不有用的表示。指导自动编码器的训练,使其找到对预测标签有用的特征,这是一个持续的挑战。同样,我们通常有一个先验信息,关于什么样的统计变化与最终的鉴别任务无关,我们也希望能够利用这一信息进行指导。虽然典型的策略是将参数判别模型作为自动编码器训练的一部分,但这里我们提出了一种使用高斯过程指导表示的非参数方法。通过使用非参数模型,我们可以确保给定特征集存在有用的判别函数,而无需显式实例化它。我们在四个数据集上证明了这种指导机制的优越性,包括在康复研究中的实际应用。我们还展示了我们提出的方法如何通过评估姿态和照明标签可用的小型NORB图像识别问题,学会显式忽略标签相关的统计显著协变量信息。

MSC公司:

68T05型 人工智能中的学习和自适应系统
2015年1月60日 强极限定理
62G15年 非参数容差和置信区域
62H30型 分类和区分;聚类分析(统计方面)
62M45型 神经网络及从随机过程推断的相关方法

软件:

CIFAR公司
PDF格式BibTeX公司 XML格式引用
全文: 链接