×

多类支持向量分类的统一视图。 (英语) Zbl 1360.68669号

摘要:提出了对多类支持向量机(SVM)的统一看法,涵盖了最显著的变体,包括一对多方法以及由Weston&Watkins、Crammer&Singer、Lee、Lin、&Wahba和Liu&Yuan提出的算法。这种统一导致了二次训练问题和新的多类SVM公式的模板。在我们的框架内,我们对多类保证金和基于保证金的损失的各种概念进行了比较分析。特别是,我们证明了所考虑的损失函数的局限性,例如在Crammer&Singer机器中。我们分析了多类损失函数的Fisher一致性和各种机器的通用一致性。一方面,我们给出了SVM的例子,这些SVM在特定的超参数范围内普遍一致,而不是基于Fisher一致性损失。这包括Weston&Watkins和Vapnik提出的SVM到多个类的规范扩展以及一对多方法。另一方面,研究表明,基于Fisher一致损失函数的机器在低维特征空间中无法识别正确的决策边界。我们在一项彻底的实证研究中比较了九种不同的多类SVM的性能。我们的结果建议使用Weston&Watkins支持向量机,该支持向量机可以较快地训练,并且在基准函数上具有良好的精度。如果训练时间是一个主要问题,那么选择一对一的方法。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 链接