×
Harish G.Ramaswamy。;安布吉·特瓦里;希瓦尼·阿加瓦尔

具有弃权选项的多类分类的一致算法。 （英语） Zbl 1473.62229号

电子。J.统计。 12，第1期，530-554（2018）.
摘要：我们考虑了（n）类分类（n）的问题，分类器可以选择以给定的代价，例如错误分类代价的一个因子（α）来避免进行预测。我们的目标是为具有“拒绝选项”的此类分类问题设计一致的算法；虽然这种算法对于二进制（n＝2）情况是已知的，但对于一般的多类情况却知之甚少。我们表明，众所周知的Crammer-Singer代理和单对全铰链损失，尽管与标准argmax具有不同的预测值，但当\（alpha=\frac{1}{2}\）时，为该问题提供了一致的算法。更有趣的是，我们设计了一个新的凸代理，我们称之为二进制编码预测代理，当（alpha=frac{1}{2}）在低维空间（log（n）而不是（n））上操作时，它也适用于这个问题。我们还构建了所有这三个代理的修改版本，以使任何给定的\（\ alpha\ in[0，\ frac{1}{2}]\）保持一致。

引用于5文件

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
68吨10 模式识别、语音识别

关键词：

机器学习;分类;统计一致性;替代损失;校准;放弃损失

软件：

SVM灯
PDF格式BibTeX公司 XML格式引用
\textit｛H.G.Ramaswamy｝等人，电子。J.Stat.12，No.1，530--554（2018；Zbl 1473.62229）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Allwein，E.L.、Schapire，R.E.和Singer，Y.（2000）。将多类简化为二进制：边缘分类器的统一方法。，机器学习研究杂志1 113-141·Zbl 1013.68175号
[2] Bartlett，P.L.和Wegkamp，M.H.（2008）。使用铰链损失的拒绝选项进行分类。，机器学习研究杂志9 1823-1840·兹比尔1225.62080
[3] Chow，C.K.（1970年）。关于最佳识别误差和拒绝权衡。，IEEE信息理论汇刊16 41-46·Zbl 0185.47804号 ·doi:10.1109/TIT.1970.1054406
[4] Cortes，C.、DeSalvo，G.和Mohri，M.（2016）。在拒绝中学习。在，算法学习理论·Zbl 1478.68282号
[5] Crammer，K.和Singer，Y.（2001年）。关于基于多类核的向量机的算法实现。，机器学习研究杂志2 265-292·Zbl 1037.68110号
[6] Duchi，J.、Shalev-Shwartz，S.、Singer，Y.和Chandra，T.（2008）。高效投射到l1球上，用于高维度学习。年，《第25届机器学习国际会议论文集》。
[7] el-Yaniv，R.和Weiner，Y.（2010年）。在无噪选择分类的基础上。，机器学习研究杂志11 1605-1641·Zbl 1242.68218号
[8] el-Yaniv，R.和Weiner，Y.（2011年）。不可知选择性分类。年，神经信息处理系统进展24。
[9] Fumera，G.、Pillai，I.和Roli，F.（2003年）。文本分类系统中带有拒绝选项的分类。年，IEEE国际图像分析与处理会议582-587·Zbl 1104.68609号
[10] Fumera，G.和Roli，F.（2002年）。支持嵌入拒绝选项的向量机。，支持向量机模式识别68-82·Zbl 1064.68585号
[11] Fumera，G.和Roli，F.（2004）。线性组合多分类器的拒错权衡分析。，模式识别37 1245-1265·Zbl 1069.68589号 ·doi:10.1016/j.patcog.2003.12.005
[12] Fumera，G.、Roli，F.和Giacinto，G.（2000）。具有多个阈值的拒绝选项。，模式识别33 2099-2101·Zbl 0996.68818号
[13] Grandvalet，Y.、Rakotomamonjy，A.、Keshet，J.和Canu，S.（2008）。带有拒绝选项的支持向量机。年，《神经信息处理系统进展》21。
[14] Joachims，T.（1999）。使大规模SVM学习实用化。年，《内核方法的进展——支持向量学习》（B.Schölkopf，C.Burges和A.Smola编辑），MIT-Press。
[15] Kummert，J.、Paassen，B.、Jensen，J.，Goepfert，C.和Hammer，B.（2016）。确定性多类SVM的局部拒绝选项。年，人工神经网络和机器学习-ICANN。
[16] Lee，Y.、Lin，Y.和Wahba，G.（2004）。多分类支持向量机：理论及其在微阵列数据分类中的应用。，《美国统计协会杂志》99（465）67-81·Zbl 1089.62511号 ·doi:10.1198/016214500000098
[17] Ramaswamy，H.G.和Agarwal，S.（2012年）。一般多类损失的分类校准尺寸。年，神经信息处理系统进展25。
[18] Ramaswamy，H.G.、Agarwal，S.和Tewari，A.（2013）。低秩损失矩阵的凸校正替代及其在子集排序损失中的应用。年，神经信息处理系统进展26。
[19] Ramaswamy，H.G.、Tewari，A.和Agarwal，S.（2015）。分级分类的凸校准替代。年，《第32届机器学习国际会议论文集》。
[20] Rifkin，R.和Klautau，A.（2004）。为捍卫一对一分类。，《机器学习研究杂志》5 101-141·Zbl 1222.68287号
[21] Simeone，P.、Marrocco，C.和Tortorella，F.（2012年）。ECOC分类系统拒绝规则的设计。，模式识别45 863-875。
[22] Tewari，A.和Bartlett，P.L.（2007年）。关于多类分类方法的一致性。，机器学习研究杂志8 1007-1025·Zbl 1222.62079号
[23] Vapnik，V.N.（1995）。，统计学习理论的本质。斯普林格·Zbl 0833.62008号
[24] Varshney，K.R.和Willsky，A.S.（2010年）。使用几何水平集进行分类。，机器学习研究杂志11 491-516·Zbl 1242.62061号
[25] Vernet，E.、Williamson，R.C.和Reid，M.D.（2011年）。复合多类损失。年，神经信息处理系统进展24·Zbl 1437.62241号
[26] Wang，P.-W.和Lin，C.-J.（2014）。凸优化可行下降法的迭代复杂性。，机器学习研究杂志15 1523-1548·Zbl 1319.90051号
[27] Wu，Q.，Jia，C.和Chen，W.（2007）。一种新的多类分类问题的分类拒绝域SVM。年，IEEE国际自然计算会议。
[28] Yuan，M.和Wegkamp，M.（2010）。基于凸风险最小化的拒绝期权分类方法。，机器学习研究杂志11 111-130·Zbl 1242.62066号
[29] Zhang，C.，Wang，W.和Qiao，X.（2017）。关于多类别分类中的拒绝和细化选项。，美国统计协会杂志·Zbl 1398.62172号
[30] 张涛（2004）。几种多类别大幅度分类方法的统计分析。，机器学习研究杂志5 1225-1251·Zbl 1222.68344号
[31] Zou，C.、hui Zheng，E.、wei Xu，H.和Chen，L.（2011）。具有拒绝选项的成本敏感多类SVM：一种汽轮发电机故障诊断方法。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。