×
王文波;乔兴业

误差率有界的集值支持向量机。 （英语） Zbl 07784950号

美国统计协会。 118，编号544，2847-2859（2023）.
摘要：本文关注的是谨慎的分类模型，这些模型允许预测一组类别标签，或者在预测的不确定性较高时拒绝进行预测。这种集值分类方法相当于接受域学习的任务，其目的是识别输入空间的子集，每个子集都保证以至少预定的概率覆盖类中的观测值。我们建议利用截断铰链损失和约束优化框架，通过风险最小化直接学习接受区域。我们的理论分析表明，这些接受区域同时满足两个特性：（a）它们保证用上界的非覆盖率覆盖每个类；（b） 在满足（a）的所有可接受区域中，它们给出的模糊预测最少。开发了一种有效的算法，并使用模拟数据和实际数据进行了数值研究。本文的补充材料可在网上获得。

MSC公司：

62至XX 统计

关键词：

接受域学习;谨慎分类;集值分类;统计学习理论;支持向量机

软件：

共形推理;随机森林
PDF格式BibTeX公司 XML格式引用
\textit{W.Wang}和\textit{X.Joao}，美国统计协会118，No.544，2847--2859（2023；Zbl 07784950）
全文： DOI程序 链接

参考文献：

[1] Altman，N.S.（1992），“内核和最近邻非参数回归简介”，《美国统计学家》，46175-185。
[2] Bartlett，P.L.、Jordan，M.I.和McAuliffe，J.D.（2006），“凸性、分类和风险边界”，《美国统计协会杂志》，101138-156。DOI:·Zbl 1118.62330号
[3] Bartlett，P.L.和Wegkamp，M.H.（2008），“使用铰链损失的拒绝选项分类”，《机器学习研究杂志》，第9期，1823-1840页·Zbl 1225.62080号
[4] Cannon，A.、Howse，J.、Hush，D.和Scovel，C.（2002），“使用内曼·皮尔逊和Min-Max标准学习”，洛斯阿拉莫斯国家实验室，技术代表LA-UR，02-2951。
[5] Ciarelli，P.M.和Oliveira，E.（2009年），“聚合和消除降维术语”，2009年第九届智能系统设计和应用国际会议，IEEE，第547-552页。内政部：。
[6] Cortes，C.和Vapnik，V.（1995），“支持向量网络”，机器学习，20273-297。DOI:·Zbl 0831.68098号
[7] Denis，C.和Hebiri，M.（2015），“半监督学习中分类的插入置信集的一致性”，arXiv预印本arXiv:1507.07235·Zbl 1435.62161号
[8] Denis，C.和Hebiri，M.（2017），“多类分类的预期大小的置信集”，《机器学习研究杂志》，183571-3598·Zbl 1441.62166号
[9] Dümbgen，L.、Igl，B.-W.和Munk，A.（2008），“分类的P值”，《电子统计杂志》，2468-493。DOI:·2018年6月13日
[10] Fürnkranz，J.和Hüllermier，E.（2010），《偏好学习：导论》，《偏好教学》，Fürn kranz and Hällermeier，E.编辑，第1-17页，柏林：施普林格出版社·Zbl 1214.68285号
[11] Guan，L.和Tibshirani，R.（2019），“预测和异常检测：一个具有平衡目标的无分布预测集”，arXiv预印本arXiv:1905.04396。
[12] Hechtlinger，Y.、Póczos，B.和Wasserman，L.（2018），“谨慎的深度学习”，arXiv预印本arXiv:1805.09460。
[13] Herbei，R.和Wegkamp，M.H.（2006），“拒绝选项分类”，《加拿大统计杂志》，34，709-721。DOI:·Zbl 1151.62302号
[14] Hoffgen，K.-U.、Simon，H.-U.和Vanhorn，K.S.（1995），“单个神经元的鲁棒训练性”，《计算机与系统科学杂志》，第50期，第114-125页。DOI:·Zbl 0939.68771号
[15] Hunter，D.R.和Lange，K.（2004），“MM算法教程”，《美国统计学家》，58，30-37。内政部：。
[16] Kimeldorf，G.S.和Wahba，G.（1970），“随机过程的贝叶斯估计与样条平滑之间的对应关系”，《数理统计年鉴》，41，495-502。DOI:·Zbl 0193.45201号
[17] Le Cessie，S.和Van Houwelingen，J.C.（1992），“Logistic回归中的岭估计”，应用统计学，41，191-201。DOI:·Zbl 0825.62593号
[18] Le Thi Hoai，A.和Tao，P.D.（1997），“用DC算法求解一类线性约束不定二次型问题”，《全局优化杂志》，第11期，第253-285页·Zbl 0905.90131号
[19] LeCun，Y.、Boser，B.、Denker，J.S.、Henderson，D.、Howard，R.E.、Hubbard，W.和Jackel，L.D.（1989），“反向传播应用于手写邮政编码识别”，神经计算，1541-551。内政部：。
[20] Lee，Y.，Lin，Y.和Wahba，G.（2004），“多类别支持向量机：微阵列数据和卫星辐射数据分类的理论和应用”，美国统计协会杂志，99，67-81。DOI:·Zbl 1089.62511号
[21] Lei，J.（2014），“有信心的分类”，《生物特征》，101755-769。DOI:·Zbl 1306.62143号
[22] Lei，J.、G'Sell，M.、Rinaldo，A.、Tibshirani，R.J.和Wasserman，L.（2018），“回归的无分布预测推断”，美国统计协会杂志，1131094-1111。DOI:·Zbl 1402.62155号
[23] Lei，J.、Robins，J.和Wasserman，L.（2013），“无分布预测集”，《美国统计协会杂志》，108，278-287。DOI:·Zbl 06158342号
[24] Liaw，A.和Wiener，M.（2002），“随机森林分类和回归”，R新闻，2，18-22。
[25] Manwani，N.、Desai，K.、Sasidharan，S.和Sundararajan，R.（2015），“基于双斜坡损失的拒绝选项分类器”，《亚太知识发现和数据挖掘会议》，Springer，第151-163页。
[26] O'Neil，C.（2016），《数学毁灭的武器：大数据如何增加不平等并威胁民主》，纽约：百老汇图书·Zbl 1441.00001号
[27] Platt，J.（1999），“支持向量机的概率输出和与正则化似然方法的比较”，大边缘分类器的进展，10，61-74。
[28] Rigollet，P.和Tong，X.（2011），“内曼-皮尔逊分类、凸性和随机约束”，《机器学习研究杂志》，第12期，第2831-2855页·Zbl 1280.62080号
[29] Sadinel，M.、Lei，J.和Wasserman，L.（2017年），“有界误差水平的最小模糊集值分类器”，《美国统计协会期刊》，第114223-224页。DOI:·Zbl 1478.62175号
[30] Scholkopf，B.和Smola，A.J.（2001），《使用内核学习：支持向量机、正则化、优化及其他》，马萨诸塞州剑桥：麻省理工学院出版社。
[31] Shafer，G.和Vovk，V.（2008），“构象预测的Rutorial”，《机器学习研究杂志》，9371-421·Zbl 1225.68215号
[32] Shekhar，S.、Ghavamzadeh，M.和Javidi，T.（2019），“限制弃权率的二进制分类”，arXiv预印本arXiv:1905.09561。
[33] Siebert，J.P.（1987），“使用基于规则的方法进行车辆识别”，技术报告。
[34] Tong，X.、Feng，Y.和Zhao，A.（2016），“Neyman-Pearson分类调查和未来研究建议”，威利跨学科评论：计算统计，8，64-81。内政部：。
[35] Vovk，V.、Nouretdinov，I.、Fedorova，V.，Petej，I.和Gammerman，A.（2017），“集值分类的效率标准”，《数学与人工智能年鉴》，81，21-46。DOI:·Zbl 1422.68208号
[36] Wang，J.、Shen，X.和Liu，Y.（2007），“大边缘分类器的概率估计”，《生物特征》，95149-167。DOI:·Zbl 1437.62648号
[37] Wang，W.和Qiao，X.（2018），“使用支持向量机学习置信集”，《神经信息处理系统进展》，第4929-4938页。
[38] Wu，Y.和Liu，Y..（2007），“鲁棒截断铰链损失支持向量机”，美国统计协会杂志，102974-983。DOI:·Zbl 1469.62293号
[39] Wu，Y.和Liu，Y..（2013），“自适应加权大幅度分类器”，《计算与图形统计杂志》，22，416-432。
[40] Wu，Y.、Zhang，H.H.和Liu，Y..（2010），“稳健无模型多类概率估计”，美国统计协会杂志，105，424-436。DOI:·Zbl 1397.62236号
[41] Yuan，M.和Wegkamp，M.（2010），“基于凸风险最小化的拒绝选项分类方法”，《机器学习研究杂志》，第11期，第111-130页·Zbl 1242.62066号
[42] Zhang，C.和Liu，Y.（2013），“多类别大边缘统一机器”，《机器学习研究杂志》，第14期，1349-1386页·Zbl 1317.68200号
[43] Zhang，C.，Wang，W.，and Qiao，X.（2017），“论多类别分类中的拒绝和细化选项”，《美国统计协会杂志》（已被接受）。DOI:·Zbl 1398.62172号
[44] Zhu，J.和Hastie，T.（2005），“核逻辑回归和导入向量机”，《计算与图形统计杂志》，第14期，第185-205页。内政部：。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。