×
克莱顿·斯科特

校准不对称替代损失。 （英语） Zbl 1335.62108号

电子。J.统计。 6, 958-992 (2012).
摘要：替代损失是众多最先进的二进制分类算法的基础，例如支持向量机和boosting。在对称分类设置中，替代损失对算法统计性能的影响得到了很好的理解，其中误分类成本相等，损失是利润损失。特别是，已知分类校准损失意味着一致性等理想属性。尽管已经做出了许多努力来将基于替代损失的算法扩展到不对称设置，以处理不平等的错误分类成本或训练数据不平衡，但人们对修改后的损失是否仍在某种意义上进行校准的关注要少得多。本文将分类校准损失理论扩展到不对称问题。与对称情况一样，经校准的非对称替代损失会产生超额风险边界，从而控制超额替代风险的预期误分类成本。该理论以非均匀边际损失为例，详细讨论了非均匀铰链损失、平方误差损失、指数损失和S形损失。

引用于5文件

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统

关键词：

替代损失；分类已校准；成本敏感分类；不平衡数据；不均匀边缘；超额风险界限

软件：

阿达成本
PDF格式BibTeX公司 XML格式引用
\textit{C.Scott}，电子。J.Stat.6，958-992（2012；Zbl 1335.62108）
全文： 内政部 欧几里得

参考文献：

[1] 巴赫·F·R、赫克曼·D和霍维茨·E（2006）。考虑到分类器学习中的成本不对称。，机器学习研究杂志1713-1741·Zbl 1222.68137号
[2] Bartlett，P.、Jordan，M.和McAuliffe，J.（2006年）。凸性、分类和风险边界。，J.Amer。统计师。协会101 138-156·兹比尔1118.62330 ·doi:10.1198/01621450000000907
[3] Blanchard，G.、Lugosi，G.和Vayatis，N.（2003年）。关于正则化boosting分类器的收敛速度。，J.机器学习研究4 861-894·Zbl 1083.68109号 ·doi:10.1162/1532443041424319
[4] Chew，H.G.、Bogner，R.E.和Lim，C.C.（2001年）。具有错误率和训练大小偏差的双支持向量机。程序中。IEEE声学、语音和信号处理国际会议2 1269-1272。
[5] Fan，W.、Stolfo，S.、Zhang，J.和Chan，P.（1999）。AdaCost：错误分类成本敏感型提升。年，第十六届机器学习年会（ICML'99）会议记录97-105。Morgan Kaufmann，加利福尼亚州旧金山。
[6] Guo，H.和Viktor，H.（2004）。通过增强和数据生成从不平衡数据集中学习：DataBoost-IM方法。，SIGKDD探索。新闻。6 30-39.
[7] He，J.和Thiesson，B.（2007年）。非对称梯度增强与垃圾邮件过滤应用。在电子邮件和反垃圾邮件会议。
[8] 伊玛目T.、丁K.和坎鲁扎曼J.（2006年）。z-SVM：一种用于改进不平衡数据分类的SVM。年，《人工智能2006：人工智能进展》（A.Sattar和B.Kang编辑）。计算机科学课堂讲稿264-273。施普林格-柏林/海德堡。
[9] Karakoulas，G.和Shawe-Taylor，J.（1999）。针对不平衡训练集优化分类器。年，《1998年神经信息处理系统进展会议论文集》253-259。麻省理工学院出版社，美国马萨诸塞州剑桥。
[10] Li，Y.和Shawe-Taylor，J.（2003）。不等边距SVM与中文文档分类。年，第17届亚太语言、信息和计算会议论文集216-227。
[11] Li，Y.，Zaragoza，H.，Herbrich，R.，Shawe-Taylor，J.和Kandola，J.（2002）。边缘不均匀的感知器算法。在，《第十九届国际机器学习会议论文集》379-386。
[12] Lin，Y.、Lee，Y.和Wahba，G.（2002）。支持向量机在非标准情况下的分类。，机器学习46 191-202·Zbl 0998.68103号 ·doi:10.1023/A:1012406528296
[13] Lozano，A.C.和Abe，N.（2008）。多类成本敏感型提升，p-范数损失函数。第14届ACM SIGKDD知识发现和数据挖掘国际会议（506-514）。ACM。
[14] Lugosi，G.和Vayatis，N.（2004年）。关于正则化boosting方法的Bayes风险一致性。，统计年鉴32 30-55·Zbl 1105.62319号 ·doi:10.1214/aos/1079120129
[15] Mannor，S.、Meir，R.和Zhang，T.（2003）。分类贪婪算法——一致性、收敛速度和适应性。，机器学习研究杂志4 713-742·Zbl 1105.68388号 ·doi:10.1162/153244304773936108
[16] Masnadi-Shirazi，H.和Vasconcelos，N.（2007年）。不对称增压。年，机器学习国际会议论文集609-619。
[17] Masnadi-Shirazi，H.和Vasconcelos，N.（2009年）。关于分类损失函数的设计：理论、对异常值的鲁棒性和SavageBoost。年，《神经信息处理系统进展》21（D.Koller、D.Schuurmans、Y.Bengio和L.Bottou，eds.）1049-1056。
[18] Masnadi-Shirazi，H.和Vasconcelos，N.（2010年）。风险最小化、概率引出和成本敏感SVM。年，《第27届机器学习国际会议论文集》（J.Fürnkranz和T.Joachims，eds.）759-766。以色列海法全能女郎。
[19] Mason，L.、Baxter，J.、Bartlett，P.和Frean，M.（2000）。将算法提升为梯度下降。年，神经信息处理系统进展12 512-518。麻省理工学院出版社。
[20] Merler，S.、Furlanello，C.、Larcher，B.和Sboner，A.（2003）。成本敏感Boosting中的自动模型选择。，信息融合4 3-10·Zbl 0980.68870号
[21] Nock，R.和Nielsen，F.（2009年）。关于分类校准代理的有效最小化。年，《神经信息处理系统进展》21（D.Koller，ed.）1201-1208。
[22] Osuna，E.E.、Freund，R.和Girosi，F.（1997年）。支持向量机：培训和应用技术报告，A.I.备忘录第1602号，麻省理工学院人工智能实验室。，
[23] Reid，M.D.和Williamson，R.C.（2009年）。适当损失的代孕后悔界限。年，第26届国际机器学习年会论文集897-904。
[24] Reid，M.D.和Williamson，R.C.（2010年）。复合二进制损耗。，J.机器学习研究11 2387-2422·Zbl 1242.62058号
[25] Reid，M.和Williamson，R.（2011年）。二进制实验的信息、分歧和风险。，J.机器学习研究12 731-817·Zbl 1280.68192号
[26] Rockafellar，R.T.（1970）。，凸分析。普林斯顿大学出版社，新泽西州普林斯顿·Zbl 0193.18401号
[27] Santos-Rodríguez，R.、Guerrero-Curies，A.、Alaiz-Rodrígue，R.和Cid-Sueiro，J.（2009）。基于Bregman分歧的成本敏感学习。，机器学习杂志76 271-285。
[28] Scott，C.（2011）。成本敏感分类的替代损失和后悔界限（具有示例相关成本）。年，《第28届国际机器学习会议（ICML）论文集》（L.Getoor和T.Scheffer编辑）697-704。全能女。
[29] Seiffert，C.、Khoshgoftaar，T.M.、Hulse，J.V.和Napolitano，A.（2010年）。RUSBoost：缓解阶级失衡的混合方法。，《系统、人与控制论》，A部分：系统与人，IEEE汇刊，第40期，185-197页。
[30] Steinwart，I.（2005）。支持向量机和其他正则化核分类器的一致性。，IEEE传输。通知。理论51 128-142·Zbl 1304.62090号 ·doi:10.1109/TIT.2004.839514
[31] 斯坦瓦特，I.（2007）。如何比较不同的损失函数及其风险。，构造近似值26 225-287·Zbl 1127.68089号 ·doi:10.1007/s00365-006-0662-3
[32] Steinwart，I.和Christmann，A.（2008）。，支持向量机。斯普林格·Zbl 1203.68171号
[33] 孙毅（2007）。不平衡数据分类的成本敏感增强。，模式识别40 3358-3378·Zbl 1122.68505号 ·doi:10.1016/j.patcog.2007.04.009
[34] Sun，Y.、Wong，A.和Wang，Y.（2005）。成本敏感Boosting算法的参数推断。在，模式识别中的机器学习和数据挖掘，（P.Perner和A.Imiya编辑）。计算机科学课堂讲稿642-642。施普林格-柏林/海德堡。
[35] Tewari，A.和Bartlett，P.（2007年）。关于多类分类方法的一致性。，机器学习研究8 1007-1025·Zbl 1222.62079号
[36] Ting，K.M.（2000）。成本敏感型升压算法的比较研究。年，第十七届机器学习年会（ICML'00）983-990。Morgan Kaufmann，加利福尼亚州旧金山。
[37] Veropoulos，K.、Campbell，C.和Cristianini，N.（1999）。控制支持向量机的灵敏度。年，《国际人工智能联合会议论文集》55-60。
[38] Viola，P.和Jones，M.（2002年）。使用不对称AdaBoost和检测器级联的快速鲁棒分类。年，《神经信息处理系统进展》14（T.G.Dietterich，S.Becker和Z.Ghahramani，eds.）。麻省理工学院出版社，马萨诸塞州剑桥。
[39] Wang，B.X.和Japkowicz，N.（2008）。为不平衡数据集提升支持向量机。年，第17届智能系统基础国际会议论文集。ISMIS’08 38-47。斯普林格·弗拉格。
[40] Wang，P.，Shen，C.，Barnes，N.，Zheng，H.和Ren，Z.（2011年）。实时目标检测的非对称全校正增强。年，《计算机视觉ACCV 2010》（R.Kimmel、R.Klette和A.Sugimoto编辑）。计算机科学课程讲稿176-188。施普林格-柏林/海德堡。
[41] Wu，X.和Srihari，R.K.（2003）。新的支持向量机及其序列最小优化。在《第20届国际机器学习大会论文集》（T.Fawcett和N.Mishra编辑）824-831中。AAAI出版社。
[42] Yang，C.、Yang，J.和Wang，J..（2009年）。SVM类平衡学习中的边缘校正。，神经计算73 397-411。
[43] Zhang，T.（2004年a）。几种多类别大幅度分类方法的统计分析。，J.机器学习研究5 1225-1251·Zbl 1222.68344号
[44] Zhang，T.（2004年b）。基于凸风险最小化的分类方法的统计行为和一致性。，统计年鉴32 56-85·Zbl 1105.62323号 ·doi:10.1214/aos/1079120130
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。