张彤 基于凸风险最小化的分类方法的统计行为和一致性。 （英语） Zbl 1105.62323号 Ann.统计。 32，第1期，第56-85页（2004年）. 摘要：我们研究了使用分类算法（该算法通过最小化分类错误函数的凸上界来计算分类器）近似达到最佳贝叶斯错误率的程度。贴近度的测量以估计中使用的损失函数为特征。我们表明，这种分类方案通常可以被视为（非最大似然）条件类内概率估计，并且我们使用这种分析来比较文献中出现的各种凸损失函数。此外，理论见解使我们能够设计出具有理想性质的良好损失函数。我们分析的另一个方面是使用凸风险最小化证明某些分类方法的一致性。该研究揭示了最近提出的一些线性分类方法（包括boosting和支持向量机）的良好性能。它还显示了它们的局限性，并提出了可能的改进建议。 引用于6评论引用于141文件 MSC公司： 2015年1月62日 贝叶斯推断 62小时30分 分类和区分；聚类分析（统计方面） 关键词：分类;一致性;增压;大利润方法;内核方法 软件：阿达·布斯特。MH公司 PDF格式BibTeX公司 XML格式引用 \textit{T.Zhang}，Ann.Stat.32，No.1，56--85（2004；Zbl 1105.62323） 全文： 内政部 欧几里得 参考文献： [1] Bregman，L.M.（1967）。寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用。美国科学院计算数学和数学物理7 200–217·Zbl 0186.23807号 [2] Breiman，L.（1998）。电弧分类器（带讨论）。安。统计师。26 801–849. ·Zbl 0934.62064号 ·doi:10.1214/aos/1024691079 [3] Breiman，L.（1999）。预测游戏和电弧算法。神经计算11 1493–1517。 [4] Breiman，L.（2000）。预测系综的一些无穷大理论。技术报告577，加州大学伯克利分校统计系。 [5] Bühlmann，P.和Yu，B.（2003）。（L_2）损失增加：回归和分类。J.Amer。统计师。协会98 324–339·Zbl 1041.62029号 ·doi:10.198/01621403000125 [6] Freund，Y.和Schapire，R.E.（1997）。在线学习的决策理论推广及其在助推中的应用。J.计算。系统科学。55 119–139. ·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [7] Friedman，J.、Hastie，T.和Tibshirani，R.（2000年）。加性logistic回归：提升的统计观点（附讨论）。安。统计师。28 337–407. ·Zbl 1106.62323号 ·doi:10.1214/aos/1016218223 [8] Leshno，M.，Lin，Ya。V.、Pinkus，A.和Schocken，S.（1993年）。具有非多项式激活函数的多层前馈网络可以逼近任何函数。神经网络6 861–867。 [9] Lugosi，G.和Vayatis，N.（2004年）。正则化boosting方法的Bayes-risk一致性。安。统计师。32 30–55. ·Zbl 1105.62319号 ·doi:10.1214/aos/1079120129 [10] Mannor，S.、Meir，R.和Zhang，T.（2002）。贪婪分类算法的一致性。程序中。第十五届计算学习理论年会。计算机课堂讲稿。科学。2375 319–333. 纽约州施普林格·Zbl 1050.68581号 [11] Rockafellar，R.T.（1970）。凸分析。普林斯顿大学出版社·Zbl 0193.18401号 [12] Rudin，W.（1987）。Real and Complex Analysis，第三版，McGraw-Hill，纽约·Zbl 0925.00005 [13] Schapire，R.E.、Freund，Y.、Bartlett，P.和Lee，W.S.（1998）。提高利润率：投票方法有效性的新解释。安。统计师。26 1651年至1686年·Zbl 0929.62069号 ·doi:10.1214/aos/1024691352 [14] Schapire，R.E.和Singer，Y.（1999）。使用可信度预测改进了提升算法。机器学习37 297–336·Zbl 0945.68194号 ·doi:10.1023/A:1007614523901 [15] Steinwart，I.（2002）。支持向量机是普遍一致的。J.复杂性18 768–791·Zbl 1030.68074号 ·doi:10.1006/jcom.2002.0642 [16] Vapnik，V.N.（1998）。统计学习理论。纽约威利·Zbl 0935.62007号 [17] Wahba，G.（1990年）。观测数据的样条曲线模型。费城SIAM·Zbl 0813.62001号 [18] 张涛（2001）。一种脱离交叉验证，适用于学习中应用的内核方法。程序中。第十四届计算学习理论年会427-443。纽约州施普林格·Zbl 0992.68113号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。