巴蒂斯特·鲍文；塞西尔·卡波尼；罗伊，Jean-Francis；弗朗索瓦·拉维奥莱特 具有保证的快速贪婪（mathcal{C}）界最小化。 （英语） Zbl 1525.68110号 机器。学习。 109，编号9-10，1945-1986（2020）. 摘要：（mathcal{C}）界是一个紧界，它取决于多数票分类器的真实风险，该分类器依赖于投票者的个人素质和成对分歧，并提供了PAC-Bayesian泛化保证。基于这个界，MinCq是一种分类算法，它通过最小化来返回有限投票人集上的稠密分布。CqBoost后来引入并受到boosting的启发，它使用列生成方法在可能无限的投票人集中构建稀疏（mathcal{C}）界最优分布。然而，这两种方法都有很高的计算学习时间，因为它们通过求解二次规划来最小化（mathcal{C}）界。然而，CqBoost的一个优点是其提供稀疏解决方案的实验能力。在这项工作中，我们解决了加速（mathcal{C}）界极小化过程的问题，同时保持解的稀疏性并且不损失精度。我们提出了CB-Boost，这是一种基于贪婪boosting-based-（mathcal{C}）-界优化的高效分类算法。深入分析证明了贪婪最小化过程的最优性，并量化了该算法所操作的（mathcal{C}）-界的减少。然后根据已有的PAC-Baysian定理得出泛化保证。此外，与MinCq、CqBoost、Adaboost和其他集成方法相比，我们通过实验评估了CB-Boost的三个主要特性的相关性：准确性、稀疏性和计算效率。正如在这些实验中观察到的那样，CB-Boost不仅获得了与现有技术相当的结果，而且还提供了（mathcal{C}）界次优权重，计算需求很少，同时保持了CqBoost的稀疏性。 MSC公司： 68T05型 人工智能中的学习和自适应系统 2015年1月62日 贝叶斯推断 62H30型 分类和区分；聚类分析（统计方面） 90 C90 数学规划的应用 关键词：PAC-Bayes公司；增压；集合方法；贪婪优化 软件：MNIST公司；AdaBoost-SAMME公司；阿达·布斯特。MH公司；UCI-毫升；SHOGUN公司 PDF格式BibTeX公司 XML格式引用 \textit{B.Bauvin}等人，马赫。学习。109，编号9-1945-1986（2020；Zbl 1525.68110） 全文： 内政部 参考文献： [1] Breiman，L.，打包预测，机器学习，24，2，123-140（1996）·Zbl 0858.68080号 [2] Breiman，L.，《随机森林，机器学习》，45，1，5-32（2001）·Zbl 1007.68152号 [3] Catoni，O.（2007）。PAC-Baysian监督分类：统计学习的热力学。arXiv预打印arXiv:0712.0248·Zbl 1277.62015年 [4] Cortes，C.、Mohri，M.和Syed，U.（2014）。深度提升。摘自：第三十一届机器学习国际会议（ICML）会议记录（2014年）。 [5] Demiriz，A。；贝内特，KP；Shawe-Taylor，J.，通过列生成提升线性规划，机器学习，46，1，225-254（2002）·兹比尔0998.68105 [6] Dua，D.和Graff，C.（2017年）。UCI机器学习库。 [7] Dziugaite，G.K.和Roy，D.M.（2018年）。数据相关的PAC-Bayes通过不同的隐私保护提供了先验信息。摘自：《神经信息处理系统的进展》，第8440-8450页。 [8] 弗伦德，Y。；Schapire，RE，《在线学习的决策理论推广及其在助推中的应用》，《计算机与系统科学杂志》，55，1，119-139（1997）·Zbl 0880.68103号 [9] Friedman，JH，《贪婪函数近似：梯度提升机》，《统计年鉴》，29，5，1189-1232（2001）·Zbl 1043.62034号 [10] Germain，P.、Lacasse，A.、Laviolette，F.和Marchand，M.（2009年）。线性分类器的PAC-Baysian学习。摘自：第26届ICML会议记录，第353-360页。ACM公司。 [11] Germain，P。；拉卡斯，A。；Laviolette，F。；Marchand，M。；Roy，JF，《多数投票的风险界限：从PAC-Baysian分析到学习算法》，《机器学习研究杂志》，16，1787-860（2015）·Zbl 1337.68223号 [12] Lacasse，A.、Laviolette，F.、Marchand，M.、Germain，P.和Usunier，N.（2006年）。PAC-Bayes是多数票风险和Gibbs分类器方差的界。摘自：B.Schölkopf，J.C.Platt，T.Hoffman（编辑）《神经信息处理系统进展》19，第769-776页。麻省理工学院出版社。 [13] Lampert，C.H.、Nickisch，H.和Harmeling，S.（2009年）。学习通过类之间的属性转移来检测看不见的对象类。2009年IEEE计算机视觉和模式识别会议，第951-958页。电气与电子工程师协会。 [14] 柳叶刀，GRG；北卡罗来纳州克里斯蒂亚尼尼。；Bartlett，P。；LE Ghaoui；Jordan，MI，用半定规划学习核矩阵，机器学习研究杂志，5，27-72（2004）·Zbl 1222.68241号 [15] Langford，J.和Shawe-Taylor，J.（2003）。PAC Bayes和利润率。摘自：《神经信息处理系统的进展》，第439-446页。 [16] LeCun，Y.和Cortes，C.（2010年）。MNIST手写数字数据库。 [17] Marchand，M。；Taylor，JS，《集合覆盖机器》，《机器学习研究杂志》，3723-746（2003）·Zbl 1112.68392号 [18] McAllester，DA，一些PAC贝叶斯定理，机器学习，37,3355-363（1999）·Zbl 0945.68157号 [19] McAllester，DA，PAC-Baysian随机模型选择，机器学习，51，1，5-21（2003）·Zbl 1056.68122号 [20] 帕拉多·埃尔南德斯，E。；Ambroladze，A。；肖-泰勒，J。；Sun，S.，具有数据相关先验的PAC Bayes边界，《机器学习研究杂志》，133507-3531（2012）·Zbl 1433.68373号 [21] Roy，J.F.、Marchand，M.和Laviolette，F.（2016）具有PAC-Bayesian泛化保证的列生成边界最小化方法。摘自：A.Gretton，C.C.Robert（编辑）《第19届人工智能和统计国际会议论文集》，机器学习研究论文集，第51卷，第1241-1249页。西班牙加的斯PMLR。http://proceedings.mlr.press/v51/roy16.html。 [22] 夏皮雷，RE；Freund，Y.，《Boosting:基础与算法》（2012），剑桥：麻省理工学院出版社，剑桥·Zbl 1278.68021号 [23] Seeger，M.，PAC-高斯过程分类的贝叶斯泛化误差界，机器学习研究杂志，3，233-269（2002）·Zbl 1088.68745号 [24] 塞尔丁，Y。；塞萨·比安奇，N。；奥尔，P。；Laviolette，F。；Shawe-Taylor，J.，PAC-Bayes-bernstein鞅不等式及其在多武装匪徒中的应用，勘探与开发在线交易研讨会论文集，298-111（2012） [25] Sonnenburg，S。；Rätsch，G。；Schäfer，C。；Schölkopf，B.，《大规模多核学习》，《机器学习研究杂志》，第7期，第1531-1565页（2006年）·Zbl 1222.90072号 [26] LG Valiant，《可学习理论》，《ACM通信》，第27、11、1134-1142页（1984年）·Zbl 0587.68077号 [27] 朱，J。；Rosset，S。；邹，H。；Hastie，T.，多类adaboost，统计学及其接口（2006） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。