×

全决策树的泛化能力分析。 (俄语、英语) Zbl 1313.68194号

Zh公司。维奇尔。Mat.Mat.Fiz公司。 54,第6期,1033-1047(2014); 计算中的翻译。数学。数学。物理学。54,第6期,1046-574(2014)。
总结:研究了基于全决策树的分类算法。由于考虑了决策树的构造,所以在每个特殊顶点处都考虑了满足分支准则的所有特征。应用边缘理论估计了完整决策树的泛化能力。在实际问题中表明,构建完整的决策树会增加学习对象的边界;此外,具有正边界的对象的数量也增加了。结果表明,完全决策树的经验Rademacher复杂度低于经典决策树。

MSC公司:

68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
68T05型 人工智能中的学习和自适应系统

软件:

4.5条
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Yu I.Zhuravlev,《关于识别和分类问题的代数方法》,5-68(1978),莫斯科·Zbl 0426.68092号
[2] 于。I.Zhuravlev、V.V.Ryazanov和O.V.Senko,《模式识别:数学方法、软件系统和应用》(Fazis,莫斯科,2006)[俄语]。
[3] E.V.Djukova和N.V.Peskov,“基于完整决策树的分类算法”,模式识别。图像分析。17, 363-367 (2007). ·doi:10.1134/S1054661807030030
[4] V.I.Donskoi和A.I.Bashta,《不完全数据决策的离散模型》(Tavriya,Simferopol,1992),第33-74页。
[5] Genrikhov,I.E.,《基于算法C4.5构建完整决策树》(2009),莫斯科
[6] J.R.Quinlan,C4.5:机器学习程序(Morgan Kaufmann,San Mateo,CA,1993)。
[7] I.E.Genrikhov,“基于完整决策树的识别过程的综合与分析”,模式识别。图像分析。21, 45-51 (2011). ·doi:10.1134/S105466181101007X
[8] I.E.Genrikhov和E.V.Djukova,“基于完整决策树的分类”,计算。数学。数学。物理学。52, 653-663 (2012). ·兹比尔1274.68383 ·doi:10.1134/S0965542512040082
[9] I.E.Genrikhov,“基于完全决策树的识别过程过拟合研究”,程序。生产姐妹。96(4), 141-147 (2011).
[10] L.Breiman,“随机森林”,机器学习45(1),5-32(2001)·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[11] 霍姆斯,G。;普法林格,B。;柯克比,R。;E.弗兰克。;Hall,M.,《多类交替决策树》,105-122(2002),柏林·Zbl 1014.68754号
[12] V.N.Vapnik和A.Ya。Chervonenkis,模式识别理论(Nauka,莫斯科,1974)[俄语]·Zbl 0284.68070号
[13] K.V.Vorontsov,数学和物理博士论文(莫斯科,2010年)。
[14] L.I.Kuncheva,结合模式分类器方法和算法(Wiley,纽约,2004)·Zbl 1066.68114号 ·数字对象标识代码:10.1002/0471660264
[15] R.E.Schapire、Y.Freund、W.S.Lee和P.L.Bartlett,“提高利润率:投票方法有效性的新解释”,《美国统计年鉴》第26卷第1651-1686页(1998年)·Zbl 0929.62069号 ·doi:10.1214/aos/1024691352
[16] L.Mason,“边缘和组合分类器”,澳大利亚国立大学哲学博士学位论文(1999年),第118页。
[17] C.J.C.Burges,“模式识别支持向量机教程”,《数据挖掘知识发现2(2)》,121-167(1998)。 ·doi:10.1023/A:1009715923555
[18] P.L.Bartlett,“对于有效的泛化,权重的大小比网络的大小更重要”,《高级神经信息程序》。系统。9, 134-140 (1997).
[19] M.Golea、P.L.Bartlett、W.S.Lee和L.Mason,“决策树和DNF中的泛化:大小重要吗?”。系统。10, 259-265 (1998).
[20] L.Mason、P.L.Bartlett和M.Golea,“组合分类器的泛化错误”,计算。系统。科学。65, 415-438 (2002). ·Zbl 1059.68093号 ·doi:10.1006/jcss.2002.1854
[21] N.Sauer,“关于集合族的密度”,组合理论。A 13,145-147(1972)·Zbl 0248.0505号 ·doi:10.1016/0097-3165(72)90019-2
[22] A.亚松森和D.纽曼,网址:http://www.ics.uci.edu/mlearn/MLRepository.html(加州大学信息与计算机科学学院,欧文,2007年)。
[23] V.Koltchinskii,“Rademacher惩罚和结构风险最小化”,IEEE Trans。《Inf.Theory》第47期,1902-1914(2001)·Zbl 1008.62614号 ·doi:10.109/18.930926
[24] V.Koltchinski和D.Panchenko,“经验裕度分布和组合分类器泛化误差的边界”,Ann.Stat.30(1),1-50(2002)·兹比尔1012.62004
[25] Lozano,F.,《使用Rademacher惩罚的模型选择》(2000年),柏林
[26] P.L.Bartlett和S.Mendelson,“Rademacher和Gaussian复杂性:风险边界和结构结果”,《机器学习研究杂志》第3期,第463-482页(2002年)·Zbl 1084.68549号
[27] McDiarmid,C。;Siemons,J.(编辑),《关于有界差分法》,第141期,第148-188页(1989年),剑桥·Zbl 0712.05012号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。