×

基于熵和泛化误差估计的多类支持向量机高效决策树。 (英语) Zbl 1452.68151号

摘要:我们提出了使用树结构进行多类分类的支持向量机的新方法。在树的每个节点中,我们使用熵和泛化误差估计选择合适的二元分类器,然后根据选择的分类器将示例分为正负类,并训练一个新分类器用于分类阶段。所提出的方法可以在时间复杂度介于(O(log_2N)和(O(N)之间工作,其中(N)是类的数量。我们使用10倍交叉验证将我们的方法与UCI机器学习存储库上的传统技术进行了性能比较。实验结果表明,这些方法对于需要快速分类或具有大量类的问题非常有用,因为所提出的方法比传统技术运行速度快得多,但仍具有相当的准确性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

SVM灯UCI-毫升
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bala,M.和Agrawal,R.K.(2011年)。基于最优决策树的多类支持向量机,Informatica 35(2):197-209·Zbl 1242.68203号
[2] Bartlett,P.L.和Shawe-Taylor,J.(1999)。支持向量机和其他模式分类器的泛化性能,见B.Schölkopf等人(编辑),《内核方法的进展》,麻省理工学院出版社,马萨诸塞州剑桥,第43-54页。;
[3] Blake,C.L.和Merz,C.J.(1998年)。加州大学欧文分校机器学习数据库UCI知识库,http://archive.ics.uci.edu/ml/。
[4] Bredensteiner,E.J.和Bennett,K.P.(1999)。基于支持向量机的多类别分类,计算优化12(1-3):53-79·Zbl 1040.90574号
[5] Burges,C.J.C.(1998年)。模式识别、数据挖掘和知识发现支持向量机教程2(2):121-167。;
[6] Chen,J.、Wang,C.和Wang,R.(2009)。用于快速SVM多类分类的自适应二叉树,神经计算72(13-15):3370-3375。;
[7] Cheong,S.、Hoon Oh,S.和Lee,S.-Y.(2004)。具有二叉树结构的支持向量机用于多类分类,神经信息处理Letters 2(3):47-51。;
[8] Chmielnicki,W.和Sta˛por,K.(2016)。使用带有样本平衡的一对一策略来改进成对耦合分类,《国际应用数学与计算机科学杂志》26(1):191-201,DOI:10.1515/amcs-2016-013·兹比尔1341.62175
[9] Crammer,K.和Singer,Y.(2002年)。关于多类问题的可学习性和输出代码的设计,机器学习47(2-3):201-233·Zbl 1012.68155号
[10] Dong,C.、Zhou,B.和Hu,J.(2015)。使用相似聚类的基于SVM的分层多类分类,国际神经网络联合会议,爱尔兰基拉尼,第1-6页。;
[11] Fei,B.和Liu,J.(2006)。SVM的二叉树:一种新的快速多类训练和分类算法,IEEE神经网络汇刊17(3):696-704。;
[12] Friedman,J.(1996)。多光子分类的另一种方法,技术报告,斯坦福大学,加利福尼亚州斯坦福。;
[13] García,S.、Fernández,a.、Luengo,J.和Herrera,F.(2010年)。计算智能和数据挖掘实验设计中多重比较的高级非参数测试:权力的实验分析,《信息科学》180(10):2044-2064。;
[14] Hastie,T.和Tibshirani,R.(1998年)。按两两耦合分类,《统计学年鉴》26(2):451-471·Zbl 0932.62071号
[15] Hsu,C.和Lin,C.(2002)。多类支持向量机方法的比较,IEEE神经网络汇刊13(2):415-425。;
[16] Joachims,T.(1999)。使大规模SVM学习实用,B.Schölkopf等人(编辑),《核方法的进展——支持向量学习》,麻省理工学院出版社,马萨诸塞州剑桥。;
[17] Kijsirikul,B.,Ussivakulz,N.和Road,P.(2002年)。使用自适应有向无环图的多类支持向量机,神经网络国际联合会议,美国夏威夷州火奴鲁鲁,第980-985页。;
[18] Knerr,S.、Personnaz,L.和Dreyfus,G.(1990年)。重温单层学习:构建和训练神经网络的逐步过程,神经计算68(68):41-50。;
[19] Kumar,M.A.和Gopal,M.(2010年)。使用基于决策树的一对一方法的快速多类SVM分类,神经处理字母32(3):311-323。;
[20] Kumar,M.A.和Gopal,M.(2011年)。多类支持向量机分类的简化一对多方法,应用专家系统38(11):14238-14248。;
[21] Lei,H.和Govindaraju,V.(2005)。半反半类多类支持向量机,收录于N.C.Oza等人(编辑),多分类器系统,MCS 2005,计算机科学讲义,第3541卷,Springer,柏林/海德堡,第156-164页。;
[22] Liu,B.,Cao,L.,Yu,P.S.和Zhang,C.(2008)。用于多类分类的多空间映射SVM,第八届IEEE数据挖掘国际会议论文集,美国华盛顿特区,第8卷,第911-916页。;
[23] Madzarov,G.、Gjorgjevikj,D.和Chorbev,I.(2009年)。利用二叉决策树支持向量机进行模式识别的多类SVM分类器,电气工程33(1):233-241·Zbl 1192.68590号
[24] Platt,J.、Cristianini,N.和Shawe-Taylor,J.(2000)。用于多类分类的大幅度DAG,S.A.Solla等人(编辑),《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,第547-553页。;
[25] Songsiri,P.、Kijsirikul,B.和Phetkaew,T.(2008)。基于信息的双旋翼机:一种用于多类支持向量机的方法,IEEE国际神经网络联合会议,中国香港,第3284-3291页。;
[26] Songsiri,P.、Phetkaew,T.和Kijsirikul,B.(2015)。使用泛化性能增强二进制学习器的多类支持向量机构建,神经计算151(P1):434-448。;
[27] Takahashi,F.和Abe,S.(2002年)。基于决策树的多类支持向量机,第九届神经信息处理国际会议论文集,ICONIP’02,新加坡,新加坡,第3卷,第1418-1488页。;
[28] Vapnik,V.N.(1998)。统计学习理论,John Wiley&Sons,纽约州纽约市·Zbl 0935.62007号
[29] Vapnik,V.N.(1999)。统计学习理论概述,IEEE神经网络汇刊10(5):988-99。Vapnik V.N.,C.A.(1974年)。Teoriya Raspoznavaniya Obrazov:统计学问题Obucheniya(模式识别理论:学习的统计问题),瑙卡,莫斯科·Zbl 0284.68070号
[30] Yang,X.,Yu,Q.,He,L.和Guo,T.(2013)。用于多类分类的基于一对所有分区的二叉树支持向量机算法,神经计算113(3):1-7。;
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。