×

在决策树归纳中增强单调性的秩判别措施。 (英语) Zbl 1355.68232号

摘要:单调分类是机器学习中一个相对较新的主题,其中要求学习的分类函数保证类相对于属性值的单调性。然而,实际数据集远远不是单调的,这会严重限制纯单调分类器的性能,而标准分类器对单调性则不敏感。在这里,我们重点讨论了在决策树归纳中使用的秩判别测度,即,考虑到类相对于属性的单调性,能够度量属性相对于类的判别能力的函数。详细研究了三种新的度量,并导出了一个层次结构模型,该模型允许对一般秩判别度量进行形式化定义。我们的测量结果已与其他众所周知的建议进行了比较,量化了所得二元决策树分类器的准确性和单调性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Aczél,J。;Daróczy,Z.,《信息测度及其表征》(数学科学与工程,115(1975),学术出版社:纽约/旧金山/伦敦学术出版社)·兹伯利0345.94022
[2] Ben-David,A.,信息理论机器学习算法中的单调性维护,机器学习。,19, 29-43 (1995)
[3] Ben-David,A。;斯特林,L。;Pao,Y.H.,单调序数概念的学习和分类,计算机。智力。,5, 1, 45-49 (1989)
[4] Ben-David,A。;斯特林,L。;Tran,T.,向学习算法添加单调性可能会降低其准确性,专家系统。申请。,36,3,第2部分,6627-6634(2009)
[6] 布雷曼,L。;弗里德曼,J。;斯通,C.J。;Olshen,R.A.,《分类和回归树》(1984),查普曼和霍尔/CRC:查普曼与霍尔/CRC博卡拉顿·Zbl 0541.62042号
[8] Cao-Van,K。;De Baets,B.,《排名的一致表示法》,(De Swart,H.;Orlowska,E.;Schmidt,G.;Roubens,M.,《关系结构作为知识工具的理论和应用》。《关系结构用作知识工具的原理和应用》,计算机科学讲义,第2929卷(2003年),施普林格:施普林格-柏林/海德堡), 1966-1967 ·Zbl 1029.00017号
[9] Cao-Van,K。;De Baets,B.,《在有序环境中生长决策树》,《国际情报杂志》。系统。,18, 7, 733-750 (2003) ·Zbl 1048.68066号
[10] Cieslak,D.A。;Chawla,N.V.,《非平衡数据的学习决策树》(Daelemans,W.;Goethals,B.;Morik,K.,《数据库中的机器学习和知识发现》,《计算机科学讲义》,第5211卷(2008),Springer:Springer Berlin,Heidelberg),241-256
[11] Demšar,J.,《多数据集分类器的统计比较》,《机器学习研究杂志》,7,1-30(2006)·Zbl 1222.68184号
[14] Greco,S。;马塔拉佐,B。;Slowinski,R.,《优势关系的粗糙近似》,《国际情报杂志》。系统。,17, 2, 153-171 (2002) ·兹比尔0997.68135
[15] Greco,S。;马塔拉佐,B。;Slowinski,R.,《在多属性和标准存在的情况下排序问题的粗糙集方法》,欧洲期刊Oper。研究,138,2,247-259(2002)·Zbl 1008.90509号
[16] Greco,S。;马塔拉佐,B。;Slowinski,R.,《基于粗糙集方法的客户满意度分析》,蔡氏资本,77325-339(2007)
[17] 胡,Q。;Che,X。;张,L。;张,D。;郭,M。;Yu,D.,基于秩熵的单调分类决策树,IEEE Trans。知识。数据工程,24,11,2052-2064(2012)
[18] 胡,Q。;郭,M。;Yu,D。;刘杰,有序分类的信息熵,中国科学通报。科学。,53, 1188-1200 (2010) ·Zbl 1497.62023号
[19] 胡,Q。;潘·W。;张,L。;张,D。;Song,Y。;郭,M。;Yu,D.,单调分类的特征选择,IEEE Trans。模糊系统。,20, 1, 69-81 (2012)
[20] Hüllermier,E。;Vanderlooy,S.,为什么模糊决策树是好的等级,IEEE Trans。模糊系统。,17, 6, 1233-1244 (2009)
[22] 留置权,S。;De Baets,B.,监督WEKA环境中的排名,Inform。科学。,180, 24, 4763-4771 (2010) ·Zbl 1206.68257号
[23] Makino,K。;苏达,T。;小野,H。;Ibaraki,T.,《基于正决策树的数据分析》,IEICE信息与系统交易,E82-D,1,76-88(1999)
[27] 马萨拉,C。;Petturiti,D.,等级判别测度的层次模型,(van der Gaag,L.C.,《用符号和定量方法进行不确定性推理》,《用不确定性进行推理的符号和量化方法》,《计算机科学讲义》,第7958卷(2013),施普林格:施普林格柏林,海德堡),412-423·Zbl 1390.68546号
[28] 米尔斯坦,I。;Ben-David,A。;Potharst,R.,生成有噪序数单调数据集,Artif。智力。决议,3,1(2014年)
[29] 波查斯特,R。;Bioch,J.C.,用于顺序分类的决策树,Intell。数据分析。,4, 2, 97-111 (2000) ·Zbl 1088.68740号
[30] 波查斯特,R。;Feelders,A.J.,单调约束问题的分类树,SIGKDD Explor。纽斯利特。,4, 1, 1-10 (2002)
[31] Quinlan,J.R.,C4.5:机器学习课程(1993),摩根考夫曼出版社:摩根考夫曼出版社,美国加利福尼亚州旧金山
[32] 雷德梅克,M。;De Baets,B.,关于累积标签频率损失函数的随机单调性的最佳恢复,Inform。科学。,181, 4, 747-757 (2011)
[34] 范德坎普,R。;塞尺,A。;Barile,N.,《等渗分类树》(Adams,N.M.;Robardt,C.;Siebes,A.;Boulicaut,J.-F.,《智能数据分析进展》VIII.《智能数据研究进展》VIII,《计算机科学讲义》,第5772卷(2009),Springer:Springer Berlin,Heidelberg),405-416
[35] Velikova,M。;Daniels,H.,单调价格模型的决策树,计算。管理。科学。,1, 231-244 (2004) ·Zbl 1115.91314号
[36] Velikova,M。;丹尼尔斯,H。;Samulski,M.,《应用于乳房X光片乳腺癌检测的部分单调网络》(Kurková,V.;Neruda,R.;Koutník,J.,《人工神经网络-ICANN 2008》)。人工神经网络-ICANN 2008,计算机科学讲义,第5163卷(2008),施普林格:施普林格柏林/海德堡),917-926
[38] 夏,F。;张,W。;李,F。;Yang,Y.,使用决策树进行排名,Knowl。通知。系统。,17, 3, 381-395 (2008)
[39] 袁,Y。;Shaw,M.J.,模糊决策树的归纳,模糊集系统。,69, 2, 125-139 (1995)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。