×

使用标准偏最小二乘进行分类的增强随机森林。 (英语) Zbl 07531815号

摘要:最近,针对分类问题,人们推导出了随机森林的几种变体,其中轮作森林是提高模型准确性的一种重要类型。在本文中,我们提出了一种简单有效的旋转森林变异方法,即使用标准偏最小二乘算法旋转树的可变空间,然后将所有树组合成一个“森林”在20个基准数据集上的实验结果表明,与随机森林和旋转森林相比,该方法具有更好的预测性能。

MSC公司:

62至XX 统计
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Benavoli,A。;Corani,G。;Mangili,F.,我们真的应该使用基于平均水平的事后测试吗?,机器学习研究杂志,17,1-10(2016)·Zbl 1360.62208号
[2] 布拉泽(R.Blaser)。;Fryzlewicz,P.,《随机旋转系综》,《机器学习研究杂志》,17,1-26(2016)·Zbl 1360.68666号
[3] 博克,K.W.D。;Poel,D.V.D.,《基于旋转的集成分类器用于客户流失预测的实证评估》,《应用专家系统》,38,12293-301(2011)·doi:10.1016/j.eswa.2011.04.007
[4] Breiman,L.,《随机森林》,机器学习,45,1,5-32(2001)·兹比尔1007.68152 ·doi:10.1023/A:1010933404324
[5] 布雷曼,L。;弗里德曼,J。;斯通,C.J。;Olshen,R.A。;Charles,S.J.,分类和回归树。《对应分析》(1984),纽约:学术出版社,纽约·Zbl 0541.62042号
[6] Chang,C.C。;Lin,C.J.,Libsvm:支持向量机库,ACM智能系统与技术汇刊,2,3,1-27(2011)·数字对象标识代码:10.1145/1961189.1961199
[7] Chun,H。;Keleš,S.,《同时降维和变量选择的稀疏偏最小二乘回归》,《皇家统计学会杂志:B辑(统计方法)》,72,1,3-25(2010)·Zbl 1411.62184号 ·文件编号:10.1111/j.1467-9868.2009.00723.x
[8] 德尔加多,M.F。;Cernadas,大肠杆菌。;巴罗,S。;Amorim,D.,我们需要数百个分类器来解决现实世界的分类问题吗?,机器学习研究杂志,15,3133-81(2014)·Zbl 1319.62005号
[9] Demšar,J.,多数据集上分类器的统计比较,机器学习研究杂志,7,1-30(2006)·Zbl 1222.68184号
[10] Dietterich,T.,《比较监督分类学习算法的近似统计检验》,神经计算,10,7,1895-924(1998)·doi:10.1162/08997669830017197
[11] 丁,B.Y。;Gentleman,R.,使用惩罚偏最小二乘法进行分类,《计算与图形统计杂志》,14,2,280-98(2005)·doi:10.1198/106186005X47697
[12] 范,J。;Han,F。;Han,L.,大数据分析的挑战,《国家科学评论》,1,2,293-314(2014)·doi:10.1093/nsr/nwt032
[13] Friedman,J.,正则化判别分析,美国统计协会杂志,84,405,165-75(1989)·doi:10.1080/01621459.1989.10478752
[14] 霍尔,P。;Li,K.-C.,《从高维数据中研究低维预测的几乎线性》,《统计年鉴》,21,2,867-89(1993)·Zbl 0782.62065号 ·doi:10.1214/aos/1176349155
[15] Hotelling,H.,《将复杂的统计变量分析为主要成分》,《教育心理学杂志》,24,6,417-41(1933)·doi:10.1037/h0071325
[16] Indahl,U.G。;哈拉尔,M。;Tormod,N.,从伪回归到PLS-DA中的先验概率,化学计术杂志,21,12,529-36(2007)·doi:10.1002/cem.1061
[17] Indahl,U.G。;Liland,K.H。;Tormod,N.,《规范偏最小二乘——分类和回归问题的统一PLS方法》,《化学计量学杂志》,23,9,495-504(2009)·doi:10.1002/cem.1243
[18] Jong,S.D.,SIMPLS:偏最小二乘回归的替代方法,化学计量学和智能实验室系统,42,251-63(1993)
[19] Li,K.C.,用于降维的切片逆回归,美国统计协会杂志,86,414,316-27(1991)·Zbl 0742.62044号 ·数字对象标识代码:10.1080/01621459.1991.10475035
[20] Liaw,A。;Wiener,M.,《随机森林分类与回归》,R News,2,18-22(2002)
[21] Marginantu,D.D.和Dietterich,T.G.,1997年。修剪自适应增强。机器学习国际研讨会,加利福尼亚州旧金山,Morgan Kaufmann。Citeser,211-8。
[22] McCullagh,P.,《广义线性模型》,《欧洲运筹学杂志》,第16、3、285-92期(1984年)·Zbl 0556.62041号 ·doi:10.1016/0377-2217(84)90282-0
[23] Nguyen,D.V。;Roke,D.M.,利用微阵列基因表达数据通过偏最小二乘法进行肿瘤分类,生物信息学,18,1,39-50(2002)·doi:10.1093/bioinformatics/18.1.39
[24] Nguyen,D.V。;Roke,D.M.,利用基因表达谱的偏最小二乘法进行多类癌症分类,生物信息学,18,9,1216-26(2002)·doi:10.1093/bioinformatics/18.9.1216
[25] Quinlan,J.R.,决策树归纳,机器学习,1,1,81-106(1986)·doi:10.1007/BF00116251
[26] 罗德里格斯,J.J。;Kuncheva,L.I.,《旋转森林:一种新的分类器集成方法》,IEEE模式分析和机器智能汇刊,281619-30(2006)·doi:10.1109/TPAMI.2006.211
[27] Vapnik,V。;Chervonenkis,A.,一类感知器的注释,自动化和远程控制,24774C780(1964)
[28] 冯·R。;Geladi,P。;沃尔德,S。;Esbensen,K.,通过判别偏最小二乘回归计算的环境气溶胶的源贡献,化学计量学杂志,2,4,281-96(1988)·doi:10.1002/厘米.1180020406
[29] 威滕,医学博士。;Tibshirani,R.,《使用Fishers线性判别式进行惩罚分类》,英国皇家统计学会期刊:B系列(统计方法论),73,5753-72(2011)·Zbl 1228.62079号 ·doi:10.1111/j.1467-9868.2011.00783.x
[30] Wold,H.,用迭代最小二乘法估计主成分和相关模型,多元分析,15391-420(1966)·Zbl 0214.46103号
[31] 徐庆生。;Liang,Y.Z.,Monte Carlo交叉验证,化学计量学和智能实验室系统,56,1,1-11(2001)·doi:10.1016/S0169-7439(00)00122-2
[32] 张,L。;Suganthan,P.N.,《特征空间集合的随机森林》,模式识别,47,10,3429-37(2014)·doi:10.1016/j.patcog.2014.04.001
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。