×

一种面向分类器集成的自动机器学习进化算法:改进算法和扩展结果。 (英文) Zbl 1436.68315号

摘要:机器学习文献中提出了大量的分类算法。这些算法有不同的优缺点,没有一种算法对所有数据集都是最好的。因此,一个具有挑战性的问题是为给定的输入数据集选择具有最佳超参数设置的最佳分类算法。在过去几年中,通过在大量候选分类算法及其超参数设置中进行启发式搜索,自动机器学习(Auto-ML)已成为解决此问题的一种有希望的方法。在这项工作中,我们提出了一种改进版本的进化算法(EA),更准确地说,是一种分布估计算法,用于自动为输入数据集选择最佳分类器集合及其最佳超参数设置的Auto-ML任务。将该EA的新版本与以前的版本、随机森林算法(强集成算法)和著名的Auto-ML方法Auto-WEKA的版本进行了比较,后者适于在与所提EA相同的分类器集成空间中进行搜索。总的来说,在21个数据集的实验中,新的EA版本在四个流行的预测准确度指标方面获得了所有方法中最好的结果:错误率、准确度、召回率和F-measure。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
68瓦50 进化算法、遗传算法(计算方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 周志华,《集成方法:基础和算法》(Ensemble Methods:Foundations and Algorithms)(2012),查普曼和霍尔/CRC
[2] Kuncheva,L.I.,《变化环境的分类器集成》,(Roli,F.;Kittler,J.;Windeatt,T.,《多分类器系统》,《计算机科学讲义》,第3077卷(2004),Springer),1-15
[3] Kuncheva,L.I.,《组合模式分类器:方法和算法》(2004),Wiley-Interscience·Zbl 1066.68114号
[4] 桑顿,C。;Hutter,F。;胡斯,H.H。;Leyton-Brown,K.,Auto-WEKA:分类算法的组合选择和超参数优化,(第19届ACM SIGKDD国际知识发现和数据挖掘大会(2013),ACM出版社),847-855
[5] 霍尔,M。;E.弗兰克。;霍姆斯,G。;普法林格,B。;鲁特曼,P。;Witten,I.,《WEKA数据挖掘软件:更新》,ACM SIGKDD Explor。新闻。,11, 1, 10-18 (2009)
[6] 费雷尔,M。;克莱因,A。;Eggensperger,K。;斯普林伯格,J。;布鲁姆,M。;Hutter,F.,《高效稳健的自动机器学习》,《高级神经信息处理》。系统。,28, 2962-2970 (2015)
[7] 拉腊尼亚加,P。;Lozano,J.A.,《分布算法估计:进化计算的新工具》(2002),Kluwer:Kluwer-Boston,MA·Zbl 0979.00024号
[8] 巴卢贾,S。;Caruana,R.,《从标准遗传算法中删除遗传学》,(第12届国际机器学习会议,第12届会议,加利福尼亚州,1995年7月(1995)),38-46
[9] 费尔南德斯·德尔加多,M。;Cernadas,E。;巴罗,S。;Amorim,D.,我们需要数百个分类器来解决现实世界的分类问题吗?,J.马赫。学习。研究,15,1,3133-3181(2014)·Zbl 1319.62005号
[10] Braddil,P。;Giraud-Carrier,C。;苏亚雷斯,C。;Villata,R.,《元学习:数据挖掘应用》(2009),施普林格出版社·Zbl 1173.68625号
[11] Kotthoff,L。;桑顿,C。;胡斯,H.H。;Hutter,F。;Leyton-Brown,K.,Auto-WEKA 2.0:WEKA,J.Mach中的自动模型选择和超参数优化。学习。决议,18,1,826-830(2017)
[12] Freitas,A.A.,《使用进化算法进行数据挖掘和知识发现》(2002年),施普林格出版社·Zbl 1013.68075号
[13] 艾本,A.E。;Smith,J.E.,《进化计算导论》(2015),施普林格出版社·Zbl 1327.68003号
[14] Inza,I。;拉腊尼亚加,P。;Sierra,B.,通过分布算法估计选择特征子集,(分布算法估计(2002),Springer),269-293·Zbl 1018.68065号
[15] 谢尔克,K。;Jayaraman,S。;Ghosh,S。;Valadi,J.,使用基于EDA的算法进行混合特征选择和肽结合亲和力预测,(IEEE进化计算大会(CEC)(2013)),2384-2389
[16] Zangari,M。;桑塔纳,R。;Mendibury,A。;Pozo,A.T.R.,并非所有PBIL都是一样的:揭示PBIL变体的不同学习机制,应用。软计算。,53、88-96(2017年4月)
[17] 杨,X。;Dong,H。;Zhang,H.,基于分类分布算法估计的朴素贝叶斯,(国际信息科学与工程会议(2009)),908-911
[18] Saeys,Y。;度,S。;Aeyels,D。;P.Rouzé。;Van de Peer,Y.,《剪接位点预测的特征选择:一种使用基于EDA的特征排序的新方法》,BMC Bioninform。,5、64(2004),11页
[19] 科尔迪克,P。;乔恩,1月;Frída,T.,发现迁移学习和元学习的预测集成,马赫。学习。,107, 1, 177-207 (2018)
[20] Kotsiantis,S.B.,《监督机器学习:分类技术综述》(Emerging Artificial Intelligence Applications in Computer Engineering,2007),IOS出版社,3-24·Zbl 1162.68552号
[21] Wistuba,M。;席林,N。;Schmidt-Thieme,L.,《自动识别:自主创建复杂信号群》(SIAM Int.Conf.on Data Mining(2017),SIAM),第741-749页
[22] Lévesque,J。;加涅,C。;Sabourin,R.,集成学习的贝叶斯超参数优化,(第32届人工智能不确定性会议论文集)。程序。第32届人工智能不确定性会议,美国新泽西州泽西市,2016(2016),437-446
[23] A.Lacoste、H.Larochelle、F.Laviolette、M.Marchand,《基于序列模型的集成优化》,计算研究库(CoRR)(2014)。
[24] 奥尔森·R。;Urbanowicz,R。;安德鲁斯,P。;薰衣草,N。;基德,L。;Moore,J.H.,通过基于树的管道优化实现生物医学数据科学自动化,(欧洲进化计算应用会议(2016),Springer),123-137
[25] de Sá,A.G.C。;Pappa,G.L。;Freitas,A.A.,《使用基于语法的遗传编程自动选择和配置多标签分类算法》,(第十五届国际自然并行问题解决大会(PPSN-2018),将于2018年9月在葡萄牙科英布拉举行),出版社
[26] de Sá,A.G.C。;平托,W.J.G.S。;奥利维拉,L.O.V.B。;Pappa,G.L.,《RECIPE:自动进化分类管道的基于语法的框架》,(第20届欧洲遗传编程会议(EuroGP’17)。程序。第20届欧洲遗传编程会议(EuroGP’17),LNCS,第10196卷(2017),施普林格出版社,246-261
[27] Demsar,Janez,多数据集分类器的统计比较,J.Mach。学习。研究,7,1-30(2006)·Zbl 1222.68184号
[28] Xavier-Jünior,J.C。;Freitas,A.A。;Feitosa-Neto,A。;Ludermir,T.B.,《面向分类器集成的自动化机器学习的新型进化算法》(第七届巴西智能系统会议(BRACIS 2018)(2018)),462-467
[29] Rokach,L.,基于集成的分类器,Artif。智力。版本,33,1-2,1-39(2010)
[30] Kotsiantis,S.B.,《用于处理分类问题的打包和增压变体:调查》,Knowl。工程版次,29,1,78-100(2014)
[31] 萨吉,O。;Rokach,L.,《合奏学习:一项调查》,Wiley Interdiscip。版本数据最小知识。发现。,第8、4条,第1249页(2018年)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。