×

未知和/或演化错误分类成本问题的多模型选择框架。 (英语) 兹比尔1187.68434

总结:我们解决了错误分类成本未知和/或可能演变时的模型选择问题。与基于标量优化的传统方法不同,我们提出了一种基于多目标方法的通用多模型选择框架。其思想是自动训练一个分类器池,而不是单个分类器,池中的每个分类器在目标之间优化特定的权衡。在两类分类问题的背景下,我们引入“ROC前沿概念”作为ROC曲线表示的替代方案。将该策略应用于支持向量机分类器的多模型选择,采用进化多目标优化算法。与基于AUC准则的传统标量优化技术的比较表明,在UCI数据集和实际分类问题上都有很好的结果。

MSC公司:

68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: 内政部 哈尔

参考文献:

[1] D.J.Newman A.Asuncion,UCI机器学习库,2007年。;D.J.Newman A.Asuncion,UCI机器学习库,2007年。
[2] Anguita博士。;Ridela,S。;里维奇奥,F。;Zunino,R.,支持向量分类器的超参数设计标准,神经计算,55,1-2,109-134(2003)
[3] 阿亚特,东北部。;Cheriet,M。;Suen,C.Y.,SVM核函数优化的自动模型选择,模式识别,301733-1745(2004)
[4] Bengio,Y.,基于梯度的超参数优化,神经计算,12,1889-1900(2000)
[5] H.Boström,使用增量减少误差修剪最大化ROC曲线下的面积,见:ROCML会议记录,2005年。;H.Boström,使用增量减少误差修剪最大化ROC曲线下的面积,载于:ROCML会议记录,2005年。
[6] Bradley,A.P.,在机器学习算法评估中ROC曲线下面积的使用,模式识别,301145-1159(1997)
[7] L.T.Bui,D.Essam,H.A.Abbass,D.Green,噪声环境中多目标进化方法的性能分析,载《APS 2004年会议录》,第29-39页。;L.T.Bui,D.Essam,H.A.Abbass,D.Green,《噪声环境中多目标进化方法的性能分析》,载《APS 2004学报》,第29-39页。
[8] R.Caruana、A.Niculescu-Mizil、G.Crew、A.Ksikes,《从模型库中选择合奏》,载于:《国际音乐学院学报》,2004年。;R.Caruana、A.Niculescu-Mizil、G.Crew、A.Ksikes,《从模型库中选择合奏》,收录于:《ICML学报》,2004年。
[9] 沙佩尔,O。;Vapnik,V。;O.布斯克。;Mukherjee,S.,为支持向量机选择多个参数,机器学习,46,131-159(2002)·Zbl 0998.68101号
[10] C.Chatelain,L.Heutte,T.Paquet,分段驱动识别应用于手写传入邮件文档的数字字段提取,收录于:文档分析系统,计算机科学课堂讲稿,第3872卷,2006年,第564-575页。;C.Chatelain,L.Heutte,T.Paquet,分段驱动识别应用于手写邮件文档的数字字段提取,收录于:文档分析系统,计算机科学课堂讲稿,第3872卷,2006年,第564-575页。
[11] 查特兰,C。;Heutte,L。;Paquet,T.,手写文档中数值字段提取的两阶段离群值剔除策略,(ICPR会议记录(2006)),224-227
[12] 科恩·D·W。;Knowles,J.D。;Oates,M.J.,《基于Pareto包络的多目标优化选择算法》(Pareto envelope selection algorithm for multi-objective optimization)(《自然》(2000)中的并行问题解决),839-848
[13] 科尔特斯,C。;Mohri,M.,AUC优化与错误率最小化,(NIPS进展(2004),麻省理工学院出版社:麻省理学院出版社剑桥)
[14] de Souza,B.F。;德卡瓦略,A.C.P.L.F。;卡尔沃,R。;Ishii,R.P.,使用粒子群优化的多类SVM模型选择,(HIS学报(2006)),31
[15] K.Deb,S.Agrawal,A.Pratap,T.Meyarivan,多目标优化的快速精英非支配排序遗传算法:NSGA-II,IEEE Transactions on Evolutional Computation(2002)182-197。;K.Deb,S.Agrawal,A.Pratap,T.Meyarivan,多目标优化的快速精英非支配排序遗传算法:NSGA-II,IEEE Transactions on Evolutionary Computation(2002)182-197。
[16] Deb,K.,《使用进化算法的多目标优化》(2001),Wiley:Wiley New York,NY,USA·Zbl 0970.90091号
[17] Dieterich,T.G.公司。;Bakiri,G.,《通过纠错输出代码解决多类学习问题》,《人工智能研究杂志》,第2263-286页(1995年)·Zbl 0900.68358号
[18] T.Fawcett,《ROC图:研究人员的注意事项和实际考虑》,技术报告,惠普实验室,2004年。;T.Fawcett,《ROC图表:研究人员注意事项和实际考虑事项》,《技术报告》,惠普实验室,2004年。
[19] 费里,C。;弗拉奇,P。;Hernandez-Orallo,J.,使用ROC曲线下面积学习决策树,(ICML会议记录(2002)),139-146
[20] Flach,P.A。;Wu,S.,修复ROC曲线中的凹陷,(2003年英国计算智能研讨会论文集(2003年8月),布里斯托尔大学),38-44
[21] 丰塞卡,C.M。;Flemming,P.J.,《多目标优化的遗传算法:公式化、讨论和推广》(ICGA(1993)会议录),416-423
[22] Goldberg,D.E.,《搜索、优化和机器学习中的遗传算法》(1989),Addison-Wesley,Longman Publishing Co.,Inc.:Addison-Whesley,LongmanPublishing Co,Inc.美国马萨诸塞州波士顿·Zbl 0721.68056号
[23] 霍恩,J。;Nafpliotis,N。;Goldberg,D.E.,用于多目标优化的小生境Pareto遗传算法,(IEEE-WCC(1994)论文集),82-87
[24] Joachims,T.,《使大规模支持向量机学习实用化》(Smola,A.;Scholkopf,B.;Burges,C.,《内核方法的进展》(1998),麻省理工学院出版社:麻省理学院出版社剑桥,MA)
[25] 基尔西,S。;信德瓦尼,V。;Chapelle,O.,《支持向量机模型中基于梯度的超参数自适应的有效方法》,(Schölkopf,B.;Platt,J.;Hoffman,T.,《神经信息处理系统的进展》,第19卷(2007年),麻省理工学院出版社:麻省理学院出版社剑桥,MA),673-680
[26] V.Khare,X.Yao,K.Deb,多目标进化算法的性能缩放,技术报告-SCS,伯明翰大学,2002年,第1-70页。;V.Khare,X.Yao,K.Deb,多目标进化算法的性能缩放,技术报告-SCS,伯明翰大学,2002年,第1-70页。
[27] Lebrun,G。;Lezoray,O。;Charrier,C。;Cardot,H.,《支持向量机多类方案的EA多模型选择》(IWANN(2007)论文集),257-264
[28] E.Osuna,R.Freund,F.Girosi,《支持向量机:训练和应用》,技术报告,1997年。;E.Osuna,R.Freund,F.Girosi,《支持向量机:训练和应用》,技术报告,1997年。
[29] Provost,F。;Fawcett,T.,《不精确环境下的稳健分类》,机器学习,42,3,203-231(2001)·Zbl 0969.68126号
[30] A.Rakotomamonjy,使用支持向量机优化AUC,摘自:《ROC曲线和AI的ECAI研讨会论文集》,2004年,第469-478页。;A.Rakotomamonjy,《使用支持向量机优化AUC》,载于《ROC曲线和AI的ECAI研讨会论文集》,2004年,第469-478页。
[31] 谢弗,J.D。;Grefenstette,J.J.,《通过遗传算法进行多目标学习》(1985年《国际计算机学会学报》),593-595
[32] Srinivas,N。;Deb,K.,遗传算法中使用非支配排序的多目标优化,进化计算,2,3,221-248(1994)
[33] Wahba,G.公司。;林,X。;高,F。;Xiang,D。;Klein,R。;Klein,B.,《偏倚-方差权衡与随机GACV》(The bias-variance tradeoff and The randomized GACV)(NIPS Proceedings of NIPS(1999)),第620-626页
[34] 吴绍明,《分类器评价和选择的AUC评分标准》,载《ROCML学报》,2005年。;Wu S.,分类器评估和选择的评分AUC度量,载于:ROCML会议记录,2005年。
[35] 齐茨勒,E。;Deb,K。;Thiele,L.,多目标进化算法的比较:经验结果,IEEE进化计算汇刊,2,8173-195(1999)
[36] E.Zitzler,M.Laumanns,L.Thiele,SPEA2:改进强度Pareto进化算法,技术报告,计算机工程与网络实验室(TIK),苏黎世ETH,2001年。;E.Zitzler,M.Laumanns,L.Thiele,SPEA2:改进强度Pareto进化算法,技术报告,计算机工程与网络实验室(TIK),苏黎世ETH,2001年。
[37] 齐茨勒,E。;Thiele,L.,《多目标进化算法:比较案例研究和强度Pareto方法》,IEEE进化计算汇刊,3,4,257-271(1999)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。