×

动态集成选择分类器能力的概率模型。 (英语) Zbl 1218.68155号

摘要:分类器能力的概念是多分类器系统(MCS)的基础。在本研究中,使用概率模型开发了一种计算分类器能力的方法。在该方法中,首先构造一个随机参考分类器(RRC),其类支持是贝塔概率分布随机变量的实现。分布参数的选择方式是,对于验证集中的每个特征向量,RRC生成的类支持的期望值与建模分类器生成的类支撑的期望值相等。这允许使用RRC正确分类的概率作为建模分类器的能力。然后,通过基于潜在函数模型或回归构建能力函数,将为验证集计算的能力推广到整个特征空间。使用所开发的方法构建了三个基于动态分类器选择和动态集成选择(DES)的系统。在22个数据集和异构集成中,基于DES的系统的平均秩在统计上显著高于八个基准MCS。所获得的结果表明,类支持的全向量应该用于评估分类器能力,因为这可能会提高MCS的性能。

MSC公司:

68分10秒 模式识别、语音识别
62页99 统计学的应用
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Khreich,W。;格兰杰,E。;米丽,A。;Sabourin,R.,ROC空间中分类器的迭代布尔组合:HMM在异常检测中的应用,模式识别,43,2732-2752(2010)·Zbl 1213.68533号
[2] 波里卡尔,R。;DePasquale,J。;穆罕默德,H.S。;布朗,G。;Kuncheva,L.I.,学习++。MF:用于缺失特征问题的随机子空间方法,模式识别,43,3817-3832(2010)·Zbl 1209.68480号
[3] Ghannad-Rezaie,M。;Soltanian-Zadeh,H。;Ying,H。;Dong,M.,缺失值数据集分类的选择-融合方法,模式识别,432340-2350(2010)·Zbl 1191.68573号
[4] Woloszynski,T。;Kurzynski,M.,使用动态权重的组合分类器在蛋白质二级结构预测中的应用——融合方法的比较分析,(生物和医学数据分析,计算机科学讲义(2006)),83-91
[5] Dietterich,T.G.,机器学习中的集成方法,(多分类器系统国际研讨会论文集,计算机科学讲义(2000)),1-15
[6] Kuncheva,L.I.,《组合模式分类器:方法和算法》(2004),Wiley-Interscience·Zbl 1066.68114号
[7] 弗伦德,Y。;曼苏尔,Y。;Schapire,R.E.,《为什么平均分类器可以防止过度拟合》(第八届国际人工智能与统计研讨会(2001年))
[8] Kuncheva,L.I.,六种分类器融合策略的理论研究,IEEE模式分析和机器智能汇刊,24,2,281-286(2002)
[9] 基特勒,J。;哈蒂夫,M。;Duin,R.P.W。;Matas,J.,《关于组合分类器》,IEEE模式分析和机器智能汇刊,20,3,226-239(1998)
[10] Breiman,L.,打包预测,机器学习,24,2,123-140(1996)·Zbl 0858.68080号
[11] 弗伦德,Y。;Schapire,R.E.,《在线学习的决策理论推广及其在助推中的应用》,《计算机与系统科学杂志》,55,1,119-139(1997)·Zbl 0880.68103号
[12] Ho,T.K.,构建决策林的随机子空间方法,IEEE模式分析和机器智能汇刊,20,8,832-844(1998)
[13] Ruta,D。;Gabris,B.,多数投票分类器选择,信息融合,6,1,63-81(2005)
[14] A.M.P.卡努托。;M.C.C.Abreu。;Oliveira,L.M。;Xavier,J.C。;Santos,A.M.,《研究集成成员的选择对基于选择和基于融合的集成方法的准确性和多样性的影响》,《模式识别快报》,28,4,472-486(2007)
[15] Zhou,Z.-H。;吴杰。;Tang,W.,《集成神经网络:许多可能比所有人都好》,《人工智能》,137,1-2,239-263(2002)·Zbl 0995.68077号
[16] 马丁内斯·穆诺兹(Martinez-Munoz,G.)。;埃尔南德斯·洛巴托,D。;Suarez,A.,《基于有序聚合的集成剪枝技术分析》,IEEE模式分析与机器智能汇刊,31,2,245-259(2009)
[17] Marginantu,D.D。;Dietterich,T.G.,修剪自适应增强,(第十四届机器学习国际会议(1997)),211-218
[18] 马丁内斯·穆诺兹(Martinez-Munoz,G.)。;Suarez,A.,包装中的聚合排序,(IASTED人工智能和应用国际会议(2004)),258-263
[19] Banfield,R.E。;洛杉矶霍尔。;鲍耶,K.W。;Kegelmeyer,W.P.,《集合多样性测度及其在稀疏中的应用》,信息融合,6,1,49-62(2005)
[20] Rogova,G.,结合几个神经网络分类器的结果,神经网络,7,5,777-781(1994)
[21] Meynet,J。;Thiran,J.-P.,模式分类器的信息论组合,模式识别,433412-3421(2010)·Zbl 1344.68197号
[22] 帕塔拉斯,I。;Tsoumakas,G。;Vlahavas,I.,通过强化学习修剪分类器集合,神经计算,72,7-9,1900-1909(2009)
[23] 张,Y。;Burer,S。;Street,W.N.,《通过半定规划进行集成修剪》,《机器学习研究杂志》,第7期,第1315-1338页(2006年)·邮编:1222.90050
[24] Kuncheva,L.I.,分类器组合的聚类和选择模型,(第四届基于知识的智能工程系统和联合技术国际会议(2000)),185-188
[25] 刘,R。;袁斌,基于聚类和选择的多分类器组合,信息融合,2,3,163-168(2001)
[26] L.A.Rastrigin,R.H.Erenstein,《集体承认方法》,能源数据,莫斯科,1981年(俄语)。;L.A.Rastrigin,R.H.Erenstein,《集体承认方法》,能源数据,莫斯科,1981年(俄语)·Zbl 0597.68064号
[27] Woods,K。;Kegelmeyer,W.P。;Bowyer,K.,使用局部精度估计的多分类器组合,IEEE模式分析和机器智能汇刊,19,4,405-410(1997)
[28] Smits,P.C.,基于动力学分类器选择的监督遥感图像分类多分类器系统,IEEE地球科学与遥感汇刊,40,4,801-813(2002)
[29] Giacinto,G。;Roli,F.,基于多分类器行为的动态分类器选择,模式识别,341879-1881(2001)·Zbl 0995.68100号
[30] Ko,A.H.R。;Sabourin,R。;Britto,A.S.,从动态分类器选择到动态集成选择,模式识别,41,5718-1731(2008)·Zbl 1140.68466号
[31] 桑托斯,E.M.D。;Sabourin,R。;Maupin,P.,选择分类器集合的动态生产过剩和选择策略,模式识别,41,10,2993-2009(2008)·Zbl 1151.68602号
[32] 雅各布斯,R.A。;M.I.乔丹。;Nowlan,S.J。;Hinton,G.E.,本地专家的自适应混合,神经计算,379-87(1991)
[33] Giacinto,G。;Roli,F.,《动态分类器选择的理论框架》(第十五届国际模式识别会议(2000)),8-11
[34] Woloszynski,T。;Kurzynski,M.,《关于应用于多分类器系统设计的分类器能力的新度量》,(图像分析与处理-ICAP 2009,计算机科学讲义(2009)),995-1004
[35] Woloszynski,T。;Kurzynski,M.,《关于特征空间中分类器能力的新度量》(Computer Recognition Systems 3,Advances in Soft Computing,2009),285-292
[36] Woloszynski,T。;Kurzynski,M.,基于随机参考分类器的动态集成选择能力度量,(第二十届国际模式识别会议(2010)),4194-4197
[37] A.Asuncion,D.J.Newman,UCI机器学习库URL\(\langle\)网址:http://www.ics.uci.edu/~mlearn/MLRepository.html(\rangle\);A.Asuncion,D.J.Newman,UCI机器学习库URL\(\langle\)网址:http://www.ics.uci.edu/~mlearn/MLRepository.html \(\rangle\)
[38] L.I.Kuncheva,Ludmila Kuncheva收藏URL\(\langle\)网址:http://www.bangor.ac.uk/~mas00a/activities/patrec1.html\(\rangle\);L.I.Kuncheva,Ludmila Kuncheva收藏URL\(\langle\)网址:http://www.bangor.ac.uk/~mas00a/activities/patrec1.html\(\rangle\)
[39] E.E.项目:ROARS,elena项目的音素数据库,URL\(\langle\)http://www.dice.ucl.ac.be/neuralnets/Research/Projects/ELENA网站/\(范围);E.E.项目:ROARS,elena项目的音素数据库,URL\(\langle\)http://www.dice.ucl.ac.be/neuralnets/Research/Projects/ELENA网站/\(范围)
[40] 杜达,R.O。;哈特,体育。;Stork,D.G.,《模式分类》(2001年),Wiley Interscience·Zbl 0968.68140号
[41] Berger,J.O.,《统计决策理论和贝叶斯分析》(1985),Springer Verlag:Springer Verlag New York·Zbl 0572.62008号
[42] 大卫·H·A。;Nagaraja,H.N.,《订单统计》(2003),威利国际科学·Zbl 1053.62060号
[43] T.Woloszynski,基于概率建模的分类器能力(ccprmod.m),Matlab中央文件交换URLhttp://www.mathworks.com/matlabcentral/fileexchange/28391-classifier-competence-based-on-probabilistic-modeling\(\范围\);T.Woloszynski,基于概率建模的分类器能力(ccprmod.m),Matlab中央文件交换URLhttp://www.mathworks.com/matlabcentral/fileexchange/28391-classifier-competence-based-on-probabilistic-modeling\(\等级\)
[44] Meisel,W.,数学模式识别中的势函数,IEEE计算机汇刊C-18,911-918(1969)·Zbl 0208.19805号
[45] 劳森,C.L。;Hanson,R.J.,解决最小二乘问题(1987),工业数学学会
[46] Hullermeier,E。;Vanderlooy,S.,结合两两分类中的预测:最优自适应投票策略及其与加权投票的关系,模式识别,43,128-142(2010)·Zbl 1191.68578号
[47] R.P.Duin,P.Juszczak,P.Paclik,E.Pekalska,D.de Ridder,D.Tax,S.Verzakov,PR-Tools4.1,用于模式识别的matlab工具箱,2007年。;R.P.Duin、P.Juszczak、P.Paclik、E.Pekalska、D.de Ridder、D.Tax、S.Verzakov、PR-Tools4.1,模式识别的matlab工具箱,2007年。
[48] Wolpert,D.H.,叠加泛化,神经网络,5,2,241-260(1992)
[49] 是的,I.-C。;Yang,K.-J。;Ting,T.-M.,使用贝努利序列的RFM模型知识发现,应用专家系统,36,3,5866-5871(2009)
[50] Wolberg,W.H。;Mangasarian,O.L.,用于乳腺细胞学医学诊断的多表面模式分离方法,美国国家科学院学报,87,9193-9196(1990)·Zbl 0709.92537号
[51] 金·R。;Karwath,A。;克莱尔,A。;Dehaspe,L.,《蛋白质序列不同表征在预测功能类别中的作用》,生物信息学,17,5,445-454(2001)
[52] M.A.Little,P.E.McSharry,D.A.E.Costello,I.Moroz,利用非线性递归和分形标度特性检测语音障碍,生物医学工程在线6(23)(2007)。;M.A.Little,P.E.McSharry,D.A.E.Costello,I.Moroz,《利用非线性递归和分形标度特性进行语音障碍检测》,生物医学工程在线6(23)(2007)。
[53] M.I.乔丹。;Jacobs,R.A.,专家和EM算法的层次混合,神经计算,6,2,181-214(1994)
[54] Waterhouse,S.R。;Robinson,A.J.,使用层次混合专家进行分类,(信号处理神经网络[1994]IV,1994年IEEE研讨会论文集(1994)),177-186
[55] Demsar,J.,多数据集分类器的统计比较,机器学习研究杂志,7,1-30(2006)·Zbl 1222.68184号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。