×

结构多元经验核学习。 (英语) Zbl 1360.68718号

摘要:多核学习(MKL)可以通过使用多个核而不是单个固定核来提高分类性能。与传统的隐式核MKL不同,多经验核学习(MEKL)将输入数据显式映射到多个特征空间。本文以MEKL为研究对象,提出了一种有效的三重结构MEKL(TSMEKL)。第一个褶皱结构是不同映射特征空间之间的空间结构信息。第二个是每个映射特征空间中的类判别信息。第三个是每个映射特征空间中样本的聚类结构信息。经典MEKL主要关注前两种结构,而忽略了后一种结构。所提出的TSMEKL将聚类结构信息引入到MEKL中。这样做可以同时利用空间、类和集群信息,从全局到局部。因此,TSMEKL利用三重结构信息来提高分类性能。据我们所知,这是首次将聚类信息引入MEKL框架。开发的TSMEKL的主要优点是考虑不同的数据信息折叠以提高分类性能。实验结果验证了TSMEKL的可行性和有效性。此外,我们根据Rademacher复杂性讨论了该算法的理论和实验泛化风险界。

理学硕士:

68T05型 人工智能中的学习和自适应系统
68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Alcalá-Fdez,J。;费尔南德斯,A。;Luengo,J。;德拉克,J。;南卡罗来纳州加西亚。;桑切斯,L。;Herrera,F.,KEEL数据挖掘软件工具:数据集存储库,算法集成和实验分析框架,J.多值逻辑软计算。,17, 2-3, 255-287 (2011)
[2] Alcalá-Fdez,J。;桑切斯,L。;南卡罗来纳州加西亚。;del Jesús,M.J。;文图拉,S。;加雷尔,J.M。;Otero,J。;罗梅罗,C。;百加得,J。;Rivas,V.M.,KEEL:评估数据挖掘问题进化算法的软件工具,Soft。计算。,13, 3, 307-318 (2009)
[3] 巴赫,F.R。;兰克里特,G.R。;Jordan,M.I.,《多核学习、二次曲线对偶和SMO算法》(机器学习国际会议(2004),ACM),6
[5] 北贝利。;Frigui,H.,特征空间中多核模糊聚类,(国际模糊系统会议(2012),IEEE),1-8
[6] Barandela,R。;Sánchez,J.S。;加西亚,V。;Rangel,E.,《课堂学习不平衡问题的策略》,《模式识别》。,36, 3, 849-851 (2003)
[7] Belhumeur,P。;赫斯帕尼亚,J。;Kriegman,D.,《特征脸与渔夫脸:使用特定类别线性投影的识别》,IEEE Trans。模式分析。机器。智力。,19, 7, 711-720 (1997)
[9] 陈振毅。;Fan,Z.P.,使用纵向数据的动态客户生命周期价值预测:改进的多核SVR方法,Knowl-基于系统。,43, 123-134 (2013)
[10] 迪伦,I.S。;关,Y。;Kulis,B.,Kernel K-means:Spectrum clustering and normalized cuts,(国际知识发现和数据挖掘会议(2004),ACM),551-556
[11] Diethe,T。;Girolma,M.,《(多)核在线学习:综述》,神经计算。,35, 3, 567-625 (2013) ·Zbl 1269.68079号
[13] 加拉尔,M。;费尔南德斯,A。;Barrenechea,E。;Bustince,H。;Herrera,F.,《阶级不平衡问题的集合综述:打包、提升和混合方法》,IEEE Trans。系统。,伙计,赛博网。,C部分:应用。修订版,42、4、463-484(2012)
[14] Gönen,M。;Alpaydin,E.,本地化多内核学习,(国际机器学习会议(2008),ACM),352-359
[15] Gönen,M。;Alpaydñn,E.,使用响应面方法规范化多核学习,模式识别。,44, 1, 159-171 (2011) ·Zbl 1207.68279号
[16] 格雷夫斯,D。;Pedrycz,W.,基于核的模糊聚类和模糊聚类:比较实验研究,模糊集系统。,161, 4, 522-543 (2010)
[17] Hardoon,D.R。;塞德马克,S。;Shawe-Taylor,J.,典型相关分析:学习方法应用概述,神经计算。,16, 12, 2639-2664 (2004) ·Zbl 1062.68134号
[19] Hartigan,J.A。;Wong,M.A.,算法AS136:一种K-means聚类算法,应用。《统计》,第28、1、100-108页(1979年)·Zbl 0447.62062号
[20] 胡,M。;陈,Y。;Kwok,J.T.Y.,构建稀疏多核SVM分类器,IEEE Trans。神经网络,20,5827-839(2009)
[21] Huang,H.C。;Chuang,Y.Y。;Chen,C.S.,多核模糊聚类,IEEE Trans。模糊系统。,20, 1, 120-134 (2012)
[22] 黄,J。;Ling,C.X.,《使用AUC和准确性评估学习算法》,IEEE Trans。知识。数据工程,17,3,299-310(2005)
[23] Jain,A.K。;Dubes,R.C.,《聚类数据的算法》(1988),Prentice-Hall Inc·Zbl 0665.62061号
[24] Jian,L。;夏,Z。;X·梁。;Gao,C.,通过凸规划设计LS-SVM的多核学习算法,神经网络,24,5476-483(2011)·Zbl 1217.68185号
[27] Koltchinskii,V.,Rademacher惩罚和结构风险最小化,IEEE Trans。通知。理论,47,5,1902-1914(2001)·Zbl 1008.62614号
[28] 科尔钦斯基,V。;Panchenko,D.,《经验边缘分布与组合分类器泛化误差的界限》,《统计年鉴》,30,1,1-50(2002)·Zbl 1012.62004号
[29] Kreßel,U.H.-G.,成对分类和支持向量机,(核方法进展(1999),麻省理工学院出版社),255-268
[30] 柳叶刀,G.R.G。;北卡罗来纳州克里斯蒂亚尼尼。;Bartlett,P。;Ghaoui,L.E。;Jordan,M.I.,用半定编程学习核矩阵,J.Mach。学习。研究,5,27-72(2004)·Zbl 1222.68241号
[31] 李,J。;彭,Y。;Liu,D.,拟共形核公共局部判别分析及其在乳腺癌诊断中的应用,Inform。科学。,223, 256-269 (2013) ·Zbl 1293.62135号
[32] Li,J.B。;潘,J.S。;Chu,S.C.,核类-全局局部保持投影,Inform。科学。,178, 7, 1825-1835 (2008) ·Zbl 1133.68398号
[33] Liang,X.,SVM中的特征空间与经验核映射和行核空间,神经计算。申请。,19, 3, 487-498 (2010)
[34] Lin,Y.Y。;Liu,T.L。;Fuh,C.S.,用于降维的多核学习,IEEE Trans。模式分析。机器。智力。,33, 6, 1147-1160 (2011)
[35] Łkeski,J.,带泛化控制的Ho-Kashyap分类器,模式识别。莱特。,24, 14, 2281-2290 (2003) ·Zbl 1047.68128号
[36] 马尔多纳多,S。;韦伯,R。;Basak,J.,使用核化支持向量机进行同步特征选择和分类,Inform。科学。,181, 1, 115-128 (2011)
[37] Mitchell,T.M.,《机器学习》(1997),McGraw-Hill Inc·Zbl 0913.68167号
[38] 穆勒,K。;米卡,S。;Ratsch,G。;Tsuda,K。;Scholkopf,B.,基于内核的学习算法介绍,IEEE Trans。神经网络,12,2,181-201(2001)
[39] 罗扎,A。;伦巴第,G。;Casiraghi,E。;Campadelli,P.,新型fisher判别分类器,模式识别。,45, 10, 3725-3737 (2012) ·Zbl 1242.68276号
[40] Schölkopf,B。;米卡,S。;Burges,C.J.C。;Knirsch,P。;米勒,K.R。;Rätsch,G。;Smola,A.J.,基于内核方法中的输入空间与特征空间,IEEE Trans。神经网络,10,51000-1017(1999)
[41] Schölkopf,B。;韦斯顿,J。;Eskin,E。;Leslie,C。;Noble,W.S.,《从几乎正交模式学习的核心方法》,普林·数据·最小·诺尔。发现。,2430, 511-528 (2002) ·Zbl 1014.68129号
[42] 肖-泰勒,J。;Cristianini,N.,《模式分析的核心方法》(2004),剑桥大学出版社
[44] Sonnenburg,S。;Rätsch,G。;Schäfer,C。;Schölkopf,B.,大规模多核学习,J.Mach。学习。第7号决议,1531-1565(2006)·Zbl 1222.90072号
[45] 北苏布拉曼尼亚。;Shin,Y.C.,信号处理应用的稀疏多核学习,IEEE Trans。模式分析。机器。智力。,32, 5, 788-798 (2010)
[46] Sun,J。;李,X。;Yang,Y。;罗,J。;Bai,Y.,基于输入空间中的分隔边界缩放内核函数:一种提高内核方法性能的数据相关方法,Inform。科学。,184, 1, 140-154 (2012) ·Zbl 1239.68065号
[47] Tenenbaum,J.B。;德席尔瓦,V。;Langford,J.C.,《非线性降维的全球几何框架》,《科学》,29055002319-2323(2000)
[48] 特克,M。;Pentland,A.,识别特征脸,J.Cogn。神经科学。,3, 1, 72-86 (1991)
[49] Van,B.M。;Duin,P.W.D。;税务,医学博士。;Den,H.J.E.,组合分类器手写数字识别,Kybernetika,34,4,381-386(1998)·Zbl 1274.68403号
[50] Vapnik,V.,《统计学习理论的本质》(1999),斯普林格出版社·Zbl 0928.68093号
[51] Vapnik,V.N。;Chervonenkis,A.Y.,《关于事件相对频率与其概率的一致收敛性》,理论探索。申请。,16, 2, 264-280 (1971) ·兹比尔0247.60005
[52] 王,M。;Chen,S.,基于经验核映射的增强FMAM,IEEE Trans。神经网络,16,3,557-564(2005)
[53] Wang,T。;赵,D。;Feng,Y.,具有多类核极化的两阶段多核学习,Knowl-基于系统。,48, 10-16 (2013)
[54] 王,Z。;陈,S。;Sun,T.,MultiK-MHKS:一种新的多核学习算法,IEEE Trans。模式分析。机器。智力。,30, 2, 348-353 (2008)
[55] 王,Z。;杰·W。;陈,S。;Gao,D.,具有多个经验核的随机投影集成学习,Knowl-基于系统。,37, 388-393 (2013)
[56] 熊,H。;斯瓦米,M.N.S。;Ahmad,M.O.,《在经验特征空间中优化内核》,IEEE Trans。神经网络,16,2,460-474(2005)
[57] 徐,Q。;Liang,Y.,Monte Carlo交叉验证,Chemmomet。智力。实验室系统。,56, 1, 1-11 (2001)
[58] Yang,H。;徐,Z。;Ye,J。;国王一世。;Lyu,M.R.,高效稀疏广义多核学习,IEEE Trans。神经网络,22,3,433-446(2011)
[59] Yang,M.,用于分类的扩展isomap,(模式识别国际会议,第3卷(2002),IEEE),615-618
[60] 张,L。;周,W。;Jiao,L.,隐藏空间支持向量机,IEEE Trans。神经网络,15,6,1424-1434(2004)
[61] 周,T。;Zhang,Y。;卢,H。;Wang,F.,基于核函数的粗糙聚类算法,(Rough Sets and Knowledge Technology(2008),Springer),172-179
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。