×

一种基于数据概率分布的多核类学习算法。 (英语) Zbl 1400.68179号

摘要:在基于核技巧的机器学习中,人们经常将核函数的一个变量放在给定的样本上,以产生学习问题解空间的基本函数。如果给定样本的集合偏离了数据分布,那么这些基本函数所跨越的解空间也将偏离学习问题的真实解空间。本文提出了一种基于数据概率分布的多核类学习算法(MKDPD),该算法根据数据概率分布局部调整核函数的参数,从而产生不同的核函数。这些不同的核函数将生成不同的再生核希尔伯特空间(RKHS)。这些RKHS子空间的直接和构成了学习问题的解空间。此外,基于所提出的MKDPD算法,提出了一种标记新来数据的新算法,该算法根据新来的数据重新训练基本函数,而重新训练后的基本函数的系数保持不变,以标记新的来数据。本文给出的实验结果表明了所提算法的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

简单MKLCMU项目
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Parzen,E.,关于概率密度函数和模式的估计,《数理统计年鉴》,331065-1076,(1962)·Zbl 0116.11302号 ·doi:10.1214/aoms/1177704472
[2] Kay,S.,基于模型的概率密度函数估计,IEEE信号处理快报,5,12,318-320,(1998)·doi:10.1109/97.735424
[3] 博尔斯,A.G。;Nasios,N.,基于概率密度函数建模的方法中的核带宽估计,第19届模式识别国际会议论文集(ICPR'08)
[4] 苏肯斯,J.A.K。;Vandewalle,J.,最小二乘支持向量机分类器,《神经处理快报》,9,3,293-300,(1999)·doi:10.1023/A:1018628609742
[5] Kuncheva,L.I.,《组合模式分类器:方法和算法》(2004),美国纽约州纽约市:Wiley-Interscience,美国纽约市·Zbl 1066.68114号 ·数字对象标识代码:10.1002/0471660264
[6] 肖尔科夫,B。;Smola,A。;Mller,K.R.,作为核心特征值问题的非线性分量分析,《神经计算杂志》,10,5,1299-1319,(1998)·doi:10.1162/08997669830017467
[7] 米卡,S。;Ratsch,G。;韦斯顿,J。;肖尔科夫,B。;Mullers,K.R.,Fisher鉴别核分析,IEEE信号处理学会研讨会论文集,信号处理神经网络IX·doi:10.10109/NNSP1.999.788121
[8] 贝尔金,M。;Niyogi,P。;Sindhwani,V.,《流形正则化:从标记和未标记示例学习的几何框架》,《机器学习研究杂志》,第7期,第2399-2434页,(2006)·Zbl 1222.68144号
[9] 梅拉奇,S。;Belkin,M.,《原始训练的拉普拉斯支持向量机》,《机器学习研究杂志》,121149-1184,(2011)·Zbl 1280.68182号
[10] 耿,B。;陶,D。;徐,C。;杨利杰。;Hua,X.-S.,集成流形正则化,IEEE模式分析与机器智能汇刊,34,6,1227-1233,(2012)·doi:10.1109/tpami.2012.57
[11] 罗,Y。;陶,D.C。;耿,B。;徐,C。;Maybank,S.J.,用于半监督多标签图像分类的流形正则化多任务学习,IEEE图像处理汇刊,22,2,523-536,(2013)·Zbl 1373.94269号 ·doi:10.1109/tip.2012.2218825
[12] 贝尔金,M。;Niyogi,P.,用于降维和数据表示的拉普拉斯特征映射,神经计算,15,6,1373-1396,(2003)·Zbl 1085.68119号 ·doi:10.1162/089976603321780317
[13] Bucak,S.S。;金·R。;Jain,A.K.,《视觉对象识别的多核学习:综述》,IEEE模式分析和机器智能学报,36,7,1354-1369,(2014)·doi:10.1109/tpami.2013.212
[14] Gönen,M。;Alpaydñn,E.,《多核学习算法》,《机器学习研究杂志》,第12期,第2211-2268页,(2011年)·Zbl 1254.68204号 ·doi:10.1016/j.patcog.2012.09.02
[15] F.A.托巴尔。;Kung,S.-Y。;Mandic,D.P.,多核最小均方算法,IEEE神经网络和学习系统汇刊,25,2,265-277,(2014)·doi:10.1109/TNNLS.2013.2272594
[16] Xu,Y.-L。;陈德荣。;李海霞。;Liu,L.,和空间中的最小二乘正则回归,IEEE神经网络和学习系统汇刊,24,4,635-646,(2013)·doi:10.1109/TNNLS.2013.2242091
[17] 肖-泰勒,J。;Cristianini,N.,模式分析的核心方法,(2004),英国剑桥:剑桥大学出版社,英国剑桥
[18] 朱晓杰,《半监督学习文献调查》,计算机科学,TR 1530,(2008)
[19] Belhumeur,P.N。;赫斯帕尼亚,J.P。;Kriegman,D.J.,《特征脸与渔夫脸:使用类特定线性投影的识别》,IEEE模式分析与机器智能学报,19,7,711-720,(1997)·doi:10.1109/34.598228
[20] 信德瓦尼,V。;Niyogi,P。;Belkin,M.,《超越点云:从转导学习到半监督学习》,第22届机器学习国际会议论文集(ICML'05)
[21] 朱晓杰。;加赫拉马尼,Z。;Lafferty,J.,使用高斯场和调和函数的半监督学习,第20届机器学习国际会议论文集(ICML'03)
[22] 周,D。;O.布斯克。;拉尔,T·N。;韦斯顿,J。;Scholkopf,B.,《局部和全局一致性学习》,《神经信息处理系统进展》16,(2004)
[23] 聂,F.P。;徐,D。;Tsang,I.W。;Zhang,C.S.,《柔性流形嵌入:半监督和非监督降维框架》,IEEE图像处理汇刊,1921-1932,(2010)·Zbl 1371.94276号 ·doi:10.1109/tip.2010.2044958
[24] Fan,M.Y。;Gu,N.N。;乔·H。;Zhang,B.,半监督分类的稀疏正则化,模式识别,44,8,1777-1784,(2011)·Zbl 1218.68120号 ·doi:10.1016/j.patcog.2011.02.013
[25] 徐建伟。;Paiva,A.R.C。;公园,I。;Principe,J.C.,信息理论学习的再生内核希尔伯特空间框架,IEEE信号处理汇刊,56,12,5891-5902,(2008)·Zbl 1390.68560号 ·doi:10.1109/tsp.2008.2005085
[26] Liwicki,S。;Zafeiriou,S。;齐米罗普洛斯,G。;Pantic,M.,《视觉跟踪和识别用不确定核的高效在线子空间学习》,IEEE神经网络和学习系统学报,23,10,1624-1636,(2012)·doi:10.1109/TNNLS.2012.2208654
[27] 斯拉瓦基斯,K。;Bouboulis等人。;Theodoridis,S.,再生核hilbert空间中的自适应多元回归:多址MIMO信道案例,IEEE神经网络和学习系统交易,23,2,260-276,(2012)·doi:10.1109/tnnls.2011.2178321
[28] 李国强。;Wen,C.Y。;李振国。;张,A.M。;杨,F。;Mao,K.Z.,带内核的基于模型的在线学习,IEEE神经网络和学习系统汇刊,24,3,356-369,(2013)·doi:10.1109/tnnls.2012.229293
[29] Gurram,P。;Kwon,H.,使用希尔伯特空间嵌入进行高光谱分类的上下文SVM,IEEE地球科学和遥感快报,10,510031-1035,(2013)·doi:10.1109/LGRS.20122.227934
[30] 顾毅。;王,S。;Jia,X.,高光谱图像的多核希尔伯特空间光谱分解,IEEE地球科学与遥感汇刊,51,7,3968-3981,(2013)·doi:10.1109/TGRS.20122.227757
[31] 肖尔科夫,B。;Smola,A.J.,《用内核学习》(2001),美国马萨诸塞州剑桥:麻省理工学院出版社
[32] Wu,S。;Amari,S.-I.,《核函数的保角变换:改进支持向量机分类器的数据相关方法》,《神经处理快报》,15,1,59-67,(2002)·Zbl 1008.68741号 ·doi:10.1023/a:1013848912046
[33] Gurram,P。;Kwon,H.,用于高光谱分类问题的基于稀疏核的集成学习,具有完全优化的核参数,IEEE地球科学和遥感汇刊,51,2,787-802,(2013)·doi:10.1109/TGRS.2012.2203603
[34] 黄,J。;袁,P.C。;陈,W.S。;Lai,J.H.,在姿态和光照变化下选择核子空间LDA参数用于人脸图像识别,IEEE系统、人与控制论汇刊B部分:控制论,37,4,847-862,(2007)·doi:10.1109/tsmcb.2007.895328
[35] 兰克里特,G.R。;北卡罗来纳州克里斯蒂亚尼尼。;Bartlett,P。;Ghaoui,L.E。;Jordan,M.I.,用半定规划学习核矩阵,机器学习研究杂志,5,27-72,(2004)·Zbl 1222.68241号
[36] 阿科托马蒙杰,A。;巴赫,F。;卡努,S。;Grandvalet,Y.,SimpleMKL,《机器学习研究杂志》,9,2491-2521,(2008)·Zbl 1225.68208号
[37] Thiagarajan,J.J。;Ramamurthy,K.N。;Spanias,A.,监督和非监督学习的多核稀疏表示,IEEE图像处理汇刊,23,7,2905-2915,(2014)·Zbl 1374.68426号 ·doi:10.1109/TIP.2014.2322938
[38] 西姆·T。;贝克,S。;Bsat,M.,CMU姿势、照明和表情数据库,IEEE模式分析和机器智能汇刊,25,12,1615-1618,(2003)·doi:10.1109/tpami.2003.1251154
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。