×

基于Nyström的近似核子空间学习。 (英语) Zbl 1412.68202号

小结:在本文中,我们描述了一种在核方法中确定特征空间子空间的方法,该方法适用于大规模学习问题。所得空间中的线性模型学习对应于输入空间中的非线性模型学习过程。由于获得的特征空间仅由训练数据的特性决定,因此该方法可用于一般非线性模式识别。也就是说,可以将非线性数据映射视为利用训练数据之间的非线性关系的预处理步骤。线性技术随后可以应用于新的特征空间,因此,它们可以建模手头问题的非线性特性。为了适当地解决内核学习方法与时间和记忆复杂性相关的固有问题,我们采用了近似学习方法。我们表明,该方法可以获得相当大的运算速度增益,并取得很好的性能。实验结果验证了我们的分析。

理学硕士:

68吨10 模式识别、语音识别
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿奇利奥普塔斯,D。;McSherry,G。;Schölkopf,B.,《内核方法的采样技术》,高级神经信息处理。系统。,335-342 (2002)
[2] Argyriou,A。;米切利,C。;Pontil,M.,什么时候有代表性定理?向量与矩阵正则化器,J.Mach。学习。研究,102507-2529(2009)·Zbl 1235.68128号
[5] Balcan,M。;Blum,A。;Srebro,N.,《相似函数学习理论》,马赫。学习。,72, 89-112 (2008) ·Zbl 1470.68076号
[6] 贝尔阿巴斯,M。;Wolfe,P.,机器学习中的谱方法和超大数据集的新策略,Proc。国家。阿卡德。科学。,106, 369-374 (2009)
[8] Drineas出版社。;Kannan,R。;Mahoney,M.,矩阵的快速蒙特卡罗算法II计算矩阵的低阶近似,SIAM J.Compute。,36, 158-183 (2006) ·Zbl 1111.68148号
[10] Drineas出版社。;Mahoney,M.,《关于用NyströM方法逼近改进的基于核的学习的克矩阵》,J.Mach。学习。第6号决议,2153-2275(2005年)·Zbl 1222.68186号
[11] 杜达,R。;哈特,P。;Stork,D.,模式分类(2000),Wiley-Interscience
[12] 福尔克斯,C。;Belongie,S。;Chung,F。;Malik,J.,《使用Nyström方法进行光谱分组》,IEEE Trans。模式分析。机器。智力。,26, 214-225 (2004)
[13] Gisbrecht,A。;Schleif,F.,以线性成本进行度量和非度量邻近变换,神经计算,167,643-657(2015)
[14] 北哈尔科。;Martinsson,P。;Tropp,J.,《用随机概率算法寻找结构以构造近似矩阵分解》,SIAM Rev.,53,217-288(2011)·Zbl 1269.65043号
[16] Huang,G.等人。;周,H。;丁,X。;Zhang,R.,回归和多类分类极端学习机,IEEE Trans。系统。曼赛本。B部分:网络。,42, 513-529 (2012)
[17] Hughes,G.,《关于统计模式识别器的平均准确度》,IEEE Trans。Inf.理论,14,55-63(1968)
[18] Iosifidis,A。;Gabbouj,M.,《关于内核极限学习机器加速,模式识别》。莱特。,68, 205-210 (2015)
[19] 碘缺乏症,A。;特法斯,A。;Pitas,I.,核参考鉴别分析,模式识别。莱特。,49, 85-91 (2014)
[20] 碘缺乏症,A。;特法斯,A。;Pitas,I.,关于内核极限学习机器分类器,模式识别。莱特。,54, 11-17 (2015)
[21] 碘缺乏症,A。;特法斯,A。;Pitas,A.,图形嵌入式极限学习机,IEEE Trans。赛博。,46, 311-324 (2016)
[22] Kiranyaz,S。;因斯,T。;Gabbouj,M.,《机器学习和模式识别的多维粒子群优化》(2014),施普林格出版社
[23] 库马尔,S。;莫赫里,M。;Talwalkar,A.,《Nyström方法的取样方法》,J.Mach。学习。第13号决议,981-1006(2012)·Zbl 1283.68292号
[24] Kwak,N.,基于L1范数最大化的主成分分析,IEEE Trans。模式分析。机器。智力。,30, 1672-1980 (2008)
[25] Kwak,N.,《核方法中的非线性投影技巧》,IEEE Trans。神经网络。学习。系统。,24, 2113-2119 (2013)
[26] Lee,C。;Lin,C.,大尺度线性秩SVM,神经计算。,26, 781-817 (2014) ·Zbl 1410.68319号
[27] 米卡,S。;Schölkopf,B。;Smola,A。;米勒,K。;Scholz,M。;Rätsch,G.,《核主成分分析与特征空间去噪》,《高级神经信息处理》。系统。,11, 536-542 (1999)
[28] 米勒,K。;米卡,S。;Ratsch,G。;Tsuda,K。;Schölkopf,B.,基于内核的学习算法简介,IEEE Trans。神经网络。,12, 181-201 (2001)
[29] Ortiza,E。;Beckerb,B.,网络规模数据集的人脸识别,计算。视觉。图像理解。,118, 153-170 (2014)
[31] Rahimi,A。;Recht,B.,《大型内核机器的随机特性》,高级神经信息处理。系统。,1177-1184 (2007)
[33] Schleif,F。;Tiño,P.,不确定邻近学习综述,神经计算。,27, 2039-2096 (2015) ·Zbl 1472.68155号
[34] Schölkopf,B。;Smola,A。;Müller,K.,作为核特征值问题的非线性分量分析,神经计算。,10, 1299-1319 (1998)
[37] Sun,S。;赵,J。;Zhu,J.,《Nyström大规模机器学习方法综述》,Inf.Fusion,26,36-48(2015)
[38] 双胞胎,C。;Taylor,C.,《核主成分分析在数据分布建模中的应用》,模式识别。,36, 217-227 (2003) ·兹比尔1010.68206
[39] Vapnik,V.,《统计学习理论》(1998年),Wiley:Wiley纽约州纽约市·Zbl 0935.62007号
[40] Wermuth,N。;Riissmann,H.,对称矩阵乘积的特征分析及其统计应用,Scand。《美国统计杂志》,20,361-367(1993)·Zbl 0797.15009号
[42] 威廉姆斯,C。;Seeger,M.,《使用NyströM方法加速内核机器,神经信息处理》。系统。,682-688 (2001)
[43] 沃尔夫,L。;哈斯纳,T。;Maoz,I.,具有匹配背景相似性的无约束视频中的人脸识别,计算。视觉。模式识别。,529-534 (2011)
[44] 张凯。;Kwok,J.,大规模流形学习和降维的聚类Nyström方法,IEEE Trans。神经网络。,21, 1576-1587 (2010)
[45] 张凯。;兰·L。;郭,J。;Vucetic,S。;Parvin,B.,通过原型向量机扩大基于图形的半监督学习,IEEE Trans。神经网络。学习。系统。,26, 444-457 (2015)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。