×

MBLDA:一种新的多类间线性判别分析。 (英语) Zbl 1428.68263号

摘要:线性判别分析(LDA)及其扩展是一组经典的监督学习降维方法。然而,当某些类与其他类相距较远时,由于类间散布的平均值,LDA可能很难找到最佳方向。此外,由于需要求解所涉及的广义特征值问题,LDA对于高维问题总是很耗时。本文提出了一种用于降维的多类间线性判别分析(MBLDA)。MBLDA通过逼近一个min-max规划问题的解来找到变换方向,从而在缩减的空间中具有很好的可分性,在高维问题上具有较快的学习速度。理论证明,该方法可以通过求解欠定齐次线性方程组来处理特殊的广义特征值问题。在人工数据集和基准数据集上的实验结果表明,MBLDA不仅可以将维数降到强大的线性判别水平,而且具有较快的学习速度。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

KPCA加LDA
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abbasifard,M.R。;Ghahremani,B。;Naderi,H.,《最近邻搜索方法调查》,国际J.Compu。申请。,95, 25 (2014)
[2] Arlot,S。;Celisse,A.,模型选择交叉验证程序调查,统计师。调查,4,40-79(2010)·Zbl 1190.62080号
[3] Belhumeur,P.N。;赫斯帕尼亚,J.P。;Kriegman,D.,特征面与鱼面:使用特定类别线性投影的识别,模式分析。马赫。智力。,IEEE交易。,19, 7, 711-720 (1997)
[7] Chen,L.F。;Liao,H.Y。;Ko,M.T。;Lin,J.C。;Yu,G.J.,一种新的基于lda的人脸识别系统,可以解决小样本问题,模式识别。,33, 10, 1713-1726 (2000)
[8] 陈,X。;Xiao,Y。;蔡,Y。;Chen,L.,用于特征提取的结构最大边缘判别分析,Knowl-基于系统。,70, 154-166 (2014)
[9] Cheong,H.P。;Haesun,P.,广义线性判别分析算法的比较,模式识别。,41083-1097(2008年)·Zbl 1132.68656号
[10] Ching,W.K。;朱,D。;廖立中。;王欣,正则化正交线性判别分析,模式识别。,45, 7, 2719-2732 (2012) ·Zbl 1236.62067号
[11] 科尔曼,T.H。;Leiserson,C.E。;Rivest,R.L。;Stein,C.,算法导论(2001),麻省理工学院出版社剑桥·Zbl 1047.68161号
[12] 科尔特斯,C。;Vapnik,V.N.,支持向量网络,机器学习。,20273-297(1995年)·Zbl 0831.68098号
[13] 邓,纽约。;田永杰。;Zhang,C.H.,《支持向量机:理论、算法和扩展》(2012),费城CRC出版社
[14] 邓,W。;胡,J。;Guo,J.,Extended src:通过类内变体字典进行欠采样人脸识别,Pattern Anal。机器集成。,IEEE传输。,34, 9, 1864-1870 (2012)
[15] 杜达,R.O。;哈特,体育。;Stork,D.G.,《模式分类》(2012),John Wiley&Sons
[16] 风扇,Z。;Xu,Y。;张,D.,使用样本邻域的局部线性判别分析框架,IEEE Trans。神经网络。,22, 7, 1119-1132 (2011)
[17] 高,X。;王,X。;李,X。;陶德,基于散度分析的转移潜变量模型,模式识别。,44, 10, 2358-2366 (2011) ·Zbl 1218.68122号
[18] 高,X。;王,X。;陶,D。;Li,X.,用于降维的监督高斯过程潜在变量模型,系统。,人,赛博。,B部分,41,2,425-434(2011)
[19] Golub,G.H。;Van,L.公司。;Charles,F.,《矩阵计算》。1996年,308-390(1996),约翰·霍普金斯大学,出版社:约翰·霍普金大学,美国马里兰州巴尔的摩出版社·Zbl 0865.65009号
[20] 何,X.F。;闫S.C。;胡玉霞。;Niyogi,P。;张海杰,使用拉普拉斯人脸进行人脸识别,模式分析。机器智能。,IEEE传输。,27, 3, 328-340 (2005)
[21] Howland,P。;Jeon,M。;Park,H.,基于广义奇异值分解的聚类文本数据保结构降维,SIAM J.Matrix Ana。申请。,25, 1, 165-179 (2003) ·Zbl 1061.68135号
[22] 季S。;Ye,J.,广义线性判别分析:一个统一的框架和有效的模型选择,神经网络。,IEEE传输。,1768-1782年10月19日(2008年)
[23] Jolliffe,I.,主成分分析(2005),威利在线图书馆·Zbl 1011.62064号
[24] Junior,J。;Backes,A.,《利用线段统计进行形状分类》,《信息科学》。,305, 349-356 (2015)
[25] Larose,D.T.,k-最近邻算法,发现知识。数据,90-106(2005)
[26] Li,C.N。;Shao,Y.H。;邓,N.Y.,稳健l1-范数二维线性判别分析,神经网络。,65, 92-104 (2015) ·Zbl 1394.68298号
[27] Marsland,S.,《机器学习:算法视角》(2014),CRC出版社
[29] 迈克尔,G。;Stephen,B.,非光滑凸程序的图形实现,(Blondel,V.;Boyd,S.;Kimura,H.,《学习和控制的最新进展》(2008),Springer-Verlag Limited),95-110·Zbl 1205.90223号
[31] Release,M.,The Mathworks(2012),Inc.,Natick:Inc.,美国马萨诸塞州Natick
[32] Schölkopf,B。;Alexander,J.S.,《内核方法的进展——支持向量学习》(1998),马萨诸塞州:麻省理工学院出版社·Zbl 0935.68084号
[33] 邵,J。;Wang,Y。;邓,X。;王珊,高维数据的阈值稀疏线性判别分析,年鉴统计。,39, 2, 1241-1265 (2011) ·Zbl 1215.62062号
[34] 邵,J。;Wang,Y。;邓,X。;Wang,S.,高维数据的阈值稀疏线性判别分析,统计学年鉴,39,2,1241-1265(2011)·Zbl 1215.62062号
[35] Shao,Y.H。;邓,纽约,《主成分分析与最小二乘意义下最接近平面的等价性》,J.Optim。理论应用。,166, 1, 278-284 (2014) ·兹比尔1322.15005
[36] Shao,Y.H。;邓,纽约。;Chen,W.J.,具有一致性的近端量词,Knowl-基于系统。,49, 171-178 (2013)
[37] 陶,D。;Cheng,J。;林,X。;Yu,J.,基于rgb-d传感器的场景分类的局部结构保留判别投影,Inf.Sci。,320, 383-394 (2015)
[38] Veenman,C.J。;Reinders,M.J.T;Backer,E.,最大方差聚类算法,模式分析。马赫。智力。IEEE传输。,24, 9, 1273-1280 (2002)
[39] 王,D。;高,X。;Wang,X.,通过约束传播的半监督非负矩阵分解,IEEE Trans。赛博。,46, 1, 233-244 (2016)
[40] 王,Z。;Shao,Y.H。;Bai,L。;邓,纽约,用于聚类的双支持向量机,神经网络。学习。系统。,IEEE传输。,26, 10, 2583-2588 (2015)
[41] 黄曲霉,P。;帕尔达洛斯,P.M。;Trafalis,T.B.,线性判别分析,稳健数据挖掘,27-33(2013),Springer·兹比尔1260.90003
[42] 黄曲霉,P。;帕尔达洛斯,P.M。;Trafalis,T.B.,主成分分析,稳健数据挖掘,21-26(2013),Springer·Zbl 1260.90003号
[43] 徐,B。;黄,K。;Liu,C.L.,通过最小距离最大化降低维数,模式识别(ICPR),2010年第20届国际会议,569-572(2010),IEEE
[44] 杨,J。;Frangi,A.F。;杨,J。;张,D。;Jin,Z.,Kpca plus lda:用于特征提取和识别的完整核fisher判别框架,模式分析。马赫。智力。IEEE传输。,27, 2, 230-244 (2005)
[45] 杨,J。;Yang,J.Y.,为什么lda可以在pca变换的空间中执行?,模式识别。,36, 2, 563-566 (2003)
[46] Yang,L。;Chen,S.,最差类间分离和平均类内紧性的线性判别分析,前沿计算。科学。,785-792年8月5日(2014年)
[47] Yang,L。;Chen,S.,最差类间分离和平均类内紧性的线性判别分析,前沿计算。科学。,8, 5, 785-792 (2014)
[48] 姚,C。;卢,Z。;李,J。;Xu,Y。;Han,J.,改进线性判别分析的子集方法,神经计算,138,310-315(2014)
[49] Zahn,C.T.,检测和描述格式塔簇的图论方法,计算。IEEE传输。,100, 1, 68-86 (1971) ·Zbl 0264.68040号
[50] 张,L。;Wang,L。;Lin,W.,基于内容的图像检索的广义偏差判别分析,系统。人类网络。B部分IEEE Trans。,42, 1, 282-290 (2012)
[51] Zhang,Y。;Yeung,D.Y.,最坏情况线性判别分析,神经信息处理系统进展,2568-2576(2010)
[52] 张,Z。;戴,G。;徐,C。;Jordan,M.I.,正则化判别分析,岭回归及超越,J.Mach。学习。第11号决议,2199-2228(2010年)·Zbl 1242.62067号
[53] 赵,H。;袁P.C.,人脸识别的增量线性判别分析,系统。,人,赛博。,B部分,38,1210-221(2008)
[54] 郑伟。;赵,L。;Zou,C.,解决lda小样本问题的有效算法,模式识别。,37, 5, 1077-1079 (2004) ·Zbl 1072.68557号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。