×

用于大规模判别分析的Rayleigh-Ritz风格方法。 (英语) Zbl 1341.62198号

摘要:线性判别分析(LDA)是有监督特征提取和降维最常用的方法之一。然而,LDA的计算涉及到密集矩阵的特征分解,对于大规模问题来说,这是一个耗时的过程。本文提出了一种有效求解LDA的新算法,称为Rayleigh-Ritz判别分析(RRDA)。虽然先前的许多研究都集中于将广义特征值问题转换为最小二乘公式,但我们的方法是基于公认的Rayleigh-Ritz框架来解决一般特征值问题,并寻求直接求解LDA的广义特征值。通过利用LDA问题中的结构,我们能够为Rayleigh-Ritz过程设计定制的高效子空间扩展和提取策略。为了降低高维、低样本数据的RRDA存储需求和计算复杂性,我们还建立了RRDA的等效简化模型。文中还讨论了该方法的实际实现和收敛结果。我们在几个真实数据集上的实验结果表明了该算法的性能。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 哈斯蒂,T。;Tibshirani,R。;弗里德曼,J.,《统计学习的要素:数据挖掘、推理和预测》(2004),电子工业出版社:北京电子工业出版社
[2] 陶博士。;Li,X.L。;吴晓东。;Maybank,S.J.,步态识别的通用张量判别分析和Gabor特征,IEEE。事务处理。模式分析。马赫。智力。,29, 1700-1715 (2007)
[3] 张振华。;戴,G.A。;徐,C.F。;Jordan,M.I.,正则化判别分析,岭回归及其以外,J.Mach。学习。第11号决议,2199-2228(2010年)·Zbl 1242.62067号
[4] 陶博士。;Li,X.L。;吴晓东。;Maybank,S.J.,子空间选择的几何平均值,IEEE。事务处理。模式分析。马赫。智力。,31, 260-274 (2009)
[5] 卞,W。;Tao,D.C.,使用序列sdp松弛进行降维的Max-min距离分析,IEEE。事务处理。模式分析。马赫。智力。,33, 1037-1050 (2011)
[6] 李,J。;Tao,D.,关于在贝叶斯主成分分析中保留原始变量及其在图像分析中的应用,IEEE Trans。图像处理。,21, 4830-4843 (2012) ·Zbl 1373.94232号
[7] 何,X.F。;Niyogi,P.,局部保持投影,高级神经。信息处理。系统。,16, 16, 153-160 (2004)
[8] 何,X.F。;闫S.C。;胡玉霞。;Niyogi,P。;Zhang,H.J.,使用拉普拉斯人脸的人脸识别,IEEE。事务处理。模式分析。马赫。智力。,27, 328-340 (2005)
[10] 耿,B。;陶,D。;徐,C。;Yang,L。;华晓生,集合流形正则化,IEEE。事务处理。模式分析。马赫。智力。,34, 1227-1233 (2012)
[11] 闫S.C。;徐,D。;张碧玉。;张海杰。;杨琼。;Lin,S.,图嵌入和扩展:降维的一般框架,IEEE。事务处理。模式分析。马赫。智力。,29, 40-51 (2007)
[12] Zhang,T.H。;陶博士。;李,X.L。;Yang,J.,用于降维的补丁对齐,IEEE Trans。知识。数据工程,21,1299-1313(2009)
[13] Belhumeur,P.N。;赫斯帕尼亚,J.P。;Kriegman,D.J.,《特征脸与渔夫脸:使用特定类别线性投影的识别》,IEEE。事务处理。模式分析。马赫。智力。,19, 711-720 (1997)
[14] Ye,J。;李·T。;熊,T。;Janardan,R.,使用不相关判别分析对基因表达数据进行组织分类,IEEE/ACM Trans。计算。生物.生物信息学,1181-190(2004)
[15] 杨,J。;Frangi,A.F。;张,D。;Jin,Z.,Kpca plus lda:用于特征提取和识别的完整核Fisher判别框架,IEEE。事务处理。模式分析。马赫。智力。,27, 230-244 (2005)
[16] 蔡,D。;何,X.F。;Han,J.W.,SRDA:大规模判别分析的有效算法,IEEE Trans。知识。数据工程,20,1-12(2008)
[17] 蔡,D。;何,X。;Han,J.,加速核判别分析,VLDB J.,20,21-33(2011)
[23] Avron,H。;Ng、E。;Toledo,S.,《使用扰动qr分解解决线性最小二乘问题》,SIAM J.矩阵分析。申请。,31, 674-693 (2009) ·Zbl 1195.65048号
[24] Absil,P.-A.公司。;贝克,C。;Gallivan,K.,对称广义特征值问题的截断-CG型方法,J.计算。申请。数学。,189, 274-285 (2006) ·Zbl 1090.65042号
[25] 阿本茨,P。;Golub,G.H.,关于低秩扰动修正的厄米矩阵的谱分解及其应用,SIAM J.矩阵分析。申请。,9,40(1988年)·Zbl 0646.65033号
[26] Ye,J。;Xiong,T.,零空间和正交线性判别分析的计算和理论分析,J.Mach。学习。第7号决议,1183-1204(2006)·Zbl 1222.62082号
[27] Howland,P。;Park,H.,使用广义奇异值分解的广义判别分析,IEEE。事务处理。模式分析。马赫。智力。,26, 995-1006 (2004)
[28] 贾毅。;聂,F。;Zhang,C.,重新审视跟踪比问题,IEEE Trans。神经网络,20729-735(2009)
[29] Kokiopoulou,E。;陈,J。;Saad,Y.,《降维方法中的轨迹优化和特征问题》,Numer。线性代数应用。,18, 565-602 (2011) ·Zbl 1249.65075号
[30] Li,H.F。;姜涛(Jiang,T.)。;Zhang,K.S.,基于最大裕度准则的高效稳健特征提取,IEEE Trans。神经网络,17157-165(2006)
[31] 纪S.W。;Ye,J.P.,《广义线性判别分析:统一框架和有效模型选择》,IEEE Trans。神经网络,201768-1782(2008)
[32] Ye,J.P.,欠采样问题广义判别分析算法族的特征,J.Mach。学习。第6483-502号决议(2005年)·Zbl 1222.62081号
[33] Friedman,J.H.,正则化判别分析,J.Am.Stat.Assoc.,84,165-175(1989)
[34] 刘杰。;陈,S。;Tan,X.,基于线性判别分析的三种方法在小样本问题中的研究,模式识别。,41, 102-116 (2008) ·Zbl 1119.68180号
[35] Zhang,L.H.,欠采样问题的不相关迹比线性判别分析,模式识别。莱特。,32, 476-484 (2011)
[36] 朱,D。;Goh,S.T。;Hung,Y.,欠采样不相关线性判别分析问题所有解的表征,SIAM J.矩阵分析。申请。,32, 820 (2011) ·Zbl 1229.62084号
[37] Yang,H。;Yang,J.Y.,为什么lda可以在pca变换的空间中执行?,模式识别。,36, 563-566 (2003)
[38] Wang,J。;你,J。;李强。;Xu,Y.,跨姿势人脸识别的正交鉴别向量,模式识别。(2012) ·Zbl 1248.68446号
[39] Nojun,K.,回归问题的核判别分析,模式识别。,45, 2019-2031 (2012) ·Zbl 1233.68190号
[40] Golub,G.H。;Van Loan,C.F.,《矩阵计算》(1996),约翰霍普金斯大学出版社·Zbl 0865.65009号
[41] Fokkema,D.R。;Sleijpen,G.L.G。;Van der Vorst,H.A.,Jacobi-Davidson风格的QR和QZ矩阵铅笔简化算法,SIAM J.Sci。计算。,1994年12月20日至125日(1998年)·Zbl 0924.65027号
[42] Notay,Y.,部分对称特征值问题的Jacobi-Davidson和共轭梯度组合,Numer。线性代数应用。,9, 21-44 (2002) ·Zbl 1071.65516号
[43] Knyazev,A.V.,朝向最优预处理特征解算器:局部最优块预处理共轭梯度法,SIAM J.Sci。计算。,23, 517-541 (2002) ·Zbl 0992.65028号
[44] Golub,G.H。;Ye,Q.,对称广义特征值问题的反自由预条件Krylov子空间方法,SIAM J.Sci。计算。,24, 312-334 (2003) ·Zbl 1016.65017号
[45] Decell,H.P.,Cayley-Hamilton定理在广义矩阵反演中的应用,SIAM Rev.,7526-528(1965)·Zbl 0178.35504号
[48] Yan,S。;徐,D。;张,B。;张海杰。;杨琼。;Lin,S.,图嵌入和扩展:降维的一般框架,IEEE。事务处理。模式分析。马赫。智力。,29, 40-51 (2007)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。