×

兹马思-数学第一资源

一种用于大规模判别分析的Rayleigh-Ritz型方法。(英语) Zbl 1341.62198
摘要:线性判别分析(LDA)是最常用的有监督特征提取和降维方法之一。然而,LDA的计算涉及到稠密矩阵的特征分解,这对于大规模问题非常耗时。本文提出了一种新的求解LDA问题的Rayleigh-Ritz判别分析(RRDA)算法。以往的研究大多集中在将广义特征值问题转化为最小二乘形式,而我们的方法是基于已建立的一般特征值问题的Rayleigh-Ritz框架,寻求直接求解LDA的广义特征值问题。利用LDA问题中的结构,我们可以为Rayleigh-Ritz过程设计定制和高效的子空间展开和提取策略。为了降低RRDA对高维、低样本数据的存储需求和计算复杂度,我们还建立了RRDA的等效简化模型。文中还讨论了该方法的实际实现和收敛结果。在多个实际数据集上的实验结果表明了该算法的性能。
理学硕士:
62小时30分 分类和区分;聚类分析(统计方面)
PDF格式 双歧杆菌 引用
全文: 内政部
参考文献:
[1] 黑斯蒂,T。;蒂比拉尼,R。;《统计学习的要素:数据挖掘、推理与预测》(2004),北京电子工业出版社
[2] 陶博士。C、 。;李,X。五十、 。;吴,X。D、 。;马来亚银行,S。J、 《步态识别的一般张量判别分析与Gabor特征》,IEEE。翻译。肛门模式。机器。国际,291700-1715,(2007年)
[3] 张,Z。H、 。;戴,G。A、 。;徐,C。F、 。;乔丹,M。一、 ,正则化判别分析,岭回归等。机器。学习。第11期,第2199-2228页,(2010年)·Zbl 1242.62067
[4] 陶博士。C、 。;李,X。五十、 。;吴,X。D、 。;马来亚银行,S。J、 ,几何平均子空间选择,IEEE。翻译。肛门模式。机器。国际期刊,31260-274,(2009年)
[5] 边,W。;陶博士。C、 ,用序贯sdp松弛进行降维的最大-最小距离分析,IEEE。翻译。肛门模式。机器。国际,331037-1050,(2011年)
[6] 李,J。;Tao,D.关于在贝叶斯PCA中保留原始变量及其在图像分析中的应用,IEEE Trans。图像处理,214830-4843,(2012)·Zbl 1373.94232
[7] 他,X。F、 。;Niyogi,P.,局部保留投影,高级神经。信息处理。系统,16,16,153-160,(2004)
[8] 他,X。F、 。;严,S。C、 。;胡,Y。十、 。;Niyogi,P。;张,H。J、 ,使用拉普拉斯脸的人脸识别,IEEE。翻译。肛门模式。机器。国际期刊,27328-340,(2005年)
[9] D。蔡X。他,J。韩,半监督判别分析,载:IEEE国际计算机视觉会议论文集,2007年,巴西里约热内卢。
[10] 耿乙。;陶,D。;徐,C。;杨,L。;Hua,X.-S.,系综流形正则化,IEEE。翻译。肛门模式。机器。国际,341227-1233,(2012年)
[11] 严,S。C、 。;徐博士。;张,B。Y、 。;张,H。J、 。;杨,Q。;林,S.,《图嵌入与扩展:降维的一般框架》,IEEE。翻译。肛门模式。机器。国际,29,40-51,(2007年)
[12] 张,T。H、 。;陶博士。C、 。;李,X。五十、 。;Yang,J.,用于降维的补丁对齐,IEEE Trans。知道。数据工程,211299-1313,(2009)
[13] 贝尔胡默尔。N、 。;赫斯帕尼亚,J。P、 。;克里格曼,D。J、 《特征脸与鱼面:使用类特定线性投影进行识别》,IEEE。翻译。肛门模式。机器。国际,19711-720,(1997年)
[14] 叶,J。;李,T。;熊,T。;Janardan,R.,利用基因表达数据进行组织分类的不相关判别分析,IEEE/ACM Trans。计算机。生物。生物信息学,181-190,(2004)
[15] 杨,J。;弗兰基,A。F、 。;张博士。;Jin,Z.,Kpca plus lda:特征提取与识别的完整核Fisher判别框架,IEEE。翻译。肛门模式。机器。国际期刊,27,230-244,(2005年)
[16] 蔡博士。;他,X。F、 。;韩,J。W、 SRDA:一种有效的大规模判别分析算法,IEEE Trans。知道。数据工程,20,1-12,(2008)
[17] 蔡博士。;他,X。;Han,J.,加速核判别分析,VLDB J.,20,21-33,(2011)
[18] L。太阳,S。吉,J。叶,机器学习中一类广义特征值问题的最小二乘公式,载:国际机器学习会议论文集,ACM,2009,第977-984页。
[19] J。叶,最小二乘线性判别分析,载:国际机器学习会议论文集,计算机械协会,2007年,第1087-1093页。
[20] 五十、 -P。刘,Y。江,Z.-H。周,最小二乘增量线性判别分析,载:IEEE国际数据挖掘会议论文集,电气与电子工程学会,2009年,第298-306页。
[21] L。太阳,B。瑟兰,J。叶,一类降维技术的可伸缩两阶段方法,载:ACM-SIGGDD国际知识发现与数据挖掘会议论文集,计算机械协会,2010,第313-322页。
[22] Z。张,G。Dai,M.I.Jordan,正则化fisher判别分析的灵活高效算法,载:欧洲数据库机器学习和知识发现会议论文集,Springer Verlag,2009,第632-647页。
[23] 艾夫伦,H。;Ng,E。;Toledo,S.,使用扰动qr分解来解决线性最小二乘问题,SIAM J。母体肛门。申请书,31674-693,(2009年)·Zbl 1195.65048
[24] 阿布西尔,P.-A。;贝克,C。;Gallivan,K.,对称广义特征值问题的截断CG型方法,J。计算机。申请。数学,189274-285,(2006)·Zbl 1090.65042
[25] 阿尔本斯,P。;哥鲁布,G。H、 ,关于低秩摄动修正厄米特矩阵的谱分解及其应用。母体肛门。申请书,9,40,(1988年)·浙宝0646.65033
[26] 叶,J。;熊天勇,零空间的计算与理论分析与正交线性判别分析,J。机器。学习。第71183-1204号决议(2006年)·Zbl 1222.62082
[27] 霍兰德,P。;Park,H.,使用广义奇异值分解的广义判别分析,IEEE。翻译。肛门模式。机器。国际,26995-1006,(2004年)
[28] 贾,Y。;聂,F。;Zhang,C.,迹比问题再讨论,IEEE Trans。神经网络,20729-735,(2009)
[29] Kokiopoulou,东。;陈杰。;Saad,Y.降维方法中的轨迹优化和特征问题,数值。《线性代数应用》,18565-602,(2011年)·Zbl 1249.65075
[30] 李,H。F、 。;江,T。;张,K。S、 ,基于最大裕度准则的高效鲁棒特征提取。神经网络,17157-165,(2006)
[31] 纪,S。W、 。;是的,J。P、 ,广义线性判别分析:统一框架和有效模型选择,IEEE Trans。神经网络,191768-1782,(2008)
[32] 是的,J。P、 《欠采样问题广义判别分析算法族的特征》,J。机器。学习。第6483-502号决议,(2005年)·Zbl 1222.62081
[33] 弗里德曼,J。H、 ,正则判别分析。是。《联邦公报》第175-84页,(1989年)
[34] 刘杰。;陈,S。;Tan,X.,小样本问题中基于三种线性判别分析方法的研究,模式识别,41,102-116,(2008)·Zbl 1119.68180
[35] 张,L。H、 ,欠采样问题的不相关道比值线性判别分析,模式识别。利特,32476-484,(2011年)
[36] 朱德。;吴,S。T、 。;洪,Y,欠采样不相关线性判别分析问题所有解的特征化,暹罗J。母体肛门。申请书,32820,(2011年)·Zbl 1229.62084
[37] 杨,H。;杨,J。Y、 ,为什么可以在pca变换空间中执行lda?,《模式识别》,36563-566,(2003)
[38] 王,J。;你,J。;李,Q。;徐勇,等,正交判别向量在人脸识别中的应用,模式识别,,(2012)·Zbl 1248.68446
[39] Nojun,K.,回归问题的核判别分析,模式识别,452019-2031,(2012)·Zbl 1233.68190号
[40] 哥鲁布,G。H、 。;范洛恩,C。F、 《矩阵计算》(1996),约翰霍普金斯大学出版社·Zbl 0865.65009
[41] 福克马,D。R、 。;斯莱彭,G。五十、 G。;范德沃斯特,H。A、 ,雅各比-戴维森式矩阵铅笔简化的QR和QZ算法,SIAM J。科学。计算机,20,94-125,(1998)·Zbl 0924.65027
[42] Notay,Y.,Jacobi-Davidson和共轭梯度对部分对称特征问题的组合,Numer。线性代数应用,9,21-44,(2002)·Zbl 1071.65516号
[43] 克尼亚泽夫。五、 面向最优预处理特征解:局部最优块预处理共轭梯度法,SIAM J。科学。计算机,23517-541,(2002年)·Zbl 0992.65028
[44] 哥鲁布,G。H、 。;叶,Q,对称广义特征值问题的逆自由预处理Krylov子空间方法,SIAM J。科学。计算机,24312-334,(2003年)·Zbl 1016.65017
[45] 减速,H。P、 ,Cayley-Hamilton定理在广义矩阵反演中的应用,暹罗出版社,7526-528,(1965)·Zbl 0178.35504
[46] D。蔡,X。王,X。何,具有局部和全局一致性的概率二进数据分析,载:国际机器学习会议论文集,ACM,2009,第105-112页。
[47] 十。Niyogi,位置保护预测,麻省理工学院出版社,剑桥,MA(2004)153。
[48] 严,S。;徐博士。;张,B。;张,H。J、 。;杨,Q。;林,S.,《图嵌入与扩展:降维的一般框架》,IEEE。翻译。肛门模式。机器。国际,29,40-51,(2007年)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。