×

通过(L_{1})范数最大化提高稀疏PCA的鲁棒性。 (英语) Zbl 1225.68202号

摘要:最近提出了各种稀疏主成分分析(PCA)方法,通过提取具有稀疏非零载荷的给定数据的主成分(PC)来增强经典PCA技术的可解释性。然而,这些方法的性能容易受到离群值和噪声的不利影响。为了解决这个问题,本文提出了一种新的稀疏PCA方法。与传统的稀疏主成分分析方法一样,新方法不是最大化输入数据的(L{2})范数方差,而是试图捕获数据的最大(L{1})模方差,这本质上对噪声和离群值不太敏感。该方法专门设计了一个简单的算法,该算法易于实现,并收敛于问题的局部最优。通过对多个合成和人脸重建问题的一系列实验,与经典PCA方法和其他典型稀疏PCA方法进行了比较,从理论上分析了该方法的效率和鲁棒性,并进行了实证验证。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H25个 因子分析和主成分;对应分析
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Jollife,I.,主成分分析(1986),Springer Verlag:Springer Verlag纽约
[2] 邹,H。;哈斯蒂,T。;Tibshirani,R.,《稀疏主成分分析》,《计算与图形统计杂志》,第15期,第265-286页(2006年)
[3] d'Aspremont,A。;El Ghaoui,L。;M.I.乔丹。;Lanckriet,G.R.,《使用半定规划的稀疏PCA的直接公式》,(神经信息处理系统进展,第17卷(2005),麻省理工学院出版社:麻省理学院出版社剑桥)·邮编1128.90050
[4] Journée,M。;内斯特罗夫,Y。;里奇塔里克,P。;Sepulchre,R.,稀疏主成分分析的广义幂法,《机器学习研究杂志》,11,451-487(2010)
[5] 西格,C.D。;Buhmann,J.M.,稀疏和非负PCA的期望最大化,(第25届国际机器学习会议论文集(2008),ACM,赫尔辛基:ACM,赫尔辛基-芬兰),960-967
[6] 陆振生,张扬,稀疏主成分分析的增广拉格朗日方法。数学规划,2009,doi:10.1007/s10107-011-0452-4;Z.S.Lu,Y.Zhang,稀疏主成分分析的增广拉格朗日方法。数学规划,2009,doi:10.1007/s10107-011-0452-4·Zbl 1263.90093号
[7] 莫加达姆,B。;韦斯,Y。;Avidan,S.,《稀疏PCA的谱界:精确和贪婪算法》(Advances in Neural Information Processing Systems,vol.18(2006),MIT出版社:麻省理工学院出版社,马萨诸塞州剑桥),915-922
[8] d'Aspremont,A。;巴赫,F.R。;Ghaoui,L.E.,稀疏主成分分析的最优解,机器学习研究杂志,9,1269-1294(2008)·Zbl 1225.68170号
[9] 麻省理工学院Jollife。;Uddin,M.,《基于套索的改进主成分技术》,《计算与图形统计杂志》,第12期,第531-547页(2003年)
[10] Jollife,I.,《主成分旋转:归一化约束的选择》,《应用统计学杂志》,22,29-35(1995)
[11] Cadima,J。;Jollife,I.,《主成分解释中的载荷和相关性》,《应用统计杂志》,22203-214(1995)
[12] Shen,H.P。;Huang,J.Z.,基于正则化低秩矩阵近似的稀疏主成分分析,多元分析杂志,991015-1034(2008)·Zbl 1141.62049号
[13] Sriperumbudur,B.K。;Torres,医学博士。;Lanckriet,G.R.G.,《通过D.C.编程实现稀疏特征值方法》,(第24届国际机器学习会议论文集(2007),Corvallis:Corvallis OR,USA),831-838
[14] 扎斯·R。;Shashua,A.,非负稀疏PCA,(神经信息处理系统进展,第19卷(2007),麻省理工学院出版社:麻省理工学院出版社,马萨诸塞州剑桥),1561-1568
[15] Kwak,N.,基于L1-形式最大化的主成分分析,IEEE模式分析和机器智能学报,301672-1680(2008)
[16] 拉托雷,F.D。;Black,M.J.,鲁棒子空间学习框架,国际计算机视觉杂志,54,1-3,117-142(2003)·Zbl 1076.68058号
[17] Aanas,H。;费斯克,R。;阿童木,K。;Carstensen,J.,稳健因子分解,IEEE模式分析和机器智能汇刊,241215-1225(2002)
[18] 丁,C。;Zhou博士。;何,X。;Zha,H.,R1-PCA:稳健子空间分解的旋转不变L1-形式主成分分析,(第23届机器学习国际会议论文集(2006),ACM:ACM匹兹堡,PA),281-288
[19] 巴奇尼,A。;Besse,P。;Falguerolles,A.D.,《L1-形式PCA和启发式方法》,顺序和符号数据分析,359-368(1996)·Zbl 0901.62077号
[20] 柯,Q。;Kanade,T.,通过替代凸规划在存在离群值和缺失数据的情况下进行鲁棒L1范数分解,(2005年IEEE计算机学会计算机视觉和模式识别会议论文集(2005),IEEE:IEEE圣地亚哥,美国),739-746
[21] Belhumeur,P.N。;赫斯帕尼亚,J.P。;Kriegman,D.J.,《特征脸与Fisherfaces:使用类特定线性投影进行识别》,IEEE模式分析和机器智能汇刊,19711-720(1997)
[22] Wright,J。;杨,A。;Ganesh,A。;Sastry,S。;Ma,Y.,通过稀疏表示实现鲁棒人脸识别,IEEE模式分析和机器智能汇刊,30,210-217(2009)
[23] E.Candes,X.D.Li,Y.Ma,J.Wright,稳健主成分分析?《美国医学会杂志》58(3)(2011),doi:10.1145/1970392.1970395;E.Candes,X.D.Li,Y.Ma,J.Wright,稳健主成分分析?ACM期刊58(3)(2011),doi:10.145/1970392.1970395·Zbl 1327.62369号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。