×

避免基于最优均值{2,1}范数最大化的鲁棒PCA重建。 (英文) Zbl 1418.62245号

摘要:稳健主成分分析(PCA)是处理具有离群值的高维数据的最重要的降维技术之一。然而,现有的鲁棒PCA大多假设数据的均值为零,并错误地将数据的均值用作鲁棒PCA的最优均值。事实上,这个假设只适用于基于平方范数的传统主成分分析。在这封信中,我们等价地重新定义了传统主成分分析的目标,并通过基于(ell{2,1})范数最大化每对实例之间的投影差之和来学习最佳投影方向。该方法对异常值具有鲁棒性,对旋转也具有不变性。更重要的是,重新制定的目标不仅自动避免计算最优平均值,而且不需要假设数据中心化,而且在理论上与最小化重建误差有关。为了解决提出的非光滑问题,我们利用有效率的优化算法,通过迭代地重新加权每个数据点来软化离群值的贡献。我们从理论上分析了该算法的收敛性和计算复杂度。在几个基准数据集上的大量实验结果表明了该方法的有效性和优越性。

MSC公司:

62H25个 因子分析和主成分;对应分析
62克35 非参数稳健性
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Cai,D.、He,X.、Hu,Y.、Han,J.和Huang,T.(2007)。学习用于人脸识别的空间光滑子空间。IEEE计算机视觉和模式识别会议论文集。新泽西州皮斯卡塔韦:IEEE,
[2] Candès,E.J.、Li,X.、Ma,Y.和Wright,J.(2011)。稳健的主成分分析?ACM期刊,58,11·Zbl 1327.62369号
[3] Chang,X.,Nie,F.,Ma,Z.,Yang,Y.,&Zhou,X.(2015)。谱收缩聚类的凸公式。第二十届AAAI人工智能会议论文集(第2532-2538页)。马萨诸塞州剑桥:麻省理工学院出版社。
[4] Chang,X.、Nie,F.、Wang,S.、Yang,Y.、Zhou,X.和Zhang,C.(2015)。双线性分析的复合秩-##img##预测。IEEE神经网络和学习系统汇刊,271502-1513,
[5] Chang,X.,Nie,F.,Yang,Y.,&Huang,H.(2014)。用于特征分析的凸稀疏PCA。arXiv:1411.6233
[6] Dailey,M.N.、Joyce,C.、Lyons,M.J.、Kamachi,M.、Ishi,H.、Gyoba,J.和Cottrell,G.W.(2010年)。面部表情识别中文化差异的证据和计算解释。情绪,10874,
[7] De Lathauwer,L.(1997)。基于多重线性代数的信号处理。鲁汶:鲁汶卡索利克大学。
[8] 丁C.、周D.、何X.和查H.(2006)。R1-PCA:旋转不变量##img##-稳健子空间分解的范数主成分分析。机器学习国际会议论文集。纽约:ACM,
[9] Gottumukkal,R.和Asari,V.K.(2004)。一种改进的基于模块PCA方法的人脸识别技术。模式识别字母,25229-436,
[10] He,R.,Hu,B.,Zheng,W.,&Kong,X.(2011)。基于最大相关熵准则的稳健主成分分析。IEEE图像处理汇刊,20,1485-1494·Zbl 1372.94369号
[11] Huang,H.和Ding,C.(2008)。使用##img##范数的稳健张量因式分解。IEEE计算机视觉和模式识别会议论文集。新泽西州皮斯卡塔韦:IEEE。
[12] Jolliffe,I.(2002)。主成分分析。纽约:Wiley·Zbl 1011.62064号
[13] Ke,Q.和Kanade,T.(2005)。在存在离群值和缺失数据的情况下,通过替代凸规划实现鲁棒##img##范数分解。IEEE计算机视觉和模式识别会议论文集。新泽西州皮斯卡塔韦:IEEE。
[14] Kim,C.和Choi,C.-H.(2007年)。基于图像协方差的子空间人脸识别方法。模式识别,40,1592-1604·兹比尔1107.68463
[15] Kong,D.、Ding,C.和Huang,H.(2011)。使用##img##-范数的稳健非负矩阵分解。《ACM信息和知识管理国际会议论文集》。纽约:ACM,
[16] Kwak,N.(2008)。基于##img##范数最大化的主成分分析。IEEE模式分析和机器智能汇刊,301672-1680,
[17] Kwak,N.(2014)。通过##img##-范数最大化进行主成分分析。IEEE控制论汇刊,44,594-609,
[18] Li,B.N.,Yu,Q.,Wang,R.,Xiang,K.,Wang.,&Li,X.(2016)。用非自由##img##范数最大化进行块主成分分析。IEEE控制论汇刊,46,2543-2547,
[19] Li,X.,Pang,Y.,&Y.Y.(2010)。基于L1-范式的2dpca。IEEE系统、人与控制论汇刊,B部分,40,1170-1175,
[20] Liu,Y.,Liu,Y.,&Chan,K.C.(2010)。通过##img##范数优化实现多线性最大距离嵌入。在人工智能发展协会会议记录中。
[21] Luo,M.、Nie,F.、Chang,X.、Yang,Y.、Hauptmann,A.G.和Zheng,Q.(2016)。使用非贪婪##img##范数最大化避免最优均值鲁棒PCA/2DPCA。《国际人工智能联合会议论文集》。马萨诸塞州剑桥:麻省理工学院出版社。
[22] Markopoulos,P.P.、Karystinos,G.N.和Pados,D.A.(2014年)。子空间信号处理的优化算法。IEEE图像处理汇刊,625046-5058·Zbl 1394.94375号
[23] Martinez,A.M.(1998年)。AR人脸数据库(CVC技术报告)。西拉斐特,印第安纳州:普渡大学。
[24] Meng,D.,Zhao,Q.,&Xu,Z.(2012)。通过l1-范数最大化提高稀疏主成分分析的鲁棒性。模式识别,45,487-497·Zbl 1225.68202号
[25] Messer,K.、Matas,J.、Kittler,J.、Luettin,J.和Maitre,G.(1999年)。XM2VTSDB:扩展的M2VTS数据库。第二届基于音频和视频的生物特征身份验证国际会议论文集。
[26] Nene,S.A.、Nayar,S.K.和Murase,H.(1996年)。哥伦比亚物体图像库(COIL-20)(技术报告CUCS-005-96)。纽约:哥伦比亚大学。
[27] Nie,F.和Huang,H.(2016)。非自由##img##-主成分分析的范数最大化。arXiv:1603.08293
[28] 聂凤、黄宏、蔡欣、丁春秋(2010)。通过联合##img##范数最小化进行高效且稳健的特征选择。J.D.Lafferty、C.K.I.Williams、J.Shawe-Taylor、R.S.Zemel和A.Culotta(编辑),《神经信息处理系统的进展》,第23页。纽约州红钩市:Curran。
[29] Nie,F.、Huang,H.、Ding,C.、Luo,D.和Wang,H.(2011)。具有非贪婪##img##范数最大化的稳健主成分分析。《国际人工智能联合会议论文集》。马萨诸塞州剑桥:麻省理工学院出版社。
[30] Nie,F.、Yuan,J.和Huang,H.(2014)。最优均值稳健主成分分析。机器学习国际会议论文集。纽约:ACM。
[31] Oh,J.,&Kwak,N.(2016年)。稳健主成分分析的广义平均值。模式识别,54,116-127,
[32] Pang,Y.,Li,X.,&Y.Y.(2010)。使用##img##-范数进行稳健张量分析。IEEE视频技术电路和系统汇刊,20,172-178,
[33] Parsons,L.、Haque,E.和Liu,H.(2004年)。高维数据的子空间聚类:综述。SIGKDD探索,690-105,
[34] Samaria,F.S.和Harter,A.C.(1994年)。人脸识别随机模型的参数化。第二届IEEE计算机视觉应用研讨会论文集。新泽西州皮斯卡塔韦:IEEE,
[35] Torre,F.D.和Black,M.J.(2001)。计算机视觉的稳健主成分分析。计算机视觉国际会议论文集。新泽西州皮斯卡塔韦:IEEE。
[36] Wang,J.(2016)。基于##img##范数的广义二维主成分分析用于图像分析。IEEE控制论汇刊,46,792-803,
[37] Wang,R.,Nie,F.,Yang,X.,Gao,F.和Yao,M.(2015)。用于图像分析的具有非贪婪范数最大化的鲁棒2DPCA。IEEE控制论汇刊,45,1108-1112,
[38] Wang,S.、Nie,F.、Chang,X.、Yao,L.、Li,X.和Sheng,Q.Z.(2015)。利用类边界优化进行无监督特征分析。在数据库中的机器学习和知识发现论文集(第一部分,第383-398页)。纽约:ACM,
[39] Wechsler,H.、Phillips,J.P.、Bruce,V.、Soulie,F.F.和Huang,T.S.(2012)。人脸识别:从理论到应用。纽约:Springer Science&Business Media。
[40] Wright,J.、Ganesh,A.、Rao,S.R.、Peng,Y.和Ma,Y.(2009年)。稳健主成分分析:通过凸优化精确恢复损坏的低秩矩阵。Y.Bengio、D.Schuurmans、J.D.Lafferty、C.K.I.Williams和A.Culotta(编辑),《神经信息处理系统的进展》,22。纽约州红钩市:Curran。
[41] Yang,J.、Zhang,D.、Frangi,A.F.和Yang,J-Y.(2004)。二维PCA:一种新的基于外观的人脸表示和识别方法。IEEE模式分析和机器智能汇刊,26,131-137,
[42] Zhang,H.,Zha,Z.-J.,Yang,Y.,Yan,S.,&Chua,T.-S.(2014)。鲁棒(半)非负图嵌入。IEEE图像处理汇刊,23,2996-3012·Zbl 1374.94443号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。