×
罗伯特·贝内特;加布里埃尔·斯特德尔

基于正则化的鲁棒PCA收割者使用无矩阵近似算法。 （英语） Zbl 1524.62284号

数学杂志。成像视觉。 63，第5号，626-649（2021）.
摘要：主成分分析（PCA）对异常值敏感，因此在文献中提出了各种稳健的PCA变体。一个最近的模型，称为收割者旨在通过求解凸优化问题来找到主成分。通常，必须提前确定主成分的数量，并在具有数据大小的对称半正定矩阵上进行最小化，尽管主成分的数目要少得多。如果数据的维数很大，这就禁止使用它，这在图像处理中通常是如此。在本文中，我们提出了一个正则化版本的收割者它通过惩罚相应正交投影仪的核范数来增强主成分数量的稀疏性。如果只有主成分数目的上界可用，我们的方法可以与L曲线方法相结合来重建适当的子空间。我们的第二个贡献是一个无矩阵算法，它可以找到正则化收割器的极小值，也适用于高维数据。该算法将原始-对偶最小化方法与厚重启Lanczos过程耦合。这似乎是第一种有效的凸变分方法，用于处理高维数据的鲁棒PCA。作为一个附带结果，我们讨论了鲁棒PCA中的偏差问题。数值例子证明了我们算法的性能。

MSC公司：

62H25个 因子分析和主成分；对应分析
58C05型 流形上的实值函数
65K10码 数值优化和变分技术

关键词：

稳健PCA;正规收割机;无矩阵PCA;PCA偏移;thick-restarted Lanczos算法

软件：

TRLan公司;SPGL1型;飞行管理系统
PDF格式BibTeX公司 XML格式引用
\textit{R.Beinert}和\textit{G.Steidl}，J.数学。成像视觉。63，编号5626-649（2021；兹bl 1524.62284）
全文： DOI程序 arXiv公司

参考文献：

[1] Beck，A.，优化中的一阶方法（2017），费城：工业和应用数学学会（SIAM），数学优化学会，费城·Zbl 1384.65033号 ·数字对象标识代码：10.1137/1.9781611974997
[2] 贝克，A。；Sabach，S.，Weiszfeld的方法：新旧结果，J.Optim。理论应用。，164, 1, 1-40 (2015) ·兹比尔1316.49001 ·doi:10.1007/s10957-014-0586-7
[3] 汉堡，M。；Sawatzky，A。；斯泰德尔，G。；格洛温斯基，R。；Osher，SJ；Yin，W.，变分图像处理中的一阶算法，通信、成像、科学和工程中的分裂方法，345-407（2016），Cham:Springer，Cham·Zbl 1372.65053号 ·数字对象标识代码：10.1007/978-3-319-41589-5_10
[4] 坎迪斯，EJ；李，X。；马云（Ma，Y.）。；Wright，J.，稳健主成分分析？，J.ACM，58、3、11（2011）·Zbl 1327.62369号 ·数字对象标识代码：10.1145/1970392.1970395
[5] Chambolle，A。；Pock，T.，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。成像视觉。，40, 1, 120-145 (2011) ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[6] Chambolle，A。；Pock，T.，成像连续优化介绍，《数值学报》，25，161-319（2016）·Zbl 1343.65064号 ·doi:10.1017/S096249291600009X
[7] Cherapanamjeri，Y。；Jain，P。；Netrapalli，P.，基于阈值的高效离群稳健PCA，Proc。机器。学习。决议，65，1-36（2017）
[8] 西亚克，R。；沙菲，B。；Steidl，G.，凸图像恢复中的均匀惩罚和约束，J.Math。成像视觉。，47, 3, 210-230 (2013) ·Zbl 1291.68415号 ·doi:10.1007/s10851-012-0392-5
[9] 丁，C.，周，D.，何，X.，查，H.：\({R} _1个\)-PCA：旋转不变量\({L} 1个\)-稳健子空间分解的范数主成分分析。载：《第23届国际机器学习大会论文集》，第281-288页。ACM，纽约（2006）
[10] Epstein，R.，Hallina，P.W.，Yuille，A.L.：（5\pm 2）特征图像足够：低维照明模型的实证研究。摘自：《计算机视觉中基于物理的建模研讨会论文集》，1995年6月18日至19日，美国剑桥，第108-116页（1995）
[11] Fischler，M.A.，Bolles，R.C.：随机样本共识：图像分析和自动制图应用的模型拟合范例。摘自：《计算机视觉阅读》，第726-740页。Elsevier，阿姆斯特丹（1987）
[12] 乔治亚德斯，A。；Belhumeur，P。；Kriegman，D.，《从少到多：可变光照和姿势下人脸识别的照明锥模型》，IEEE Trans。模式分析。机器。智力。，23, 6, 643-660 (2001) ·doi:10.1109/34.927464
[13] Golub，生长激素；Van Loan，CF，矩阵计算（2013），巴尔的摩：约翰·霍普金斯大学出版社，巴尔的摩尔·Zbl 1268.65037号
[14] 汉克，M。；Hansen，PC，大型问题的正则化方法，Surv。Ind.数学。，3, 253-264 (1993) ·Zbl 0805.65058号
[15] 汉森，PC；Johnston，P.，《L曲线及其在反问题数值处理中的应用》，《心电学中的计算反问题》，《计算生物工程进展》，119-142（2000），南安普顿：WIT出版社，南安普顿
[16] 喇叭，RA；Johnson，CR，矩阵分析（1991），剑桥：剑桥大学出版社，剑桥·Zbl 0729.15001号 ·doi:10.1017/CBO9780511840371
[17] PJ Huber；Ronchetti，EM，稳健统计（2009），纽约：威利，纽约·Zbl 1276.62022号 ·doi:10.1002/9780470434697
[18] Ke，Q.，Kanade，T.：在存在离群值和缺失数据的情况下，通过交替凸规划进行鲁棒（ell_1）范数分解。摘自：《计算机视觉与模式识别》，2005年。CVPR 2005。IEEE计算机学会会议，第1卷，第739-746页。IEEE（2005）
[19] 肯特，JT；德州泰勒；Vard，Y.，多元分布的一个奇怪的似然恒等式，Commun。统计模拟。计算。，23, 2, 441-453 (1994) ·Zbl 0825.62035号
[20] Kriegel，H.P.，Kröger，P.，Schubert，E.，Zimek，A.：提高基于PCA的相关聚类算法鲁棒性的一般框架。In：科学和统计数据库管理。计算机科学课堂讲稿，第5069卷，第418-435页（2008）
[21] Kwak，N.，基于L1-形式最大化的主成分分析，IEEE Trans。模式分析。机器。智力。，30, 9, 1672-1680 (2008) ·doi:10.1109/TPAMI.2008.114
[22] Lanczos，C.，解线性微分和积分算子特征值问题的迭代方法，J.Res.Natl。伯尔。支架。，4555-282（1950年）·doi:10.6028/jres.045.026
[23] Lee，K。；Ho，J。；Kriegman，D.，获取可变光照下人脸识别的线性子空间，IEEE Trans。模式分析。机器。智力。，27, 5, 684-698 (2005) ·doi:10.10109/TPAMI.2005.92
[24] Lellmann，J.、Neumayer，S.、Nimmer，M.、Steidl，G.：稳健子空间拟合中求偏移量的方法。PAMM 19（1）（2019）
[25] 勒曼，G。；Maunu，T.，快速、稳健和非凸子空间恢复，Inf.Inference J.IMA，7，2，277-336（2018）·Zbl 1476.90262号 ·doi:10.1093/imaiai/iax012
[26] Lerman，G。；Maunu，T.，稳健子空间恢复概述，Proc。IEEE，106，8，1380-1410（2018）·Zbl 1476.90262号 ·doi:10.1109/JPROC.2018.2853141
[27] Lerman，G。；McCoy，M。；JA特罗普；Zhang，T.，线性模型的凸松弛稳健计算，发现。计算。数学。，15, 1, 363-410 (2015) ·Zbl 1328.62377号 ·doi:10.1007/s10208-014-9221-0
[28] Leroy，A.M.，Rousseeuw，P.J.：稳健回归和异常值检测。概率与数理统计中的威利级数（1987）·Zbl 0711.62030号
[29] 李，CK；Mathias，R.，《利德斯基·米尔斯基-威兰理论——加法和乘法版本》，数值。数学。，81, 377-413 (1999) ·兹伯利0922.15010 ·doi:10.1007/s002110050397
[30] 刘，Y。；王，S。；Juhe，S.，《寻找封闭半空间和可变盒交点上的投影》，Oper Res Lett，41，259-315（1993）·Zbl 1286.90105号 ·doi:10.1016/j.orl.2013.01.014
[31] Maunu，T。；张，T。；Lerman，G.，《非凸稳健子空间恢复的良好前景》，J.Mach。学习。第20、37、1-59号决议（2019年）·Zbl 1484.62063号
[32] McCoy，M。；Tropp，JA，使用半定规划的鲁棒PCA的两个建议，Electron。J.Stat.，5，1123-1160（2011）·兹比尔1329.62276 ·doi:10.1214/11-EJS636
[33] 孟，XL；Van Dyk，D.，《EM算法》（The EM algorithm），一首古老的民歌，随着一个快速的新曲调演唱，J.R.Stat.Soc.Ser。B（Stat.Methodol.），59，3，511-567（1997）·Zbl 1090.62518号 ·数字对象标识代码：10.1111/1467-9868.00082
[34] Neumayer，S。；尼姆，M。；塞泽尔，S。；Steidl，G.，关于旋转不变模PCA，线性代数应用。，587, 243-270 (2020) ·Zbl 07191020号
[35] Neumayer，S.、Nimmer，M.、Setzer，S.和Steidl，G.：关于鲁棒PCA和Weiszfeld算法。申请。数学。最佳方案。（显示）·Zbl 1468.62302号
[36] Ostresh，LM Jr，关于求解Weber位置问题的一类迭代方法的收敛性，Oper。研究，26，4，597-609（1978）·Zbl 0396.90073号 ·doi:10.1287/opre.26.4.597
[37] Pearson，K.，《关于最接近空间点系的直线和平面》，Phil.Mag.，2，11，559-572（1901）·doi:10.1080/14786440109462720
[38] Podosinnikova，A.，Setzer，S.，Hein，M.：稳健PCA：Stiefel流形上稳健重建误差的优化。摘自：德国模式识别会议，第121-131页。施普林格，柏林（2014）
[39] Rasch，J。；Chambolle，A.，不精确一阶原对偶算法，计算。最佳方案。申请。，76, 2, 381-430 (2020) ·Zbl 1443.90273号 ·doi:10.1007/s10589-020-00186-y
[40] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0193.18401号 ·doi:10.1515/9781400873173
[41] 罗素，PJ；Leroy，AM，稳健回归和离群值检测（2005），纽约：John Wiley&Sons，纽约·Zbl 0711.62030号
[42] 塞策，S。；斯泰德尔，G。；Teuber，T.，《关于向量和矩阵中值计算》，J.Compute。申请。数学。，236, 8, 2200-2222 (2012) ·Zbl 1244.65063号 ·doi:10.1016/j.cam.2011.09.042
[43] Stewart，GW，加速厄米矩阵特征向量的正交迭代，Numer。数学。，13, 4, 362-376 (1969) ·Zbl 0185.40203号 ·doi:10.1007/BF02165413
[44] Tsakiris，MC公司；Vidal，R.，双重主成分追求，J.Mach。学习。决议（JMLR），19684-732（2018）·Zbl 1444.62081号
[45] 特克，M。；Pentland，A.，识别特征脸，J.Cogn。神经科学。，3, 1, 71-86 (1991) ·doi:10.1162/jocn.1991.3.1.71
[46] Tyler，DE，多元分散的无分布估计，《统计年鉴》，15，1，234-251（1987）·兹比尔062862053
[47] Tyler，DE，多元离散的无分布估计，《统计年鉴》，15，1，234-251（1987）·Zbl 0628.62053号
[48] 范登伯格，E。；议员弗里德兰德（Friedlander），《探索基础追踪解决方案的帕累托边界》，SIAM J.Sci。计算。，31, 2, 890-912 (2008) ·Zbl 1193.49033号 ·doi:10.1137/080714488
[49] Weiszfeld，E.，Sur le point pour lequel les sommes des distances de \（n）points donnés et minimum，《托霍库数学》。J.，43，355-386（1937）·Zbl 0017.18007号
[50] Wu，K。；Simon，H.，《大型对称特征值问题的厚重启动Lanczos方法》，SIAM J.矩阵分析。申请。，22, 2, 602-616 (2000) ·Zbl 0969.65030号 ·doi:10.1137/S0895479898334605
[51] Xu，H。；Caramanis，C。；Sanghavi，S.，《通过离群点追踪实现稳健PCA》，IEEE Trans。《信息论》，58，3，3047-3064（2012）·Zbl 1365.62228号 ·doi:10.1109/TIT.2011.2173156
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。