×
英巴尔·霍列夫;弗洛里安·伊格尔;杉山正树

对称正定矩阵的几何器皿主成分分析。 （英语） Zbl 1459.62236号

机器。学习。 106，第4期，493-522（2017）.
摘要：例如，协方差矩阵形式的对称正定矩阵在机器学习应用中普遍存在。然而，由于它们的大小与变量的数量成二次增长，因此高维性在处理它们时可能会带来困难。因此，将降维技术应用于它们可能是有益的。主成分分析（PCA）是一种典型的降维工具，对于矢量数据，它可以最大化保留的方差。然而，PCA到矩阵的常用朴素扩展导致次优方差保持。此外，当应用于SPD矩阵时，它们忽略了SPD矩阵空间的几何结构，进一步降低了性能。在本文中，我们为SPD矩阵开发了一种新的基于黎曼几何的主成分分析公式，该公式（1）通过将主成分分析适当扩展到矩阵数据来保留更多的数据方差，以及（2）将标准定义从欧几里得扩展到黎曼几何。我们通过实验证明了我们的方法作为脑电信号的预处理和纹理图像分类的有用性。

引用于8文件

MSC公司：

62兰特 歧管统计
62H25个 因子分析和主成分；对应分析
62华氏35 多元分析中的图像分析

关键词：

降维;PCA公司;黎曼几何;对称正定流形;格拉斯曼流形

软件：

PRMLT公司;马诺普特
PDF格式BibTeX公司 XML格式引用
\textit{I.Horev}等人，马赫。学习。106，第4号，493--522（2017；Zbl 1459.62236）
全文： 内政部

参考文献：

[1] Abadir，K.M.和Magnus，J.R.（2005）。矩阵代数（第1卷）。剑桥：剑桥大学出版社·Zbl 1084.15001号 ·doi:10.1017/CBO9780511810800
[2] Absil，P.A.、Mahony，R.和Sepulchre，R.（2009年）。矩阵流形上的优化算法。普林斯顿：普林斯顿大学出版社·Zbl 1147.65043号
[3] Al-Mohy，A.H.和Higham，N.J.（2009年）。计算矩阵指数的Fréchet导数，并应用于条件数估计。SIAM矩阵分析与应用杂志，30（4），1639-1657·Zbl 1180.65049号 ·doi:10.1137/080716426
[4] 安德森·T·W（1963）。主成分分析的渐近理论。《数理统计年鉴》，34（1），122-148·Zbl 0202.49504号 ·doi:10.1214/aoms/1177704248
[5] Arsigny，V.、Fillard，P.、Pennec，X.和Ayache，N.（2006年）。扩散张量快速简单计算的对数核素度量。医学中的磁共振，56（2），411-421·doi:10.1002/mrm.20965年
[6] Arsigny，V.、Fillard，P.、Pennec，X.和Ayache，N.（2007年）。对称正定矩阵上新型向量空间结构中的几何平均。SIAM矩阵分析与应用杂志，29（1），328-347·Zbl 1144.47015号 ·数字对象标识代码：10.1137/050637996
[7] Barachant，A.和Congedo，M.（2014）。使用信息几何的即插即用P300脑机接口。arXiv预打印arXiv:1409.0107。
[8] Barachant，A.，Bonnet，S.，Congedo，M.，Jutten，C.（2010年）。黎曼几何在脑机接口分类中的应用。在潜在变量分析和信号分离中，第629-636页。
[9] Barachant，A.、Bonnet，S.、Congedo，M.和Jutten，C.（2012年）。基于黎曼几何的多类脑-计算机接口分类。IEEE生物医学工程学报，59（4），920-928·doi:10.1109/TBME.2011.2172210
[10] Barachant，A.、Bonnet，S.、Congedo，M.和Jutten，C.（2013年）。BCI应用中使用基于黎曼核的协方差矩阵分类。神经计算，112172-178·doi:10.1016/j.neucom.2012.12.039
[11] 巴蒂亚·R（1997）。矩阵分析。柏林：斯普林格·Zbl 0863.15001号 ·doi:10.1007/978-1-4612-0653-8
[12] Bhatia，R.（2009）。正定矩阵。普林斯顿：普林斯顿大学出版社·Zbl 1125.15300号 ·doi:10.1515/9781400827787
[13] Bhatia，R.（2013）。正矩阵的黎曼平均。F.Nielsen&R.Bhatia（编辑），矩阵信息几何（第35-51页）。柏林施普林格·Zbl 1271.15019号
[14] 毕晓普，C.（2007年）。模式识别和机器学习（第1版）。信息科学和统计。纽约斯普林格·弗拉格·Zbl 1156.62005年
[15] Blankertz，B.、Tomioka，R.、Lemm，S.、Kawanabe，M.和Müller，K.R.（2008）。优化空间滤波器以进行稳健的EEG单次试验分析。IEEE信号处理杂志，25（1），41-56·doi:10.1109/MSP.2008.4408441
[16] Bonnabel，S.（2013）。黎曼流形上的随机梯度下降。IEEE自动控制汇刊，58（9），2217-2229·Zbl 1369.90110号 ·doi:10.1109/TAC.2013.2254619
[17] Boumal，N.（2010）流形上的离散曲线拟合。卢万天主教大学硕士论文。
[18] Boumal，N.，Absil，P.A.（2011）正定矩阵锥上的离散回归方法。在IEEE声学、语音和信号处理国际会议上，第4232-4235页。
[19] Boumal，N.、Mishra，B.、Absil，PA、Sepulchre，R.（2014）。Manopt，一个用于流形优化的Matlab工具箱。机器学习研究杂志15:1455-1459。http://www.manopt.org。 ·Zbl 1319.90003号
[20] Bridson，M.R.和Haefliger，A.（2011年）。非正曲率的度量空间（卷319）。柏林：斯普林格·Zbl 0988.53001号
[21] Brodatz，P.（1966年）。纹理：艺术家和设计师的相册。纽约：多佛。
[22] Cherian，A.和Sra，S.（2014年）。正定矩阵的黎曼稀疏编码。在欧洲计算机视觉会议上，第299-314页。
[23] Cherian，A.、Sra，S.、Banerjee，A.和Papanikolopoulos，N.（2011年）。通过Jensen-Bregman LogDet散度对协方差矩阵进行有效的相似性搜索。IEEE计算机视觉国际会议（ICCV），IEEE，第2399-2406页。
[24] Cichocki，A.、Cruces，S.和Amari，S.I.（2014）。重新审视对数决定偏差：α-β和γ对数集偏差。arXiv预打印arXiv:1412.7146·Zbl 1338.94034号
[25] Dryden，I.L.、Koloydenko，A.和Zhou，D.（2009年）。协方差矩阵的非欧几里得统计，及其在扩散张量成像中的应用。应用统计年鉴，3（3），1102-1123·Zbl 1196.62063号
[26] Edelman，A.、Arias，T.A.和Smith，S.T.（1998年）。具有正交约束的算法的几何结构。SIAM矩阵分析与应用杂志，20（2），303-353·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954
[27] Fletcher，P.T.、Lu，C.、Pizer，S.M.和Joshi，S..（2004）。用于形状非线性统计研究的主测地线分析。IEEE医学成像学报，23（8），995-1005·doi:10.1109/TMI.2004.831793
[28] Fréchet，M.（1948年）。《自然之旅》（Leséléments aléatoires de nature quelconque dans un espace distancié）。《亨利·庞加莱学院年鉴》，法国新闻大学，10215-310·Zbl 0035.20802号
[29] Gabor，D.（1946年）。传播理论。电气工程师学会杂志第三部分，93，429-457。
[30] Goh，A.和Vidal，R.（2008）。黎曼流形上的聚类和降维。在IEEE计算机视觉和模式识别（CVPR）会议上，第1-7页。
[31] Harandi，M.和Salzmann，M.（2015）。黎曼编码和字典学习：拯救内核。在IEEE计算机视觉和模式识别（CVPR）会议上。
[32] Harandi，M.、Sanderson，C.、Wiliem，A.和Lovell，B.C.（2012年）。基于黎曼流形的核分析，用于动作、行人和纹理的视觉识别。IEEE计算机视觉应用研讨会，第433-439页。
[33] Harandi，M.、Salzmann，M.和Hartley，R.（2014a）。从流形到流形：SPD矩阵的几何软件降维。在欧洲计算机视觉会议上，第17-32页·Zbl 1376.94003号
[34] Harandi，M.、Salzmann，M.和Porikli，F.（2014b）。无限维协方差矩阵的Bregman发散。在IEEE计算机视觉和模式识别（CVPR）会议上。
[35] Ho，J.、Xie，Y.和Vemuri，B.（2013）。关于稀疏编码和字典学习的非线性推广。在机器学习国际会议上，第1480-1488页。
[36] Huckemann，S.、Hotz，T.和Munk，A.（2010年）。内禀形状分析：黎曼流形模等距李群作用的测地PCA。中国统计局，20，1-100·兹比尔1180.62087
[37] Jayasumana，S.、Hartley，R.、Salzmann，M.、Li，H.和Harandi，M.（2013）。对称正定矩阵黎曼流形上的核方法。在IEEE计算机视觉和模式识别（CVPR）会议上，第73-80页。
[38] Jolliffe，I.（2002）。主成分分析。柏林：斯普林格·Zbl 1011.62064号
[39] Krantz，S.G.，&Parks，H.R.（2012）。隐函数定理：历史、理论和应用。柏林：斯普林格·Zbl 1269.58003号
[40] Kusner，M.J.、Kolkin，N.I.、Tyree，S.和Weinberger，K.Q.（2014）。随机协方差压缩。arXiv预打印arXiv:1412.1740。
[41] Lotte，F.和Guan，C.（2011年）。规范通用空间模式以改进BCI设计：统一理论和新算法。IEEE生物医学工程学报，58（2），355-362·doi:10.1109/TBME.2010.2082539
[42] Lu，H.、Plataniotis，K.N.和Venetsanopoulos，A.N.（2006）。用于识别的张量对象的多线性主成分分析。国际模式识别会议，2776-779。
[43] Mestre，X.（2008）。使用协方差矩阵的样本估计改进了特征值和特征向量的估计。IEEE信息理论汇刊，54（11），5113-5129·Zbl 1318.62191号 ·doi:10.1109/TIT.2008.929938
[44] Pennec，X.、Fillard，P.和Ayache，N.（2006年）。张量计算的黎曼框架。国际计算机视觉杂志，66（1），41-66·Zbl 1287.53031号 ·doi:10.1007/s11263-005-3222-z
[45] Schlögl，A.、Lee，F.、Bischof，H.和Pfurtscheller，G.（2005）。2005年BCI竞赛四级运动图像脑电图数据特征。神经工程杂志，2（4），L14·doi:10.1088/1741-2560/2/4/L02
[46] Sommer，S.、Lauze，F.、Hauberg，S.和Nielsen，M.（2010年）。流形值统计、精确主测地线分析和线性近似的影响。在欧洲计算机视觉会议上，第43-56页。
[47] Sra，S.（2011）。正定矩阵与s-散度。arXiv预打印arXiv:1110.1773·Zbl 1338.15046号
[48] Sra，S.（2012）。核矩阵流形上的一个新度量及其在矩阵几何平均中的应用。《神经信息处理系统进展》（第25卷，第144-152页）。
[49] Tuzel，O.、Porikli，F.和Meer，P.（2006）。区域协方差：用于检测和分类的快速描述符。在欧洲计算机视觉会议上，第589-600页。
[50] Tuzel，O.、Porikli，F.和Meer，P.（2008）。通过黎曼流形分类检测行人。IEEE模式分析和机器智能汇刊，30（10），1713-1727·doi:10.1109/TPAMI.2008.75
[51] Yang，J.、Zhang，D.、Frangi，A.F.和Jy，Yang。(2004). 二维PCA：一种新的基于外观的人脸表示和识别方法。IEEE模式分析和机器智能汇刊，26（1），131-137·doi:10.10109/TPAMI.2004.1261097
[52] Yger，F.（2013）BCI应用协方差矩阵核的综述。IEEE信号处理机器学习国际研讨会，第1-6页。
[53] Yger，F.、Sugiyama，M.（2015）。对称正定矩阵的监督对数欧氏度量学习。预印arXiv:1502.03505。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。