×

稀疏PCA的速率最优后收缩。 (英语) Zbl 1312.62078号

概要:主成分分析(PCA)可能是恢复低阶数据结构的最广泛使用的统计工具之一。在高维设置中,样本协方差的主导特征向量可以近似与真实特征向量正交。然后通常假设稀疏结构和低秩结构。最近,在各种有趣的设置下建立了稀疏PCA的最小-最大估计率。另一方面,贝叶斯方法在高维估计中越来越流行,但很少有工作将频率特性与贝叶斯算法联系起来用于高维数据分析。本文提出了稀疏PCA问题的先验知识,并分析了其理论性质。先验适应稀疏性和秩。证明了后验分布在最优极小极大率下与真值相一致。此外,还讨论了一类情形下的计算效率策略。

MSC公司:

62H25个 因子分析和主成分;对应分析
62G05型 非参数估计
2015年1月62日 贝叶斯推断
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Amini,A.A.和Wainwright,M.J.(2009年)。稀疏主成分半定松弛的高维分析。安。统计师。37 2877-2921. ·Zbl 1173.62049号 ·doi:10.1214/08-AOS664
[2] Banerjee,S.和Ghosal,S.(2014年)。使用图形模型估计大精度矩阵的后验收敛速度。电子。《美国联邦法律大全》第8卷第2111-2137页·Zbl 1302.62124号 ·doi:10.1214/14-EJS945
[3] Barron,A.R.(1988)。密度函数Bayes估计的后验概率的指数收敛性。伊利诺伊州香槟伊利诺伊大学技术报告。
[4] Barron,A.R.(1989)。统一强大的拟合优度测试。安。统计师。17 107-124. ·Zbl 0674.62032号 ·doi:10.1214/aos/1176347005
[5] Barron,A.R.(1999)。贝叶斯性能的信息论表征以及参数和非参数问题中先验值的选择。贝叶斯统计6(Alcoceber,1998)27-52。牛津大学出版社,纽约·兹比尔0974.62020
[6] Barron,A.、Schervish,M.J.和Wasserman,L.(1999)。非参数问题中后验分布的一致性。安。统计师。27 536-561. ·Zbl 0980.62039号 ·doi:10.1214/aos/1018031206
[7] Bhattacharya,A.、Pati,D.、Pillai,N.S.和Dunson,D.B.(2012年)。贝叶斯收缩。预打印。可从获取·Zbl 1419.62050号
[8] Birnbaum,A.、Johnstone,I.M.、Nadler,B.和Paul,D.(2013)。含噪声高维数据的稀疏PCA的极小极大界。安。统计师。41 1055-1084. ·Zbl 1292.62071号 ·doi:10.1214/12-AOS1014
[9] Bishop,C.M.(1999a)。贝叶斯主成分分析。高级神经信息处理。系统。11 382-388.
[10] Bishop,C.M.(1999b)。变分主成分。第九届国际人工神经网络会议论文集,ICANN’99 1 509-514。IET。
[11] Cai,T.、Liu,W.和Luo,X.(2011)。稀疏精度矩阵估计的约束(ell_1)最小化方法。J.Amer。统计师。协会106 594-607·Zbl 1232.62087号 ·doi:10.1198/jasa.2011.tm10155
[12] Cai,T.T.,Ma,Z.和Wu,Y.(2013)。稀疏PCA:最优速率和自适应估计。安。统计师。41 3074-3110. ·Zbl 1288.62099号 ·doi:10.1214/13-AOS1178
[13] Cai,T.、Ma,Z.和Wu,Y.(2014)。稀疏峰值协方差矩阵的最优估计和秩检测。普罗巴伯。理论相关领域·Zbl 1314.62130号 ·doi:10.1007/s00440-014-0562-z
[14] Castillo,I.(2008)。具有高斯过程先验的后验率的下界。电子。《美国联邦法律大全》第2卷第1281-1299页·Zbl 1320.62067号 ·doi:10.1214/08-EJS273
[15] Castillo,I.和van der Vaart,A.(2012年)。大海捞针:可能稀疏序列的后向集中。安。统计师。40 2069-2101. ·Zbl 1257.62025号 ·doi:10.1214/12-AOS1029
[16] d'Aspremont,A.、El Ghaoui,L.、Jordan,M.I.和Lanckriet,G.R.G.(2007)。使用半定规划的稀疏PCA的直接公式。SIAM版本49 434-448(电子版)·邮编1128.90050 ·doi:10.1137/050645506
[17] Davis,C.和Kahan,W.M.(1970年)。特征向量的扰动旋转。III、 SIAM J.数字。分析。7 1-46. ·Zbl 0198.47201号 ·doi:10.1137/0707001
[18] Gao,C.和Zhou,H.H.(2015)。对“稀疏主成分分析的速率最优后收缩”的补充·Zbl 1312.62078号 ·doi:10.1214/14-AOS1268
[19] Ghosal,S.、Ghosh,J.K.和van der Vaart,A.W.(2000)。后验分布的收敛速度。安。统计师。28 500-531. ·Zbl 1105.62315号 ·doi:10.1214/aos/1016218228
[20] Johnstone,I.M.和Lu,A.Y.(2009年)。高维主成分分析的一致性和稀疏性。J.Amer。统计师。协会104 682-693·Zbl 1388.62174号 ·doi:10.1198/jasa.2009.0121
[21] Jolliffe,I.T.(1986)。主成分分析。纽约州施普林格·Zbl 1011.62064号 ·数字对象标识代码:10.1007/b98835
[22] Le Cam,L.(1973年)。维数限制下估计的收敛性。安。统计师。1 38-53. ·Zbl 0255.62006号 ·doi:10.1214/aos/1193342380
[23] Ma,Z.(2013)。稀疏主成分分析和迭代阈值。安。统计师。41 772-801. ·Zbl 1267.62074号 ·doi:10.1214/13-AOS1097
[24] Pati,D.、Bhattacharya,A.、Pillai,N.S.和Dunson,D.(2014)。大规模协方差矩阵稀疏贝叶斯因子模型的后验收缩。安。统计师。42 1102-1130. ·Zbl 1305.62124号 ·doi:10.1214/14-AOS1215
[25] Paul,D.和Johnstone,I.M.(2012年)。用于高维数据的增强稀疏主成分分析。预打印。可从获取。
[26] Pollard,D.(1990)。经验过程:理论与应用。在NSF-CBMS概率与统计区域会议系列2 1-86中。加利福尼亚州海沃德IMS·Zbl 0741.60001号
[27] Polson,N.G.和Scott,J.G.(2011年)。全球收缩,局部行动:稀疏贝叶斯正则化和预测。贝叶斯统计9 501-538。牛津大学出版社,牛津。 ·doi:10.1093/acprof:oso/9780199694587.003.017
[28] Schwartz,L.(1965年)。关于贝叶斯程序。Z.Wahrsch公司。版本。Gebiete 4 10-26·Zbl 0158.17606号 ·doi:10.1007/BF00535479
[29] Shen,X.和Wasserman,L.(2001)。后验分布的收敛速度。安。统计师。29 687-714. ·兹比尔1041.62022 ·doi:10.1214/aos/1009210686
[30] van der Pas,S.L.、Kleijn,B.J.K.和van der Vaart,A.W.(2014)。马蹄形估计器:近黑色向量周围的后验浓度。电子。《美国联邦法律大全》第8卷第2585-2618页·Zbl 1309.62060号 ·doi:10.1214/14-EJS962
[31] van der Vaart,A.W.和van Zanten,J.H.(2008)。基于高斯过程先验的后验分布收缩率。安。统计师。36 1435-1463. ·Zbl 1141.60018号 ·doi:10.1214/009053607000000613
[32] Vershynin,R.(2010年)。随机矩阵的非辛分析简介。预打印。可从获取。
[33] Vu,V.Q.和Lei,J.(2013)。高维极小极大稀疏主子空间估计。安。统计师。41 2905-2947. ·Zbl 1288.62103号 ·数字对象标识代码:10.1214/13-AOS1151
[34] 赵丽华(2000)。一些非参数问题的贝叶斯方面。安。统计师。28 532-552. ·Zbl 1010.62025号 ·doi:10.1214/aos/1016218229
[35] Zou,H.、Hastie,T.和Tibshirani,R.(2006)。稀疏主成分分析。J.计算。图表。统计师。15 265-286. ·doi:10.1198/106186006X113430
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。