×

一类尖峰协方差矩阵的共轭梯度算法。 (英语) Zbl 1480.65069号

摘要:我们考虑将共轭梯度算法应用于一类一般的加标样本协方差矩阵。本文的主要结果是,任何有限步的误差和残差向量的范数集中于由正交多项式确定的确定值,这些确定值是关于变形的Marchenko-Pastur定律的。一阶极限和涨落是普遍存在的。此外,对于体特征值位于单个区间的情况,我们证明了一个更强的普适性结果,即共轭梯度算法的渐近收敛速度仅取决于体的支持,前提是尖峰与体的分离良好。特别地,这表明共轭梯度算法的经典条件数对加钉矩阵是悲观的。

MSC公司:

65层10 线性系统的迭代数值方法
60对20 随机矩阵(概率方面)

软件:

数字多样性
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 白志东;Silverstein,Jack W.,大维随机矩阵的谱分析,Springer Series in Statistics,xvi+551 pp.(2010),纽约Springer·Zbl 1301.60002号 ·doi:10.1007/978-1-4419-0661-8
[2] Bai,Z.D。;苗,B.Q。;Pan,G.M.,关于大样本协方差矩阵特征向量的渐近性,Ann.Probab。,35, 4, 1532-1572 (2007) ·Zbl 1162.15012号 ·doi:10.1214/009117906000001079
[3] BDWW Z.Bao,X.Ding,J.Wang,K.Wang,尖峰协方差矩阵主成分的统计推断,arXiv预印本arXiv:arXiv:2008.119032020。
[4] 贝格曼(Bernhard Beckermann);Kuijlaars,Arno B.J.,共轭梯度的超线性收敛,SIAM J.Numer。分析。,39, 1, 300-329 (2001) ·Zbl 0997.65058号 ·doi:10.137/S0036142999363188
[5] Belinschi,塞尔维亚人T。;哈里·贝科维奇;米雷尔·卡皮廷;F\'{e} 弗利尔,Maxime,大变形酉不变模型谱中的离群值,Ann.Probab。,45、6A、3571-3625(2017)·Zbl 1412.60014号 ·doi:10.1214/16-AOP1144
[6] 亚历克斯·布隆门达尔(Alex Bloemendal);安蒂·诺尔斯;Yau,Hong-Tzer;Yin,Jun,关于样本协方差矩阵的主成分,Probab。理论相关领域,164,1-2,459-552(2016)·Zbl 1339.15023号 ·doi:10.1007/s00440-015-0616-x
[7] 亚历克斯·布隆门达尔(Alex Bloemendal);病毒{a} 克,B\'{a} 皮棉,加标随机矩阵的极限I,Probab。理论相关领域,156,3-4,795-825(2013)·Zbl 1356.60014号 ·doi:10.1007/s00440-012-0443-2
[8] Deift,P.A.,《正交多项式和随机矩阵:Riemann-Hilbert方法》,《Courant数学课堂讲稿3》,viii+273 pp.(1999),纽约大学数学科学学院,纽约;美国数学学会,普罗维登斯,RI
[9] Deift,P。;Kriecherbauer,T。;McLaughlin,K.T.-R。;Venakides,S。;Zhou,X.,关于变指数权正交多项式的一致渐近性及其在随机矩阵理论中普遍性问题中的应用,Comm.Pure Appl。数学。,52, 11, 1335-1425 (1999) ·Zbl 0944.42013号 ·doi:10.1002/(SICI)1097-0312(199911)52:11$\langle
[10] Deift2019a P.Deift,S.D.公司。Miller和T.Trogdon,《密码学中某些算法的停止时间签名》,1905.084082019年。
[11] 珀西·迪夫;Thomas Trogdon,样本协方差矩阵特征值算法的普遍性,SIAM J.Numer。分析。,55, 6, 2835-2862 (2017) ·Zbl 1378.65089号 ·doi:10.1137/17M1110900
[12] 珀西·迪夫;Thomas Trogdon,计算随机矩阵最大特征值的Toda算法的普遍性,Comm.Pure Appl。数学。,71, 3, 505-536 (2018) ·Zbl 1454.60012号 ·doi:10.1002/cpa.21715
[13] 珀西·迪夫;Thomas Trogdon,《条件良好的Wishart矩阵上的共轭梯度算法几乎是确定性的》,Quart。申请。数学。,79, 1, 125-161 (2021) ·Zbl 1458.65028号 ·doi:10.1090/qam/1574
[14] 珀西·戴夫(Percy A.Deift)。;它是亚历山大·R。;Zhou,Xin,《随机矩阵模型理论和可积统计力学理论中出现的渐近问题的黎曼-希尔伯特方法》,数学年鉴。(2), 146, 1, 149-235 (1997) ·Zbl 0936.47028号 ·doi:10.2307/2951834
[15] 珀西·戴夫(Percy A.Deift)。;戈文德·梅农;希恩,奥弗;Thomas Trogdon,《随机数据数值计算的普遍性》,Proc。国家。阿卡德。科学。美国,111,42,14973-14978(2014)·Zbl 1355.65019号 ·doi:10.1073/pnas.1413446111
[16] 丁秀才,可能含有多个体成分的尖峰样本协方差矩阵,随机矩阵理论应用。,10,1,论文编号2150014,30页(2021)·Zbl 1480.15041号 ·doi:10.1142/S2010326322500143
[17] DJ X.Ding和H.C。Ji,随机矩阵乘法的局部律和尖峰不变模型,2010.160832020。
[18] DT2 X.Ding和T.Trogdon,正交多项式扰动理论的黎曼-希尔伯特方法:随机矩阵理论的应用,2021年。
[19] DW X.Ding和H.-T.Wu,高维噪声随机点云图Laplacian的相变,2011.107252020。
[20] 丁秀才;杨,范,协方差矩阵最大奇异值边普遍性的一个充要条件,Ann.Appl。概率。,28, 3, 1679-1738 (2018) ·Zbl 1426.15052号 ·doi:10.1214/17-AAP1341
[21] 丁秀才;杨,范,尖峰可分协方差矩阵与主成分,Ann.Statist。,49, 2, 1113-1138 (2021) ·Zbl 1469.15035号 ·doi:10.1214/20-aos1995
[22] 爱奥那州杜米特里乌;Edelman,Alan,beta信号群的矩阵模型,J.Math。物理。,43, 11, 5830-5847 (2002) ·Zbl 1060.82020年 ·doi:10.1063/1.1507823
[23] 2014arXiv1401.7802D T.Dupic和I.P’erez Castillo,Wishart稀随机矩阵产品的光谱密度。第一部分:密集案例,1401.7802,2014年。
[24] Edelman,Alan,随机矩阵的特征值和条件数,SIAM J.矩阵分析。申请。,9, 4, 543-560 (1988) ·Zbl 0678.15019号 ·doi:10.1137/0609045
[25] El Karoui,Noureddine,Tracy-Widom关于一大类复样本协方差矩阵最大特征值的极限,Ann.Probab。,35, 2, 663-714 (2007) ·Zbl 1117.60020号 ·doi:10.1214/00911790600000917
[26] El Karoui,Noureddine,核随机矩阵的谱,Ann.Statist。,38, 1, 1-50 (2010) ·Zbl 1181.62078号 ·doi:10.1214/08-AOS648
[27] Fiedler,Miroslav,hermitian矩阵和的行列式的界,Proc。阿默尔。数学。《社会学杂志》,30,27-31(1971)·Zbl 0277.15010号 ·doi:10.2307/2038212
[28] 杰弗里·杰罗尼莫(Jeffrey S.Geronimo),散射理论,正交多项式和(q)级数,SIAM J.数学。分析。,25, 2, 392-419 (1994) ·Zbl 0802.42019 ·doi:10.1137/S0036141092238990
[29] Herman H.Goldstine。;von Neumann,John,高阶矩阵的数值反演。二、 程序。阿默尔。数学。Soc.,2188-202(1951)·兹比尔0043.12301 ·doi:10.2307/2032484
[30] Golub,Gene H。;Van Loan,Charles F.,《矩阵计算》,《约翰·霍普金斯数学科学研究》,xiv+756 pp.(2013),约翰霍普金斯大学出版社,马里兰州巴尔的摩·Zbl 1268.65037号
[31] Greenbaum,A.,微扰Lanczos和共轭梯度递归的行为,线性代数应用。,113, 7-63 (1989) ·Zbl 0662.65032号 ·doi:10.1016/0024-3795(89)90285-1
[32] 特雷弗·哈斯蒂;Robert Tibshirani;杰罗姆·弗里德曼(Jerome Friedman),《统计学习的要素》(The elements of statistical learning),《统计学中的斯普林格系列》(Springer Series in Statistics),xxii+745 pp.(2009),纽约斯普林格出版社·兹比尔1273.62005 ·doi:10.1007/978-0-387-84858-7
[33] Hestenes,Magnus R。;Stiefel,Eduard,求解线性系统的共轭梯度方法,J.Research Nat.Bur。标准,49,409-436(1953)(1952)·Zbl 0048.09901号
[34] 其,A.R。;Fokas,A.S。;Kapaev,A.A.,通过等单峰法对Painlev方程的渐近分析,非线性,7,5,1291-1325(1994)·Zbl 0816.34039号
[35] Johnstone,Iain M.,《关于主成分分析中最大特征值的分布》,《统计年鉴》。,29, 2, 295-327 (2001) ·Zbl 1016.62078号 ·doi:10.1214/aos/1009210544
[36] KML Z.T.公司。Ke,Y.Ma,and X.Lin,通过整体特征值匹配分析估计协方差矩阵中峰值特征值的数量,美国统计协会杂志,2021(在线),https://www.tandfonline.com/doi/full/10.1080/01621459.2021.1933497。 ·Zbl 1514.62367号
[37] 安蒂·诺尔斯;Yin,Jun,随机矩阵的各向异性局部定律,概率论。理论相关领域,169,1-2,257-352(2017)·Zbl 1382.15051号 ·doi:10.1007/s00440-016-0730-4
[38] Kuijlaars,Arno B.J.,Riemann-Hilbert正交多项式分析。正交多项式和特殊函数,鲁文,2002,数学课堂讲稿。1817167-210(2003),柏林斯普林格·Zbl 1042.42016年 ·doi:10.1007/3-540-44945-0\5
[39] Kuijlaars,A.B.J。;McLaughlin,K.T.-R。;Van Assche,W。;Vanlese,M.,《([-1,1]\)上正交多项式强渐近的黎曼-希尔伯特方法》,高等数学。,188, 2, 337-398 (2004) ·Zbl 1082.42017年 ·doi:10.1016/j.aim.2003.08.015
[40] 李森,J“{o} rg公司; 斯特拉科,兹登{e} k个,Krylov子空间方法,数值数学和科学计算,xvi+391 pp.(2013),牛津大学出版社,牛津·Zbl 1263.65034号
[41] Marcenko1967年V.A。马琴科和洛杉矶。Pastur,一些随机矩阵集的特征值分布,苏联斯博尼克1号数学(1967),第。4, 457-483. ·Zbl 0162.22501号
[42] Paige,C.C.,《对称矩阵三对角化Lanczos算法的误差分析》,J.Inst.Math。申请。,18, 3, 341-349 (1976) ·Zbl 0347.65018号
[43] 佩奇,C.C。;Saunders,M.A.,稀疏不定线性方程组的解,SIAM J.Numer。分析。,12, 4, 617-629 (1975) ·Zbl 0319.65025号 ·doi:10.1137/0712047
[44] Paquette2020 A C.Paquette、B.van Merri“enboer和F.Pedregosa,大型模型的停机时间是可预测的:普遍性和平均案例分析,2020年。
[45] Paquette2020 E.Paquette和T.Trogdon,样本协方差矩阵上共轭梯度和MINRES算法的普遍性,2007.0064020。
[46] Paul,Debashis,大维尖峰协方差模型样本特征结构的渐近性,统计学。Sinica,17,4,1617-1642(2007)·Zbl 1134.62029号
[47] 保罗·德巴希斯(Paul,Debashis);Aue,Alexander,《统计学中的随机矩阵理论:综述》,J.Statist。计划。推断,150,1-29(2014)·Zbl 1287.62011年 ·doi:10.1016/j.jspi.2013.09.005
[48] Peherstorfer,F.,《几个区间上的正交多项式:递推系数和零点的累加点》,《J近似理论》,163,7,814-837(2011)·Zbl 1225.33010号 ·doi:10.1016/j.jat.2011.03.002
[49] Pfrang,Christian W。;珀西·迪夫;Menon,Govind,计算随机对称矩阵的特征值需要多长时间?。随机矩阵理论,相互作用粒子系统,可积系统,数学。科学。Res.Inst.出版。65,411-442(2014),剑桥大学出版社,纽约·Zbl 1326.65050号
[50] 杰克·西尔弗斯坦(Jack W.Silverstein)。;Choi,Sang-II,大维随机矩阵的极限谱分布分析,多元分析杂志。,54, 2, 295-309 (1995) ·兹比尔0872.60013 ·doi:10.1006/jmva.1995.1058
[51] Jack W.Silverstein,《大维Wishart矩阵的最小特征值》,Ann.Probab。,13, 4, 1364-1368 (1985) ·Zbl 0591.60025号
[52] 丹尼尔·斯皮尔曼(Daniel A.Spielman)。;滕尚华,算法的平滑分析:为什么单纯形算法通常需要多项式时间,J.ACM,51,3,385-463(2004)·Zbl 1192.90120号 ·数字对象标识代码:10.1145/990308.990310
[53] Szeg\H{o},G\'{a} 博尔,正交多项式,美国数学学会学术讨论会出版物,第二十三卷,xiiii+432 pp.(1975),美国数学协会,普罗维登斯,R.I·Zbl 0305.42011年
[54] 劳埃德·N·特里费琴。;Bau,David,III,《数值线性代数》,xii+361 pp.(1997),工业和应用数学学会(SIAM),宾夕法尼亚州费城·Zbl 0874.65013号 ·doi:10.1137/1.9780898719574
[55] 劳埃德·特雷费滕。;Schreiber,Robert S.,高斯消去的平均情形稳定性,SIAM J.矩阵分析。申请。,11, 3, 335-360 (1990) ·Zbl 0703.65015号 ·doi:10.1137/0611023
[56] 托马斯·特罗格登(Thomas Trogdon);Olver,Sheehan,Riemann-Hilbert问题及其数值解和非线性特殊函数的计算,xviii+373 pp.(2016),工业和应用数学学会(SIAM),宾夕法尼亚州费城·Zbl 1350.30003号
[57] Trotter,Hale F.,大型厄米矩阵的特征值分布;维格纳半圆定律和Kac、Murdock和Szeg\H{o}的定理,《数学高级》。,54, 1, 67-82 (1984) ·Zbl 0562.15005号 ·doi:10.1016/0001-8708(84)90037-9
[58] Xi,郝凯;杨,范;尹军,样本协方差矩阵特征向量经验谱分布的收敛性,统计年鉴。,48, 2, 953-982 (2020) ·Zbl 1447.15033号 ·doi:10.1214/19-AOS1832
[59] 夏宁宁;秦英利;白志东,大维样本协方差矩阵特征向量经验谱分布的收敛速度,安统计学家。,41, 5, 2572-2607 (2013) ·Zbl 1285.15018号 ·doi:10.1214/13-AOS1154
[60] 杨2020 F.杨。各向异性样本协方差矩阵特征向量的线性谱统计,2005.00992020。
[61] 姚建峰;郑树荣;Bai,Zhidong,大样本协方差矩阵和高维数据分析,剑桥统计与概率数学系列39,xiv+308 pp.(2015),剑桥大学出版社,纽约·兹比尔1380.62011 ·doi:10.1017/CBO9781107588080
[62] Yattselev,Maxim L.,Nuttall定理与代数s轮廓上的解析权重,J.近似理论,190,73-90(2015)·Zbl 1306.41005号 ·doi:10.1016/j.jat.2014.10.15
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。