×

低阶张量的推断-无需借记。 (英语) 兹比尔1486.62165

摘要:在本文中,我们考虑了几个低秩张量模型的统计推断。具体地说,在Tucker低秩张量PCA或回归模型中,只要任何估计都能达到某种可达到的误差率,我们就基于两次迭代交替最小化更新估计的渐近分布,为参数张量的奇异子空间建立数据驱动的置信域。在PCA模型中的信噪比或回归模型中的样本量的一些基本条件下,建立了渐近分布。如果参数张量是进一步正交分解的,我们发展了对每个奇异向量进行推断的方法和非共振理论。对于秩一张量PCA模型,我们建立了主成分的一般线性形式的渐近分布和参数张量每个项的置信区间。最后,通过数值模拟验证了我们的理论发现。
在所有这些模型中,我们观察到,与现有工作中的许多矩阵/向量设置不同,不需要进行debising来建立估计的渐近分布或对低阶张量进行统计推断。事实上,由于低秩张量估计存在广泛观察到的统计计算缺口,因此通常需要比统计(或信息理论)极限更强的条件来确保计算上可行的估计是可以实现的。令人惊讶的是,这样的条件“附带地”使得低阶张量推断是可行的,而不会使人失望。

MSC公司:

62甲12 多元分析中的估计
15A69号 多线性代数,张量演算
62E20型 统计学中的渐近分布理论
62H25个 因子分析和主成分;对应分析
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Anandkumar,A.、Ge,R.、Hsu,D.、Kakade,S.M.和Telgarsky,M.(2014)。用于学习潜在变量模型的张量分解。J.马赫。学习。物件。15 2773-2832. ·Zbl 1319.62109号
[2] ANANDKUMAR,A.、GE,R.和JANZAMIN,M.(2014)。通过交替的秩-1更新保证非正交张量分解。预印本。可在arXiv:1402.5180购买·Zbl 1319.62112号
[3] ANANDKUMAR,A.、HSU,D.和KAKADE,S.M.(2012年)。混合模型和隐马尔可夫模型的矩方法。学习理论会议33-1.
[4] 奥迪·A和袁·M(2020)。正交可分解张量的扰动界及其在高维数据分析中的应用。预印。可从arXiv:2007.09024获取。
[5] BAO,Z.、DING,X.和WANG,K.(2021)。矩阵去噪模型的奇异向量和奇异子空间分布。安。统计师。49 370-392. ·Zbl 1459.60011号 ·doi:10.1214/20-AOS1960
[6] BARAK,B.和MOITRA,A.(2016年)。通过平方和层次结构实现噪声张量补全。学习理论会议417-445.
[7] BELKIN,M.、RADEMACHER,L.和VOSS,J.(2018年)。正交可分解函数的特征向量。SIAM J.计算。47 547-615. ·Zbl 1475.15007号 ·doi:10.1137/17M1122013
[8] Ben Arous,G.、Mei,S.、Montanari,A.和Nica,M.(2019)。尖峰张量模型的前景。普通纯应用程序。数学。72 2282-2330. ·Zbl 1434.62078号 ·doi:10.1002/cpa.21861
[9] BI,X.,QU,A.和SHEN,X.(2018)。多层张量因子分解及其在推荐系统中的应用。安。统计师。46 3308-3333. ·Zbl 1454.62511号 ·doi:10.1214/17-AOS1659
[10] BRENNAN,M.和BRESLER,G.(2020)。秘密泄漏的可缩减性和统计计算缺口。预印本。可从arXiv:2005.08099获得。
[11] CAI,C.,LI,G.,POOR,H.V.和CHEN,Y.(2019年)。噪声数据的非凸低秩张量补全。神经信息处理系统研究进展1863-1874.
[12] CAI,C.、POOR,H.V.和CHEN,Y.(2020年)。非凸张量补全的不确定性量化:置信区间、异方差和最优性。预印本。arXiv:2006.08580提供。
[13] CAI,T.T.,LIANG,T.和RAKHLIN,A.(2016)。一般高维线性反问题的几何推断。安。统计师。44 1536-1563. ·Zbl 1357.62235号 ·doi:10.1214/15-AOS1426
[14] Cai,T.T.和Zhang,A.(2014)。多面体的稀疏表示和稀疏信号和低秩矩阵的恢复。IEEE传输。Inf.理论60 122-132. ·Zbl 1364.94114号 ·doi:10.1109/TIT.2013.2288639
[15] Candes,E.J.和Plan,Y.(2010年)。带噪声的矩阵完成。程序。电气与电子工程师协会98 925-936.
[16] CANDÈS,E.J.、STROHMER,T.和VORONINSKI,V.(2013)。相位提升:通过凸编程从幅度测量中准确稳定地恢复信号。普通纯应用程序。数学。66 1241-1274. ·Zbl 1335.94013号 ·doi:10.1002/cpa.21432
[17] CARPENTIER,A.、EISERT,J.、GROSS,D.和NICKL,R.(2019年)。矩阵压缩传感和量子层析成像问题的不确定性量化。高维概率VIII-瓦哈卡体积.概率论进展74 385-430. Birkhäuser/Springer,Cham公司·Zbl 1442.62118号 ·数字对象标识代码:10.1007/978-3-030-26391-18
[18] CHEN,H.、RASKUTTI,G.和YUAN,M.(2019年)。广义低秩张量回归的非凸投影梯度下降。J.马赫。学习。物件。20第5、37号论文·Zbl 1483.62091号
[19] CHEN,J.和SAAD,Y.(2008/09)。关于张量奇异值分解和张量的最优低秩正交逼近。SIAM J.矩阵分析。申请。30 1709-1734. ·Zbl 1184.65043号 ·doi:10.1137/070711621
[20] Chen,W.-K.(2019)。带有Rademacher先验的尖峰随机张量中的相变。安。统计师。47 2734-2756. ·Zbl 1426.82022年 ·doi:10.1214/18-AOS1763
[21] Chen,Y.、Fan,J.、Ma,C.和Yan,Y..(2019年)。噪声矩阵补全的推断和不确定性量化。程序。国家。阿卡德。科学。美国116 22931-22937. ·Zbl 1431.90117号 ·doi:10.1073/pnas.1910053116
[22] CHI,E.C.、GAINES,B.R.、SUN,W.W.、ZHOU,H.和YANG,J.(2020年)。张量的可证明凸协聚。J.马赫。学习。物件。21第214、58号论文·Zbl 1529.62066号
[23] DE LATHAUWER,L.、DE MOOR,B.和VANDEWALE,J.(2000)。关于高阶张量的最佳秩-1和秩-[({R_1},{R_2},\dots,{R_N})]逼近。SIAM J.矩阵分析。申请。21 1324-1342. ·Zbl 0958.15026号 ·doi:10.1137/S0895479898346995
[24] DE SILVA,V.和LIM,L.-H.(2008)。张量秩和最佳低秩逼近问题的适定性。SIAM J.矩阵分析。申请。30 1084-1127. ·Zbl 1167.14038号 ·数字对象标识码:10.1137/06066518X
[25] De Domenico,M.、Nicosia,V.、Arenas,A.和Latora,V.(2015)。多层网络的结构可约性。国家公社。6 1-9.
[26] DUDEJA,R.和HSU,D.(2021)。张量PCA的统计查询下限。J.马赫。学习。物件。22第83、51号文件·Zbl 07370600号
[27] Eckart,C.和Young,G.(1936年)。一个矩阵与另一个低阶矩阵的近似。心理测量学1 211-218. ·JFM 62.1075.02标准
[28] FAN,J.、GONG,W.和ZHU,Z.(2019年)。基于核范数正则化的广义高维跟踪回归。J.计量经济学212 177-202. ·兹比尔1452.62536 ·doi:10.1016/j.jeconom.2019.04.026
[29] FEIZI,S.、JAVADI,H.和TSE,D.(2017年)。张量双聚集。In神经信息处理系统研究进展1311-1320.
[30] FOUCART,S.、NEEDELL,D.、PLAN,Y.和WOOTTERS,M.(2017)。矩阵补全的去偏倚低秩投影。小波与稀疏十七10394 1039417. 国际光学与光子学学会·Zbl 1465.65038号 ·数字对象标识代码:10.1117/12.2275004
[31] HAN,R.、LUO,Y.、WANG,M.和ZHANG,A.R.(2020)。张量块模型中的精确聚类:统计最优性和计算极限。预印。可在arXiv:2012.09996获得。
[32] HAN,R.、WILLETT,R.和ZHANG,A.(2020年)。广义张量估计的最佳统计和计算框架。预印本。可在arXiv:2002.11255获得·Zbl 1486.62161号
[33] HAO,B.、ZHANG,A.和CHENG,G.(2020年)。通过三次草图进行稀疏和低阶张量估计。IEEE传输。Inf.理论66 5927-5964. ·Zbl 1448.62072号 ·doi:10.1109/TIT.2020.2982499
[34] Hillar,C.J.和Lim,L.-H.(2013)。大多数张量问题都是NP-hard问题。美国临床医学杂志60第45、39条·Zbl 1281.68126号 ·doi:10.145/2512329
[35] Hopkins,S.B.、Shi,J.和Steurer,D.(2015)。通过平方和证明进行张量主成分分析。学习理论会议956-1006.
[36] 黄,J.、黄,D.Z.、杨,Q.和程,G.(2020)。张量PCA的幂迭代。预印本。可从arXiv:2012.13669获取。
[37] Javanmard,A.和Montanari,A.(2014)。高维回归的置信区间和假设检验。J.马赫。学习。物件。15 2869-2909. ·Zbl 1319.62145号
[38] JING,B.-Y.,LI,T.,LYU,Z.和XIA,D.(2021)。基于正则张量分解的混合多层网络社区检测。安。统计师。49 3181-3205. ·Zbl 1486.62185号 ·doi:10.1214/21-aos2079
[39] KARATZOGLOU,A.、AMATRIAIN,X.、BALTRUNAS,L.和OLIVER,N.(2010年)。多元宇宙推荐:用于上下文感知协同过滤的N维张量因子分解第四届ACM推荐系统会议记录79-86.
[40] Ke,Z.T.,Shi,F.和Xia,D.(2019)。基于正则张量幂迭代的超图网络社区检测。预印本。可在arXiv:1909.06503购买。
[41] KOLDA,T.G.(2001)。正交张量分解。SIAM J.矩阵分析。申请。23 243-255. ·Zbl 1005.15020号 ·doi:10.1137/S0895479800368354
[42] Kolda,T.G.和Bader,B.W.(2009年)。张量分解及其应用。SIAM版本。51 455-500. ·Zbl 1173.65029号 ·doi:10.1137/07070111X
[43] Koltchinskii,V.、Lounici,K.和Tsybakov,A.B.(2011年)。噪声低秩矩阵补全的核形式惩罚和最优速率。安。统计师。39 2302-2329. ·兹比尔1231.62097 ·doi:10.1214/11-AOS894
[44] KOLTCHINSKII,V.和XIA,D.(2015)。低秩密度矩阵的最优估计。J.马赫。学习。物件。16 1757-1792. ·Zbl 1357.62221号
[45] LI,X.,LING,S.,STROHMER,T.和WEI,K.(2019年)。通过非凸优化实现快速、稳健、可靠的盲反褶积。申请。计算。哈蒙。分析。47 893-934. ·Zbl 1422.94013号 ·doi:10.1016/j.acha.2018.01.001
[46] Li,X.,Xu,D.,Zhou,H.和Li,L.(2018)。塔克张量回归和神经影像分析。Stat.Biosci公司。10 520-545.
[47] LIU,T.,YUAN,M.和ZHAO,H.(2017)。通过低秩张量分解表征人脑时空转录组。预印本。可从arXiv:1702.07449获取。
[48] LUO,Y.和ZHANG,A.R.(2020)。种植结构张量聚类:统计最优性和计算极限。预印本。可在arXiv:2005.10743获得·Zbl 1486.62187号
[49] LUO,Y.和ZHANG,A.R.(2020)。开放性问题:超图种植团检测的平均案例硬度。学习理论会议(COLT公司) 125 3852-3856.
[50] LYNCH,R.E.、RICE,J.R.和THOMAS,D.H.(1964年)。偏微分方程的张量积分析。牛市。阿默尔。数学。索克。70 378-384. ·Zbl 0126.12704号 ·doi:10.1090/S0002-9904-1964-1105-8
[51] Montanari,A.和Sun,N.(2018年)。张量补全的谱算法。普通纯应用程序。数学。71 2381-2425. ·Zbl 1404.15023号 ·doi:10.1002/cpa.21748
[52] Perry,A.、Wein,A.S.和Bandeira,A.S.(2020年)。尖峰张量模型的统计极限。亨利·彭加雷·普罗巴布(Henri PoincaréProbab)安·Inst。斯达。56 230-264. ·Zbl 1439.62073号 ·doi:10.1214/19-AIHP960
[53] RASKUTTI,G.,YUAN,M.和CHEN,H.(2019年)。高维多响应张量回归的凸正则化。安。统计师。47 1554-1584. ·Zbl 1428.62324号 ·doi:10.1214/18-AOS1725
[54] RAUHUT,H.、SCHNEIDER,R.和STOJANAC。(2017). 通过迭代硬阈值恢复低秩张量。线性代数应用。523 220-262. ·Zbl 1372.65130号 ·doi:10.1016/j.laa.2017.02.028
[55] Richard,E.和Montanari,A.(2014)。张量主成分分析的统计模型。神经信息处理系统研究进展2897-2905页。
[56] ROBEVA,E.(2016)。对称张量的正交分解。SIAM J.矩阵分析。申请。37 86-102. ·数字对象标识代码:10.1137/140989340
[57] SHAH,D.和YU,C.L.(2019年)。稀疏噪声张量估计的迭代协同滤波。2019年IEEE信息理论国际研讨会(伊西特) 41-45. 电气与电子工程师协会。
[58] Sun,W.W.和Li,L.(2017)。存储:稀疏张量反应回归和神经影像分析。J.马赫。学习。物件。18第135、37号论文·Zbl 1442.62773号
[59] SUN,W.W.和LI,L.(2019年)。动态张量聚类。J.艾默。统计师。协会。114 1894-1907. ·兹比尔1428.62260 ·doi:10.1080/01621459.2018.1527701
[60] Sun,W.W.,Lu,J.,Liu,H.和Cheng,G.(2017)。可证明的稀疏张量分解。J.R.统计社会服务。B.统计方法。79 899-916. ·Zbl 1411.62158号 ·doi:10.1111/rssb.12190
[61] TOMIOKA,R.和铃木,T.(2013)。基于结构化Schatten范数正则化的凸张量分解。神经信息处理系统研究进展1331-1339.
[62] Tucker,L.R.(1966年)。关于三模式因子分析的一些数学注释。心理测量学31 279-311. ·doi:10.1007/BF02289464
[63] VANNIEUWENHOVEN,N.、VANDEBRIL,R.和MEERBERGEN,K.(2012年)。一种新的高阶奇异值分解截断策略。SIAM J.科学。计算。34 A1027-A1052·Zbl 1247.65055号 ·数字对象标识代码:10.1137/10836067
[64] van de Geer,S.、Bühlmann,P.、Ritov,Y.和Dezeure,R.(2014)。关于高维模型的渐近最优置信域和检验。安。统计师。42 1166-1202. ·Zbl 1305.62259号 ·doi:10.1214/14-AOS1221
[65] 冯·纽曼(1936)。哈尔测度的唯一性。材料Sb。1 721-734. ·JFM 62.1231.01标准
[66] 威尔·A(1940)。L'intégration dans les群拓扑及应用.科学与工业现状[当前科学和工业主题],. 869. Hermann&Cie,巴黎·JFM 66.1205.02标准
[67] WILMOTH,J.R.和SHKOLNIKOV,V.(2006)。人类死亡率数据库。
[68] WU,T.、BENSON,A.R.和GLEICH,D.F.(2016)。高阶数据的广义张量谱联合聚类。神经信息处理系统研究进展2559-2567.
[69] XIA,D.(2019)。低秩矩阵回归奇异子空间的置信域。IEEE传输。Inf.理论65 7437-7459·Zbl 1433.94034号 ·doi:10.1109/TIT.2019.2924900
[70] 夏德(2021)。奇异子空间的正规逼近和置信域。电子。J.统计。15 3798-3851. ·兹比尔1471.62364 ·doi:10.1214/21-ejs1876
[71] Xia,D.和Yuan,M.(2019)。精确低秩张量补全的多项式时间方法。已找到。计算。数学。19 1265-1313. ·Zbl 1436.15031号 ·doi:10.1007/s10208-018-09408-6
[72] Xia,D.和Yuan,M.(2021)。噪声矩阵补全线性形式的统计推断。J.R.统计社会服务。B.统计方法。83 58-77. ·Zbl 07555256号 ·doi:10.1111/rssb.12400
[73] 夏德、张爱瑞和周瑜(2022)。补充“低秩张量推论——无需借记”https://doi.org/10.1214/21-AOS2146SUPP网站
[74] Yuan,M.和Zhang,C.-H.(2016)。基于核范数最小化的张量补全。已找到。计算。数学。16 1031-1068. ·兹比尔1378.90066 ·doi:10.1007/s10208-015-9269-5
[75] Zhang,A.(2019)。交叉:有效的低秩张量补全。安。统计师。47 936-964. ·Zbl 1416.62298号 ·doi:10.1214/18-AOS1694
[76] Zhang,A.和Han,R.(2019年)。高维高阶数据的最优稀疏奇异值分解。J.艾默。统计师。协会。114 1708-1725年·Zbl 1428.62262号 ·doi:10.1080/01621459.2018.1527227
[77] Zhang,A.和Xia,D.(2018)。张量SVD:统计和计算极限。IEEE传输。Inf.理论64 7311-7338. ·Zbl 1432.62176号 ·doi:10.1109/TIT.2018.2841377
[78] 张亚荣、罗亚荣、拉斯库蒂、G.和袁明(2020)。ISLET:通过重要性绘制的快速最优低秩张量回归。SIAM J.数学。数据科学。2 444-479. ·Zbl 1484.65095号 ·doi:10.1137/19M126476X
[79] ZHANG C.、HAN R.、ZHANG A.R.和VOYLES P.M.(2020年)。利用张量奇异值分解对原子分辨率4D扫描透射电镜数据进行去噪。超微显微镜113123
[80] Zhang,C.-H.和Huang,J.(2008)。高维线性回归中LASSO选择的稀疏性和偏差。安。统计师。36 1567-1594. ·Zbl 1142.62044号 ·doi:10.1214/07-AOS520
[81] Zhang,C.-H.和Zhang、S.S.(2014)。高维线性模型中低维参数的置信区间。J.R.统计社会服务。B.统计方法。76 217-242. ·Zbl 1411.62196号 ·doi:10.1111/rssb.12026
[82] ZHANG,T.和GOLUB,G.H.(2001)。高阶张量的秩一近似。SIAM J.矩阵分析。申请。23 534-550. ·Zbl 1001.65036号 ·doi:10.1137/S0895479899352045
[83] ZHENG,Q.和TOMIOKA,R.(2015)。通过子空间范数插值凸和非凸张量分解。神经信息处理系统研究进展3106-3113.
[84] Zhou,H.、Li,L.和Zhu,H.(2013)。张量回归在神经影像数据分析中的应用。J.艾默。统计师。协会。108 540-552 ·Zbl 06195959号 ·doi:10.1080/01621459.2013.776499
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。