萨曼莎·谢尔曼；塔马拉·科尔达。 使用对称张量分解估计高阶矩。 （英语） Zbl 1467.15022号 SIAM J.矩阵分析。申请。 41，第3期，1369-1387（2020）. 小结：我们考虑分解高阶矩张量的问题，即数据向量的对称外积之和。这种分解可以用于估计高斯混合模型中的平均值，也可以用于机器学习中的其他应用。变量的一组（p）观测值的（d）阶经验矩张量是对称（d）向张量。我们的目标是找到一个包含所有p对称外积的低阶张量近似。挑战在于形成经验矩张量需要（O（pn^d））运算和（O（n^d）存储，这可能非常昂贵；此外，计算每次迭代的低阶近似成本（O（n^d））的算法。我们的贡献是避免形成矩张量，计算矩张量的低阶张量近似隐式地每次迭代使用\（O（pnr）\）操作，并且没有额外的内存。这一进展为高阶矩的更多应用打开了大门，因为它们现在可以有效地计算。我们给出了计算节省的数值证据，并给出了估计高阶矩平均值的示例。 引用于2文件 MSC公司： 15A69号 多线性代数，张量演算 65层55 低阶矩阵逼近的数值方法；矩阵压缩 68T05型 人工智能中的学习和自适应系统 关键词：高阶矩；高阶累积量；高斯混合模型；对称张量分解；隐式张量形成 软件：L-BFGS-B型；L-BFGS公司；LBFGS-B型；张量工具箱；github；亚当 PDF格式BibTeX公司 XML格式引用 \textit{S.Sherman}和\textit{T.G.Kolda}，SIAM J.矩阵分析。申请。41，编号3，1369-1387（2020；兹bl 1467.15022） 全文： 内政部 arXiv公司 参考文献： [1] K.Aditya、H.Kolla、W.P.Kegelmeyer、T.M.Shead、J.Ling和W.L.Davis，《使用联合统计矩检测科学数据中的异常》，J.Compute。物理。，387（2019），第522-538页，https://doi.org/10.1016/j.jcp.2019.03.003。 ·Zbl 1453.62499号 [2] A.Anandkumar、R.Ge、D.Hsu和S.M.Kakade，学习混合成员社区模型的张量方法，J.Mach。学习。Res.，15（2014），第2239-2312页，http://jmlr.org/papers/volume15/zhang14a/zhang14a.pdf。 ·Zbl 1318.68136号 [3] A.Anandkumar、R.Ge、D.Hsu、S.M.Kakade和M.Telgarsky，学习潜在变量模型的张量分解，J.Mach。学习。Res.，15（2014），第2773-2832页，http://jmlr.org/papers/v15/anandkumar14b.html。 ·Zbl 1319.62109号 [4] J.Anderson、M.Belkin、N.Goyal、L.Rademacher和J.Voss，《越多越好：学习大高斯混合的维数祝福》，《学习理论会议论文集》，2014年，第1135-1164页。 [5] B.W.Bader和T.G.Kolda，使用稀疏张量和因子张量的高效MATLAB计算，SIAM J.Sci。计算。，30（2007），第205-231页，https://doi.org/10.1137/060676489。 ·Zbl 1159.65323号 [6] B.W.Bader、T.G.Kolda等人，MATLAB Tensor工具箱版本，3.1版，https://www.tensortoolbox.org, 2019. [7] G.Ballard、T.G.Kolda和T.Plantenga，《有效计算GPU上的张量特征值》，载于IPDPSW’11：2011年IEEE并行和分布式处理研讨会暨博士论坛论文集，IEEE计算机学会，2011年，第1340-1348页，https://doi.org/10.109/IPDPS.2011.287。 [8] S.Becker，L-BFGS-B，用MATLAB Wrapper从Fortran转换为C，https://github.com/stephenbeckr/L-BFGS-B-C。 [9] U.Benedikt、A.A.Auer、M.Espig和W.Hackbusch，后Hartree-Fock方法中的张量分解。I.二电子积分和MP2，J.Chem。物理。，134 (2011), 054118, https://doi.org/10.1063/1.3514201。 [10] A.Bernardi、A.Gimigliano和M.Idaí，《计算对称张量的对称秩》，J.Symbol。计算。，46（2011），第34-53页，https://doi.org/10.1016/j.jsc.2010.08.001。 ·Zbl 1211.14057号 [11] J.Cardoso，四阶累积量张量的超对称分解：多个源的盲识别，载于ICASPSP-91：国际声学、语音和信号处理会议，1991年，第3109-3112页，https://doi.org/10.109/ICASSP.1991.150113。 [12] G.C.Casella和R.L.Berger，统计推断，Cengage Learning，Inc。，https://www.ebook.de/de/product/3248529/g_c_casella_roger_l_berger_statistical_expression.html, 2001. ·Zbl 0699.62001号 [13] A.Cichocki、M.Jankovic、R.Zdunk和S.-I.Amari，稀疏超对称张量因式分解，收录于ICONIP 2007：第14届神经信息处理国际会议，计算机课堂讲稿。科学。4984，施普林格，纽约，第781-190页，https://doi.org/10.1007/978-3-540-69158-7_81。 [14] P.Comon，《张量分解：现状和应用》，《信号处理数学》V，J.G.McWhirter和I.K.Proudler主编，牛津大学出版社，英国牛津，2002年，第1-24页·Zbl 1014.65007号 [15] P.Comon、G.Golub、L.-H.Lim和B.Mourrain，《对称张量和对称张量秩》，SIAM J.矩阵分析。申请。，30（2008），第1254-1279页，https://doi.org/10.1137/060661569。 ·Zbl 1181.15014号 [16] L.De Lathauwer、B.De Moor和J.Vandewalle，独立分量分析和（同时）三阶张量对角化，IEEE Trans。信号处理。，49（2001），第2262-2271页，https://doi.org/10.1109/78.950782。 [17] K.Domino，《使用四阶累积张量检测t-Student Copula建模的异常特征》，https://arxiv.org/abs/1804.00541v1, 2018. [18] K.Domino、P.Gawron和Ł。Pawela，高阶累积量张量的有效计算，SIAM J.Sci。计算。，40（2018年），第A1590-A1610页，https://doi.org/10.1137/17m1149365。 ·Zbl 1398.65371号 [19] R.Ge、Q.Huang和S.M.Kakade，《高维高斯混合学习》，第47届美国计算机学会计算理论研讨会论文集，纽约，2015年，第761-770页，https://doi.org/10.1145/2746539.2746616。 ·Zbl 1321.68403号 [20] X.Geng和L.Wang，NPSA：非正交主偏度分析，IEEE Trans。图像处理。，29（2020），第6396-6408页，https://doi.org/10.1109/TIP.2020.2984849。 ·Zbl 1518.94007号 [21] N.Goyal、S.Vempala和Y.Xiao，傅里叶主成分分析和稳健张量分解，第46届美国计算机学会计算理论研讨会论文集，纽约，2014年，第584-593页，https://doi.org/10.1145/2591796.2591875。 ·Zbl 1315.68209号 [22] N.Halko、P.G.Martinsson和J.A.Tropp，《发现随机结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53（2011），第217-288页，https://doi.org/10.1137/090771806。 ·Zbl 1269.65043号 [23] C.J.Hillar和L.-H.Lim，《大多数张量问题是NP-hard》，J.ACM，60（2013），第1-39页，https://doi.org/10.1145/2512329。 ·Zbl 1281.68126号 [24] D.Hsu和S.M.Kakade，《球面高斯的学习混合：矩方法和谱分解》，摘自ITCS’13：第四届理论计算机科学创新会议论文集，纽约，ACM，2013年，第11-20页，https://doi.org/10.1145/2422436.242439。 ·Zbl 1362.68246号 [25] D.P.Kingma和J.Ba，Adam：一种随机优化方法，https://arxiv.org/abs/1412.6980v9，2015年。 [26] T.G.Kolda，对称张量分解的数值优化，数学。程序。B、 151（2015），第225-248页，https://doi.org/10.1007/s10107-015-0895-0。 ·Zbl 1328.90139号 [27] T.G.Kolda和J.R.Mayo，计算张量本征对的移位幂方法，SIAM J.矩阵分析。申请。，32（2011），第1095-1124页，https://doi.org/10.1137/100801482。 ·Zbl 1247.65048号 [28] T.Kollo，《多元偏度和峰度测量及其在ICA中的应用》，《多元分析杂志》。，99（2008），第2328-2338页，https://doi.org/10.1016/j.jmva.2008.02.033。 ·Zbl 1294.62021号 [29] T.Kollo和M.S.Srivastava，多元拉普拉斯分布中参数的估计和测试，Comm.Statist。理论方法，33（2005），第2363-2387页，https://doi.org/10.1081/STA-200031408。 ·Zbl 1217.62080号 [30] O.Kyrgyzov和D.Erdogmus，n维有序-p对称张量的秩和1分解的几何结构，在ISCAS 2008：IEEE电路与系统国际研讨会论文集，2008，第1340-1343页，https://doi.org/10.109/ISCAS.2008.4541674。 [31] P.McCullagh，《统计学中的张量方法》，多佛，米诺拉，纽约州，2018年·Zbl 1407.62021号 [32] P.McCullagh和J.Kolassa，《累积量》，学术媒体，4（2009），4699，https://doi.org/10.4249/scholarpedia.4699。 [33] 聂杰，生成多项式和对称张量分解，发现。计算。数学。，17（2015），第423-465页，https://doi.org/10.1007/s10208-015-9291-7。 ·Zbl 1381.15017号 [34] A.Perry、J.Weed、A.S.Bandeira、P.Rigollet和A.Singer，《多参考比对的样本复杂性》，SIAM J.Math。数据科学。，1（2019年），第497-517页，https://doi.org/10.1137/18M1214317。 ·Zbl 1499.92047号 [35] H.Sedghi、M.Janzamin和A.Anandkumar，广义线性模型混合学习的可证明张量方法，《第19届人工智能与统计国际会议论文集》，西班牙加的斯，2016年，第1223-1231页，http://proceedings.mlr.press/v51/sedghi16.html。 [36] A.Shashua、R.Zass和T.Hazan，使用超对称非负张量因式分解的多路聚类，收录于ECCV 2006：第九届欧洲计算机视觉会议论文集，第四部分，2006年，第595-608页，https://doi.org/10.1007/11744085_46。 [37] G.Tomasi和R.Bro，拟合PARAFAC模型的算法比较，计算。统计师。数据分析。，50（2006），第1700-1734页，https://doi.org/10.1016/j.csda.2004.11.013。 ·Zbl 1445.62136号 [38] C.Zhu、R.H.Byrd、P.Lu和J.Nocedal，算法778:L-BFGS-B:大规模有界约束优化的Fortran子程序，ACM Trans。数学。《软件》，23（1997），第550-560页，https://doi.org/10.1145/279232.279236。 ·Zbl 0912.65057号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。