×

低秩张量分解的实用基于杠杆的采样。 (英语) Zbl 1508.65046号

小结:低秩正则多元张量分解在数据分析中很有用,可以通过求解一系列超定最小二乘子问题来计算。出于对稀疏张量的考虑,我们建议使用杠杆分数来绘制每个子问题的草图,以选择行的子集,并对解的准确性提供概率保证。我们随机抽样与杠杆得分上限成正比的行,这些分数上限可以使用张量分解中固有的特殊Khatri-Rao子问题结构进行有效计算。关键的是,对于(d+1)路张量,草图系统中的行数为(O(r^d/\epsilon),用于最小二乘解中秩和精度的分解,与张量中非零的大小和数量无关。在此基础上,我们提出了一种实用的解决高杠杆得分行采样过多的通用矩阵绘制问题的方法,建议确定性地包含这些行,并在草图系统中组合重复的样本;我们推测,这可以提高理论界。在实际大规模张量上的数值结果表明,在几乎相同的精度水平上,该方法明显快于确定性方法。

MSC公司:

65层99 数值线性代数
65层55 低阶矩阵逼近的数值方法;矩阵压缩
15A69号 多线性代数,张量演算
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] E.Acar和B.Yener,《无监督多路数据分析:文献调查》,IEEE Trans。知识数据工程,21(2009),第6-20页,https://doi.org/10.109/TKDE.2008.112。
[2] K.S.Aggour、A.Gittens和B.Yener,用于快速收敛的标准多元分解的自适应草图绘制,《机器学习国际会议论文集》,2020年,http://proceedings.mlr.press/v119/gittens20a.html。
[3] S.Ahmadi-Asl、S.Abukhovich、M.G.Asante-Mensah、A.Cichocki、A.H.Phan、T.Tanaka和I.Oseledets,塔克分解和高阶奇异值分解(HOSVD)计算的随机算法,IEEE Access,9(2021),第28684-28706页,https://doi.org/10.109/access.2021.3058103。
[4] B.W.Bader和T.G.Kolda,使用稀疏张量和因子张量的高效MATLAB计算,SIAM J.Sci。计算。,30(2007),第205-231页,https://doi.org/10.1137/060676489。 ·Zbl 1159.65323号
[5] B.W.Bader、T.G.Kolda等人,MATLAB Tensor工具箱3.1版,https://www.tensortoolbox.org, 2019.
[6] C.Battaglino、G.Ballard和T.G.Kolda,实用随机CP张量分解,SIAM J.矩阵分析。申请。,39(2018),第876-901页,https://doi.org/10.1137/17M1112303,arXiv:1701.06600·兹比尔1444.65016
[7] J.D.Carroll和J.J.Chang,通过“Eckart-Young”分解的N向泛化分析多维标度中的个体差异,《心理测量学》,35(1970),第283-319页,https://doi.org/10.1007/BF02310791。 ·Zbl 0202.19101号
[8] D.Cheng、R.Peng、I.Perros和Y.Liu,《SPALS:通过隐式杠杆得分抽样快速交替最小二乘法》,《NIPS学报》2016年第16期,https://papers.nips.cc/paper/6436-spals-fast-alternating-lest-squares-via-implicit-levera-scores-sampling.pdf。
[9] G.Drakopoulos、A.Kanavos、I.Karydis、S.Sioutas和A.G Vrahatis,基于张量的生物医学文档语义感知主题聚类,计算,5(2017),34,https://doi.org/10.3390/computation5030034。
[10] P.Drineas、R.Kannan和M.W.Mahoney,矩阵的快速蒙特卡罗算法I:近似矩阵乘法,SIAM J.Compute。,36(2006),第132-157页,https://doi.org/10.1137/s0097539704442684。 ·Zbl 1111.68147号
[11] P.Drineas、M.Magdon-Ismail、M.W.Mahoney和D.P.Woodruff,矩阵一致性和统计杠杆的快速近似,J.Mach。学习。研究,13(2012),第3475-3506页,http://www.jmlr.org/papers/v13/drineas12a.html。 ·Zbl 1437.65030号
[12] P.Drineas和M.W.Mahoney,奇异值分解基于张量推广的随机算法,线性代数应用。,420(2007),第553-571页,https://doi.org/10.1016/j.laa.2006.08.023。 ·Zbl 1108.65032号
[13] P.Drineas和M.W.Mahoney,《随机数值线性代数讲座》,arXiv:1712.088802017年·Zbl 1448.68004号
[14] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloíS,《快速最小二乘近似法》,数值。数学。,117(2011),第219-249页,https://doi.org/10.1007/s00211-010-0331-6。 ·Zbl 1218.65037号
[15] C.Glowacz、V.Grosso、R.Poussier、J.Schu¨th和F.-X.Standaert,《用于并行通道安全评估的更简单、更有效的秩估计》,摘自《快速软件加密国际研讨会》,纽约斯普林格,2015年,第117-129页,https://doi.org/10.1007/978-3-662-48116-5_6。 ·Zbl 1367.94311号
[16] R.A.Harshman,《PARAFAC程序的基础:“解释性”多模式因子分析的模型和条件》,加州大学洛杉矶分校语音学工作论文,第16期,1970年,http://www.psychology.uwo.ca/faulty/harshman/wpppfac0.pdf。
[17] M.A.Iwen、D.Needell、E.Rebrova和A.Zare,具有较少随机位的低记忆遗忘(张量)子空间嵌入:最小二乘法的模态方法,SIAM J.矩阵分析。申请。,42(2021),第376-416页,https://doi.org/10.1137/19M1308116。 ·Zbl 07331678号
[18] R.Jin、T.G.Kolda和R.Ward,通过Kronecker产品实现更快的Johnson-Lindenstraus转换,Inform。推理,10(2021),第1533-1562页,https://doi.org/10.1093/imaiai/iaaaa028。 ·兹比尔1483.94017
[19] T.G.Kolda和B.W.Bader,张量分解和应用,SIAM Rev.,51(2009),第455-500页,https://doi.org/10.1137/07070111X。 ·兹比尔1173.65029
[20] T.G.Kolda和D.Hong,大规模张量分解的随机梯度,SIAM J.数学。数据科学。,2(2020年),第1066-1095页,https://doi.org/10.1137/19m1266265。 ·Zbl 1485.65054号
[21] M.W.Mahoney,矩阵和数据的随机算法,Found。趋势马赫数。学习。,3(2011年),第123-224页,https://doi.org/10.1561/220000035。 ·Zbl 1232.68173号
[22] M.W.Mahoney、M.Maggioni和P.Drineas,张量数据的张量-电流分解,SIAM J.矩阵分析。申请。,30(2008年),第957-987页·Zbl 1168.65340号
[23] O.A.Malik和S.Becker,使用TensorSketch对大张量进行低秩塔克分解,《神经信息处理系统进展学报》,2018年,第10096-10106页,https://proceedings.neurips.cc/paper/2018/hash/45a766fa266ea2ebeb6680fa139d2a3d-Abstract.html。
[24] O.A.Malik和S.Becker,使用相干和采样参数保证Kronecker快速Johnson-Lindenstraus变换,线性代数应用。,602(2020),第120-137页,https://doi.org/10.1016/j.laa.2020.05.004。 ·Zbl 1444.15009号
[25] D.P.Martin、J.F.Oáconnell、E.Oswald和M.Stam,边信道攻击后并行计算密钥,《密码学和信息安全理论与应用国际会议》,纽约斯普林格,2015年,第313-337页,https://doi.org/10.1007/978-3-662-48800-3_13。 ·Zbl 1375.94148号
[26] P.-G.Martinsson和J.A.Tropp,《随机数值线性代数:基础和算法》,《数值学报》。,29(2020年),第403-572页,https://doi.org/10.1017/s096249292000002。 ·Zbl 07674565号
[27] K.Maruhashi、F.Guo和C.Faloutsos,《多方面取证:基于张量分析的大规模异构网络模式挖掘》,《社会网络分析与挖掘进展国际会议论文集》,IEEE,2011年,第203-210页,https://doi.org/10.109/ASONAM.2011.80。
[28] Y.Mu,W.Ding,M.Morabito,D.Tao,犯罪预测的经验判别张量分析,知识科学、工程和管理国际会议,纽约斯普林格,2011年,第293-304页,https://doi.org/10.1007/978-3-642-25975-3_26。
[29] M.Nakatsuji、Q.Zhang、X.Lu、B.Makni和J.A.Hendler,跨域张量因子分解的语义社会网络分析,IEEE Trans。计算。社会系统。,4(2017),第207-217页,https://doi.org/10.109/TCSS.2017.2732685。
[30] D.Papailiopoulos、A.Kyrillidis和C.Boutsidis,《可证明确定性杠杆得分抽样》,载《第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集》,ACM,2014年,第997-1006页,https://doi.org/10.1145/2623330.2623698。
[31] E.E.Papalexakis、K.Pelechrinis和C.Faloutsos,使用张量和信号处理工具进行基于位置的社交网络分析,摘自IEEE第六届多传感器自适应处理计算进展国际研讨会论文集,IEEE,2015年,第93-96页,https://doi.org/10.109/CAMSAP.2015.7383744。
[32] R.Poussier、F.-X.Standaert和V.Grosso,《使用直方图的简单密钥枚举(和秩估计):综合方法》,《密码硬件和嵌入式系统国际会议》,纽约斯普林格,2016年,第61-81页,https://doi.org/10.1007/978-3-662-53140-2_4。 ·兹比尔1380.94117
[33] A.Sapienza、A.Bessi和E.Ferrara,网络游戏中人类行为模式挖掘的非负张量因子分解,信息,9(2018),66,https://doi.org/10.3390/info9030066。
[34] N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Faloutsos,信号处理和机器学习的张量分解,IEEE Trans。信号处理。,65(2017),第3551-3582页,https://doi.org/10.109/TSP.2017.2690524。 ·Zbl 1415.94232号
[35] S.Smith、J.W.Choi、J.Li、R.Vuduc、J.Park、X.Liu和G.Karypis,《FROSTT:开放稀疏张量和工具的可形成知识库》,http://frostt.io网站/, 2017.
[36] Z.Song、D.P.Woodruff和P.Zhong,相对误差张量低阶近似,第30届ACM-SIAM离散算法年会论文集,费城,2019年,第2772-2789页,http://dl.acm.org/citation.cfm?id=3310435.3310607。 ·Zbl 1432.68584号
[37] Y.Sun、Y.Guo、C.Luo、J.Tropp和M.Udell,流数据张量的Low-rank Tucker近似,SIAM J.Math。数据科学。,2(2019年),第1123-1150页,https://doi.org/10.1137/19M1257718。 ·Zbl 1512.65077号
[38] Y.Wang、H.-Y.Tung、A.J.Smola和A.Anandkumar,通过草图快速保证张量分解,《神经信息处理系统进展学报》,2015年,第991-999页,http://papers.nips.cc/paper/5944-fast-and-guaranteed-tensor-decomposition-via-sketching.pdf。
[39] D.P.Woodruff,素描作为数字线性代数的工具,发现。趋势理论。计算。科学。,10(2014),第1-157页,https://doi.org/10.1561/0400000060。 ·Zbl 1316.65046号
[40] Y.Yan、Y.Tao、J.Xu、S.Ren和H.Lin,基于张量因子分解的自行车共享数据可视化分析,J.Visualization,21(2018),第495-509页,https://doi.org/10.1007/s12650-017-0463-1。
[41] B.Yang、A.Zamzam和N.D.Sidiropoulos,《Parasketch:通过草图实现并行张量因式分解》,载《2018年SIAM国际数据挖掘会议论文集》,SIAM,2018年,第396-404页,https://doi.org/10.1137/1.9781611975321.45。
[42] A.R.Zhang、Y.Luo、G.Raskutti和M.Yuan,ISLET:通过重要性草图快速优化低阶张量回归,SIAM J.Math。数据科学。,2(2020年),第444-479页,https://doi.org/10.1137/19M126476X。 ·Zbl 1484.65095号
[43] G.Zhou,A.Cichocki,S.Xie,低多重线性秩大张量的分解,http://arxiv.org/abs/1412.1885, 2014.
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。