×
Kim Batselier;于文坚;丹尼尔、卢卡;黄，Ngai

利用张量网络随机SVD计算大规模矩阵的低阶近似。 （英语） Zbl 1416.65109号

SIAM J.矩阵分析。申请。 39，第3期，1221-1244（2018）.
摘要：我们提出了一种计算矩阵乘积算子（MPO）格式中矩阵的奇异值分解（SVD）低阶近似的新算法，也称为张量列矩阵格式。我们的张量网络随机SVD（TNrSVD）算法是随机SVD算法的MPO实现，能够计算主导奇异值及其对应的奇异向量。与最先进的基于张量的交替最小二乘奇异值分解（ALS-SVD）和改进的交替最小二乘SVD（MALS-SVD）矩阵近似方法相比，TNrSVD的速度可以提高13倍，同时实现更好的精度。此外，我们的TNrSVD算法还可以在ALS-SVD和MALS-SVD都无法收敛的特定情况下生成精确的近似值。我们还提出了一种新的算法，用于将稀疏矩阵快速转换为相应的MPO形式，它比标准张量列SVD方法快509倍，同时实现机器精度。数值实验证明了这两种算法的有效性和准确性。

引用于8文件

MSC公司：

65楼30 其他矩阵算法（MSC2010）
15A69号 多线性代数，张量演算
15A23型 矩阵的因式分解

关键词：

维数灾难;低秩张量近似;矩阵分解;矩阵乘积算子;奇异值分解;张量网络;张量列分解;随机算法

软件：

稀疏矩阵;TT工具箱
PDF格式BibTeX公司 XML格式引用
\textit{K.Batselier}等人，SIAM J.矩阵分析。申请。39，第3号，1221--1244（2018；Zbl 1416.65109）
全文： 内政部 arXiv公司

参考文献：

[1] K.Batselier、Z.Chen和N.Wong，MIMO-Volterra系统辨识的张量网络交替线性方案《自动化》，84（2017），第26-35页·Zbl 1376.93032号
[2] E.贝尔特拉米，Sulle Funzioni Bilineri公司《乔治·迪·马塞马提奇》，第11页（1873年），第98–106页。
[3] A.比约克，最小二乘问题的数值方法，SIAM，费城，1996年·Zbl 0847.65023号
[4] Z.Chen、K.Batselier、J.A.K.Suykens和N.Wong，多项式分类器的并行张量训练学习，IEEE传输。神经网络。学习。系统。，（2017），第1-12页。
[5] A.Cichocki、N.Lee、I.Oseledets、A.-H.Phan、Q.Zhao和D.P.Mandic，用于降维和大规模优化的张量网络：第1部分低阶张量分解，找到。趋势马赫数。学习。，9（2016），第249–429页·Zbl 1364.68320号
[6] A.Cichocki、A.-H.Phan、Q.Zhao、N.Lee、I.Oseledets、M.Sugiyama和D.P.Mandic，用于降维和大规模优化的张量网络：第2部分应用和未来展望，找到。趋势马赫数。学习。，9（2017年），第431-673页·Zbl 1376.68123号
[7] E.Cuthill和J.McKee，减少稀疏对称矩阵的带宽《1969年第24届全国会议记录》，ACM’69，ACM，纽约，1969年，第157-172页。
[8] T.A.Davis和Y.Hu，佛罗里达大学稀疏矩阵集合，ACM变速器。数学。《软件》，38（2011），第1:1-1:25页·Zbl 1365.65123号
[9] J.Demmel，应用数值线性代数，SIAM，费城，1997年·Zbl 0879.65017号
[10] S.Dolgov、B.Khoromskij、I.Oseledets和D.Savostyanov，用块张量列格式计算高维极值特征值，计算。物理学。社区。，185（2014），第1207–1216页·Zbl 1344.65043号
[11] S.Dolgov和D.Savostyanov，高维线性系统的交替最小能量法，SIAM J.科学。计算。，36（2014年），第A2248–A2271页·Zbl 1307.65035号
[12] L·埃尔德，数据挖掘和模式识别中的矩阵方法2007年，费城SIAM·Zbl 1120.68092号
[13] G.Golub和W.Kahan，计算矩阵的奇异值和伪逆J.Soc.Ind.申请。数学。序列号。B数字。分析。，2（1965年），第205-224页·Zbl 0194.18201号
[14] G.H.Golub和C.Reinsch，奇异值分解与最小二乘解，数字。数学。，14（1970年），第403-420页·兹比尔0181.17602
[15] G.H.Golub和C.F.Van Loan，矩阵计算第三版，约翰霍普金斯大学出版社，马里兰州巴尔的摩，1996年·Zbl 0865.65009号
[16] N.Halko、P.G.Martinsson和J.A.Tropp，寻找随机结构：构造近似矩阵分解的概率算法SIAM Rev.，53（2011），第217-288页·Zbl 1269.65043号
[17] C.Hubig、I.P.McCulloch和U.Schollwo­ck，高效矩阵乘积算子的一般构造，物理。B版，95（2017），第035129页。
[18] T.Kolda和B.Bader，张量分解及其应用SIAM Rev.，51（2009），第455–500页·Zbl 1173.65029号
[19] N.Lee和A.Cichocki，张量列格式下大规模矩阵极值奇异值和向量的估计，SIAM J.矩阵分析。申请。，36（2015），第994–1014页·Zbl 1319.65029号
[20] N.Lee和A.Cichocki，利用低秩张量列分解正则化计算大矩阵近似伪逆，SIAM J.矩阵分析。申请。，37（2016），第598-623页·Zbl 1338.65108号
[21] E.Liberty、F.Woolfe、P.G.Martinsson、V.Rokhlin和M.Tygert，矩阵低阶逼近的随机化算法，程序。国家。阿卡德。科学。，104（2007），第20167–20172页·Zbl 1215.65080号
[22] M.Moonen和B.De Moor，SVD和信号处理，III：算法、架构和应用《爱思唯尔科学》，荷兰阿姆斯特丹，1995年·Zbl 0817.00020
[23] C.马斯科和C.马斯科，更强更快近似奇异值分解的随机块Krylov方法，《第28届神经信息处理系统国际会议论文集-第1卷，NIPS’15》，麻省理工学院出版社，马萨诸塞州剑桥，2015年，第1396–1404页。
[24] A.Novikov、D.Podoprikhin、A.Osokin和D.Vetrov，张量化神经网络，《第28届神经信息处理系统国际会议论文集》，NIPS’15，美国马萨诸塞州剑桥，2015年，麻省理工学院出版社，第442-450页。
[25] I.Oseledets，张量序列分解，SIAM J.科学。计算。，33（2011年），第2295–2317页·Zbl 1232.15018号
[26] I.Oseledets、S.Dolgov等人。，MATLAB TT工具箱版本2.3，在线提供，2014年。
[27] I.V.Oseledets，用张量分解逼近（2^d×2^d）矩阵，SIAM J.矩阵分析。申请。，31（2010），第2130–2145页·Zbl 1200.15005号
[28] I.V.Oseledets，TT格式快速线性代数的DMRG方法，计算。方法应用。数学。，11（2011），第382-393页·Zbl 1283.15041号
[29] I.V.Oseledets和S.V.Dolgov，tt-format中线性系统的求解和矩阵反演，SIAM J.科学。计算。，34（2012年），第A2718–A2739页·Zbl 1259.65071号
[30] I.V.Oseledets和E.Tyrtyshnikov，多维数组的TT-交叉逼近，线性代数应用。，422（2010年），第70-88页·Zbl 1183.65040号
[31] D.Savostyanov和I.Oseledets，张量列格式多维阵列的快速自适应插值，《2011年多维（ND）系统国际研讨会》，IEEE，2011年，第1-8页。
[32] U.Schollwo¨ck大学，矩阵乘积态年龄下的密度矩阵重整化群《物理学年鉴》，第326页（2011年），第96-192页·Zbl 1213.81178号
[33] F.Woolfe、E.Liberty、V.Rokhlin和M.Tygert，矩阵逼近的快速随机化算法，申请。计算。哈蒙。分析。，25（2008），第335-366页·Zbl 1155.65035号
[34] 于伟、顾毅、李钧、刘绍和李毅，大型高维数据的单通道PCA，CoRR，abs/1704.076692017年。
[35] 于伟、顾毅和李毅，固定精度低秩矩阵逼近的高效随机算法，CoRR，abs/1606.094022018年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。