×

张量-应变格式中舍入的随机算法。 (英语) Zbl 07673280号

摘要:张量-应变(TT)格式是高维张量的一种高度紧凑的低秩表示。TT在表示某些类型参数化偏微分方程解的近似值时特别有用。对于其中许多问题,显式计算解决方案将需要不可行的内存量和计算时间。虽然TT格式使这些问题易于处理,但用于求解偏微分方程的迭代技术必须适应于在保持隐式结构的同时执行算术。用于维持可行内存和计算时间的基本操作称为四舍五入,它截断已经采用TT格式的张量的内部秩。我们为此任务提出了几种随机算法,它们是随机低秩矩阵近似算法的推广,与确定性TT-rounding算法相比,计算量大大减少。在四舍五入TT传感器总和的情况下,随机化特别有效(我们观察到加速了20倍),这是GMRES适应TT格式向量的瓶颈计算。我们提出了随机算法,并将其经验精度和计算时间与确定性方案进行了比较。

MSC公司:

68瓦20 随机算法
15A69号 多线性代数,张量演算
65层55 低阶矩阵逼近的数值方法;矩阵压缩
65英尺99英寸 数值线性代数
65年20月 数值算法的复杂性和性能
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ahmadi-Asl,S.、Abukhovich,S.,Asante-Mensah,M.G.、Cichocki,A.、Phan,A.H.、Tanaka,T.和Oseledets,I.,塔克分解和高阶奇异值分解(HOSVD)计算的随机算法,IEEE Access,9(2021),第28684-28706页。
[2] Ahmadi-Asl,S.、Cichocki,A.、Phan,A.H.、Asante-Mensah,M.G.、Ghazani,M.M.、Tanaka,T.和Oseledets,I.,低秩张量环模型快速计算的随机算法,马赫。学习。科学。技术。,2 (2020), 011001.
[3] Alger,N.,Chen,P.,and Ghattas,O.,张量作用的张量列构造,应用于大型高阶导数张量的压缩,SIAM J.Sci。计算。,42(2020年),第A3516-A3539页·兹比尔1465.35370
[4] Ballani,J.和Grasedyck,L.,求解张量格式线性系统的投影方法,数值。线性代数应用。,20(2013),第27-43页·Zbl 1289.65049号
[5] Ballester-Ripoll,R.和Pajarola,R.,积分直方图压缩和查找的张量分解,IEEE Trans。视觉。计算。图表。,25(2018),第1435-1446页。
[6] Batselier,K.,Yu,W.,Daniel,L.,and Wong,N.,利用张量网络随机SVD计算大规模矩阵的低阶近似,SIAM J.Matrix Ana。申请。,39(2018),第1221-1244页·Zbl 1416.65109号
[7] Beck,M.H.、Jäckle,A.、Worth,G.A.和Meyer,H.-D.,《多配置时间相关哈特树(MCTDH)方法:传播波包的高效算法》,Phys。代表,324(2000),第1-105页。
[8] Beylkin,G.,Garcke,J.和Mohlenkamp,M.J.,多元回归和可分离函数和的机器学习,SIAM J.Sci。计算。,31(2009),第1840-1857页·兹比尔1190.62135
[9] Che,M.和Wei,Y.,塔克近似和张量列分解的随机算法,高级计算。数学。,45(2019年),第395-428页·Zbl 1433.68600号
[10] Cichocki,A.,Lee,N.,Oseledets,I.,Phan,A.-H.,Zhao,Q.和Mandic,D.P.,降维和大规模优化的张量网络:第1部分,低秩张量分解,找到了。趋势马赫数。学习。,9(2016),第249-429页·Zbl 1364.68320号
[11] Cichocki,A.、Phan,A.-H.、Zhao,Q.、Lee,N.、Oseledets,I.V.、Sugiyama,M.和Mandic,D.,用于降维和大规模优化的张量网络。第2部分:应用和未来展望。《趋势》,9(2017),第431-673页,doi:10.1561/22000067。
[12] Cohen,N.、Sharir,O.和Shashua,A.,《深度学习的表现力:张量分析》,《学习理论会议论文集》,PMLR,2016年,第698-728页。
[13] Daas,H.A.、Ballard,G.和Benner,P.,张量序列算法的并行算法,SIAM J.Sci。计算。,44(2022),doi:10.1137/20M1387158·Zbl 1484.65088号
[14] Dahmen,W.,DeVore,R.,Grasedyck,L.,and Süli,E.,《高维椭圆偏微分方程解的张量对称性》,Found。计算。数学。,16(2016),第813-874页·Zbl 1365.65243号
[15] De Silva,V.和Lim,L.-H.,张量秩和最佳低秩近似问题的适定性,SIAM J.矩阵分析。申请。,30(2008),第1084-1127页·Zbl 1167.14038号
[16] Dolgov,S.和Savostyanov,D.,高维积分高精度计算的并行交叉插值,计算。物理学。社区。,246 (2020), 106869. ·Zbl 07678425号
[17] Dolgov,S.V.,TT-GMRES:结构化张量格式线性系统的解,俄罗斯J.Numer。分析。数学。《建模》,28(2013),第149-172页·Zbl 1266.65050号
[18] Dolgov,S.V.,Khoromskij,B.N.和Oseledets,I.V.,张量列/量化张量列格式的抛物型问题的快速解,初步应用于福克-普朗克方程,SIAM J.Sci。计算。,34(2012),第A3016-A3038页·Zbl 1259.82075号
[19] Dolgov,S.V.和Savostyanov,D.V.,高维线性系统的交替最小能量方法,SIAM J.Sci。计算。,36(2014年),第A2248-A2271页·Zbl 1307.65035号
[20] Duvenaud,D.、Maclaurin,D.、Iparraguire,J.、Bombarell,R.、Hirzel,T.、Aspuru-Guzik,A.和Adams,R.,《神经信息处理系统的进展》,NIPS’15:第28届神经信息处理系统国际会议论文集,Cortes,C.、Lawrence,N.D.、Lee,D.、Sugiyama,M.和Garnett,R.编辑,第28卷,2015年,第2224-232页。
[21] Fannes,M.、Nachtergaele,B.和Werner,R.F.,《量子自旋链上的有限关联态》,Comm.Math。物理。,144(1992),第443-490页·Zbl 0755.46039号
[22] Feng,Y.,Tang,K.,He,L.,Zhou,P.,Liao,Q.,张量列随机投影,预印本,arXiv:2010.107972020。
[23] Gelß,P.,Klus,S.,Matera,S.和Schütte,C.,张量-应变格式的最近邻相互作用系统,J.Compute。物理。,341(2017),第140-162页·Zbl 1377.82015年
[24] Grasedyck,L.,张量积结构的大型线性系统的低Kronecker秩近似的存在性和计算,计算,72(2004),第247-265页·Zbl 1058.65036号
[25] Grasedyck,L.、Kressner,D.和Tobler,C.,低阶张量近似技术的文献综述,GAMM-Mitt。,36(2013),第53-78页·兹比尔1279.65045
[26] Hackbusch,W.,《张量空间和数值张量微积分》,施普林格,纽约,2012年·Zbl 1244.65061号
[27] Halko,N.、Martinsson,P.G.和Tropp,J.A.,《寻找具有随机性的结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号
[28] Higham,N.J.,《数值算法的准确性和稳定性》,第二版,SIAM,费城,2002年·Zbl 1011.65010号
[29] 希区柯克,F.L.,《张量或多元数作为乘积之和的表达式》,J.Math。物理。,6(1927年),第164-189页。
[30] Holtz,S.、Rohwedder,T.和Schneider,R.,张量列格式张量优化的交替线性方案,SIAM J.Sci。计算。,34(2012年),第A683-A713页·Zbl 1252.15031号
[31] Huber,B.、Schneider,R.和Wolf,S.,《随机张量序列奇异值分解》,载于《压缩传感及其应用》,Springer,纽约,2017年,第261-290页。
[32] Khoromskij,B.N.,《科学计算中的张量结构数值方法:最新进展综述》,《化学》。智力。实验室系统。,110(2012),第1-19页。
[33] Klus,S.、Gelß,P.、Peitz,S.和Schütte,C.,基于张量的动态模式分解,非线性,31(2018),3359·Zbl 1404.65313号
[34] Klus,S.、Koltai,P.和Schütte,C.,关于Perron-Frobenius和Koopman算子的数值逼近,J.Compute。动态。,3(2016),第51-79页,doi:10.3934/jcd.2016003·Zbl 1353.37154号
[35] Koch,O.和Lubich,C.,动力学张量近似,SIAM J.矩阵分析。申请。,31(2010年),第2360-2375页·兹比尔1214.15017
[36] Kolda,T.G.和Bader,B.W.,《张量分解和应用》,SIAM Rev.,51(2009),第455-500页·Zbl 1173.65029号
[37] Kressner,D.、Kumar,R.、Nobile,F.和Tobler,C.,高斯随机场高阶相关函数的低秩张量近似,SIAM-ASA J.不确定性。数量。,3(2015),第393-416页·Zbl 1322.65027号
[38] Kressner,D.和Tobler,C.,参数化线性系统的低秩张量Krylov子空间方法,SIAM J.矩阵分析。申请。,32(2011),第1288-1316页·Zbl 1237.65034号
[39] Loukrezis,D.、Römer,U.、Casper,T.、Schöps,S.和De Gersem,H.,《利用稀疏网格上的随机配置和张量列分解对电热场问题进行高维不确定性量化》,国际期刊Numer。模型。电子。Netw公司。《设备领域》,31(2018),e2222。
[40] Meyer,H.-D.,Gatti,F.和Worth,G.A.,《多维量子动力学:MCTDH理论和应用》中的MCTDH基本理论,威利,纽约,2009年,第17-30页。
[41] Nakatsukasa,Y.,《快速稳定随机低秩矩阵近似》,预印本,arXiv:2009.113922020。
[42] Obukhov,A.、Rakhuba,M.、Liniger,A.、Huang,Z.、Georgoulis,S.、Dai,D.和Van Gool,L.,深度学习层的谱张量序列参数化,《国际人工智能与统计会议论文集》,PMLR,2021年,第3547-3555页。
[43] Oseledets,I.和Tyrtyshnikov,E.,多维数组的TT交叉逼近,线性代数应用。,432(2010),第70-88页·Zbl 1183.65040号
[44] Oseledets,I.V.,张量-应变分解,SIAM J.Sci。计算。,33(2011年),第2295-2317页·Zbl 1232.15018号
[45] Oseledets,I.V.和Dolgov,S.V.,TT格式的线性系统和矩阵反演的解,SIAM J.Sci。计算。,34(2012年),第A2718-A2739页·Zbl 1259.65071号
[46] Oseledets,I.V.和Tyrtyshnikov,E.E.,《打破维度诅咒,或如何在多个维度中使用SVD》,SIAM J.Sci。计算。,31(2009),第3744-3759页·Zbl 1200.65028号
[47] Rakhshan,B.和Rabusseau,G.,《张力随机投影》,《国际人工智能与统计会议论文集》,PMLR,2020年,第3306-3316页。
[48] Rauhut,H.、Schneider,R.和Stojanac。,分层张量表示中的张量补全,《压缩传感及其应用》,Springer,纽约,2015年,第419-450页·Zbl 1333.94023号
[49] Richter,L.、Sallandt,L.和Nüsken,N.,使用张量列格式求解高维抛物线偏微分方程,《第38届机器学习国际会议论文集》,PMLR,2021年,第8998-9009页。https://proceedings.mlr.press/v139/richter21a.html。
[50] Savostyanov,D.和Oseledets,I.,张量列格式多维数组的快速自适应插值,《2011年多维(nD)系统国际研讨会论文集》,2011年,第1-8页。
[51] Schollwöck,U.,《密度矩阵重整化群》,修订版。物理。,77(2005),第259-315页·Zbl 1205.82073号
[52] Tobler,C.,线性系统和特征值问题的低秩张量方法,博士论文,苏黎世联邦理工学院,2012年。
[53] Zhang,Z.,Yang,X.,Oseledets,I.V.,Karniadakis,G.E.,and Daniel,L.,通过方差分析和张量应变分解实现高维层次不确定性量化,IEEE Trans。计算-辅助设计。集成。电路系统。,34(2014),第63-76页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。