×

通过张量序列草图进行生成建模。 (英语) Zbl 07740088号

摘要:在本文中,我们介绍了一种从样本中构造概率密度张量列表示的草图算法。我们的方法偏离了构造张量序列的基于SVD的标准递归过程。相反,我们为单个张量列核构造并求解了一系列小型线性系统。这种方法可以避免维数灾难,因为维数灾难会威胁恢复问题的算法和样本复杂性。具体地说,对于自然条件下的马尔可夫模型,我们证明了张量核可以恢复为样本复杂度在维数上呈对数缩放。最后,我们通过几个数值实验说明了该方法的性能。

MSC公司:

68倍 计算机科学

软件:

Tensor工具箱
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 丹尼尔·比戈尼;Engsig-Karup,Allan P。;Marzouk,Youssef M.,谱张量-应变分解,SIAM J.Sci。计算。,38、4、A2405-A2439(2016)·Zbl 1347.41006号
[2] Bradley,Tai-Dane;斯塔登米尔,E.迈尔斯;约翰·特瑞拉(John Terilla),《用量子态建模序列:引擎盖下的外观》,马赫(Mach)。学习。:科学。技术。,第1、3条,第035008页(2020年)
[3] 车茂林;Wei,Yimin,塔克近似和张量列分解的随机算法,高级计算。数学。,45, 1, 395-428 (2019) ·Zbl 1433.68600号
[4] 陈毅;杰里米·霍斯金斯;Khoo、Yuehaw;Lindsey,Michael,通过张量网络的Committor函数(2021),arXiv预印本·Zbl 07620352号
[5] 陈雨欣;池跃杰;范建清;马聪,数据科学的谱方法:统计学视角,发现。趋势马赫数。学习。,14, 5, 566-806 (2021) ·Zbl 1524.68267号
[6] 程松;王磊;向、道;张,潘,生成建模树张量网络,物理。B版,第99、15条,第155131页(2019年)
[7] 阿尔·达斯(Al Daas)、胡萨姆(Hussam);巴拉德,灰色;Benner,Peter,张量列算法的并行算法,SIAM J.Sci。计算。,44、1、C25-C53(2022)·Zbl 1484.65088号
[8] 阿尔·达斯(Al Daas)、胡萨姆(Hussam);巴拉德,灰色;Paul Cazeaux;埃里克·霍尔曼;阿格涅斯卡·米德勒;米尔杰塔·帕夏;里德(Tim W.Reid)。;Saibaba,Arvind K.,张量-应变格式中舍入的随机算法(2021),arXiv预印本·Zbl 07673280号
[9] 谢尔盖·多尔戈夫;卡里姆·阿纳亚·伊兹奎尔多;科林·福克斯;Scheichl,Robert,张量列分解中多元概率分布的近似和抽样,统计计算。,30, 603-625 (2020) ·Zbl 1436.62192号
[10] 玛丽露·加布里;格兰特·罗斯科夫(Grant M.Rotskoff)。;Vanden-Eijnden,Eric,用规范化流增强的自适应蒙特卡罗(2021),arXiv预打印
[11] 伊恩·古德费罗;吉恩·普格特·巴迪·迈赫迪·米尔扎(Jean Pouget-Abadie Mehdi Mirza);徐冰;戴维·沃德·法利(David Warde-Farley);谢尔吉尔·奥扎尔;亚伦·库维尔(Aaron Courville);Bengio,Yoshua,生成性对抗网络,神经信息处理系统进展(2014)
[12] Alex Gorodetsky;卡拉曼,塞尔塔克;Youssef Marzouk,张量应变分解的连续模拟,计算。方法应用。机械。工程师,347,59-84(2019)·Zbl 1440.65054号
[13] 内森·哈尔科;Per Gunnar的Martinsson;Tropp,Joel A.,《寻找具有随机性的结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53,21217-288(2011)·Zbl 1269.65043号
[14] 韩兆宇;王军;范恒;王磊;张,潘,使用矩阵乘积状态的无监督生成建模,物理。第十版,第8条,第031012页(2018年)
[15] Khoo、Yuehaw;陆剑锋;Ying,Lexing,从抽样中有效构建张量环表示,多尺度模型。模拟。,19, 3, 1261-1284 (2021) ·Zbl 1468.65014号
[16] Kingma,Diederik P。;Welling,Max,自动编码变分贝叶斯(2013),arXiv预印本·Zbl 1431.68002号
[17] 中冢,Yuji;Tropp,Joel A.,线性系统和特征值问题的快速准确随机算法(2021),arXiv预印本
[18] 诺维科夫(Georgii S.Novikov)。;马克西姆·帕诺夫(Maxim E.Panov)。;Oseledets,Ivan V.,张量-应变密度估计,人工智能中的不确定性,1321-1331(2021)
[19] Oseledets,Ivan;Trytyshnikov,Eugene,多维数组的TT-交叉逼近,线性代数应用。,432, 1, 70-88 (2010) ·Zbl 1183.65040号
[20] Oseledets,Ivan V.,张量-应变分解,SIAM J.Sci。计算。,33, 5, 2295-2317 (2011) ·Zbl 1232.15018号
[21] 佩雷兹·加西亚(Perez-Garcia),D。;Verstraete,F。;沃尔夫,M.M。;Cirac,J.I.,矩阵产品状态表示,量子信息。计算。,7, 5, 401-430 (2007) ·Zbl 1152.81795号
[22] 丹尼尔·雷泽德(Danilo Rezende);Mohamed,Shakir,《归一化流的变分推理》(国际机器学习会议(2015)),1530-1538
[23] 弗拉基米尔·罗赫林;Tygert,Mark,超定线性最小二乘回归的快速随机算法,Proc。国家。阿卡德。科学。,105, 36, 13212-13217 (2008) ·Zbl 1513.62144号
[24] 拉斯·鲁索托;Haber,Eldad,《深度生成建模简介》,GAMM-Mitteilungen,44,2,文章e202100008 pp.(2021)·Zbl 1426.68236号
[25] 德米特里·萨沃斯提亚诺夫(Dmitry Savostyanov);Oseledets,Ivan,张量列格式多维数组的快速自适应插值,2011年多维(nD)系统国际研讨会,1-8(2011)
[26] 史天翼;马克西米利安·鲁思;Townsend,Alex,计算张量-应变分解的并行算法(2021),arXiv预印本·Zbl 1517.65032号
[27] Steinlechner,Michael,高维张量完备的黎曼优化,SIAM J.Sci。计算。,38、5、S461-S484(2016)·Zbl 1352.65129号
[28] Süli,恩德雷;Mayers,David F.,《数值分析导论》(2003),剑桥大学出版社·Zbl 1033.65001号
[29] 孙一鸣;郭,杨;罗夏琳;乔尔·特罗普(Joel Tropp);Udell,Madeleine,流数据张量的Low-rank Tucker近似,SIAM J.Math。数据。科学。,2, 4, 1123-1150 (2020) ·Zbl 1512.65077号
[30] 埃斯特班·塔巴克(Esteban G.Tabak)。;范登·伊恩登(Vanden-Eijnden),埃里克(Eric),通过对数似然的双重上升进行密度估计,Commun。数学。科学。,8, 1, 217-233 (2010) ·Zbl 1189.62063号
[31] 王文奇;瓦内特·阿加瓦尔(Vaneet Aggarwal);Aeron,Shuchin,高效低阶张量环补全,计算机视觉国际会议,5697-5705(2017)
[32] Wedin,Per-Oke,与奇异值分解有关的扰动界,BIT-Numer。数学。,12, 1, 99-111 (1972) ·Zbl 0239.15015号
[33] Wendland,Holger,《数值线性代数:导论》,剑桥应用数学教材(2017),剑桥大学出版社·Zbl 1386.65004号
[34] 怀特,史蒂文·R。,量子重整化群的密度矩阵公式,物理学。修订稿。,69, 2863-2866 (1992)
[35] 杨文静;穆勒,汉斯·格奥尔格;Stadtmüller,Ulrich,功能奇异成分分析,J.R.Stat.Soc.Ser。B: 统计方法。,73, 3, 303-324 (2011) ·Zbl 1411.62159号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。