×
任一诺;赵宏丽;Khoo、Yuehaw;英、乐兴

基于张量流的高维密度估计。 （英语） Zbl 07715598号

Res.数学。科学。 第10期，第3期，第30号论文，第25页（2023年）.
小结：我们提出了张量化流方法，用于从观测数据估计高维概率密度函数。我们的方法结合了张量应变的无优化特性和基于流的生成模型的灵活性，为密度估计提供了一种准确有效的方法。具体地说，我们的方法首先通过基于低维边缘核密度估计量的线性系统有效求解张量核来构造张量形式的近似密度。随后，使用最大似然估计将连续时间流模型从该张量序列密度训练到观测到的经验分布。数值结果表明了该方法的性能。

MSC公司：

62至XX 统计
76倍 流体力学

关键词：

最大似然估计;密度估计;张量应变;基于流程的生成性建模

软件：

国家科学基金;辉光;n流量;FFJORD公司;火炬差异;阳极;PRMLT公司;i-RevNet公司;低碳所;制造
PDF格式BibTeX公司 XML格式引用
\textit｛Y.Ren｝等人，研究数学。科学。10，第3号，第30号论文，第25页（2023；Zbl 07715598）
全文： 内政部 arXiv公司

参考文献：

[1] 巴赫迈尔，M。；施耐德，R。；Uschmajew，A.，求解高维偏微分方程的张量网络和层次张量，Found。计算。数学。，16, 1423-1472 (2016) ·Zbl 1357.65153号 ·doi:10.1007/s10208-016-9317-9
[2] Baiardi，A。；Reiher，M.，《化学和分子物理中的密度矩阵重整化群：最新发展和新挑战》，J.Chem。物理。，152 (2020) ·数字对象标识代码：10.1063/1.5129672
[3] Batchelor，GK，《流体动力学导论》（2000），剑桥：剑桥大学出版社，剑桥·Zbl 0958.76001号 ·doi:10.1017/CBO9780511800955
[4] Behrmann，J.、Grathwohl，W.、Chen，R.T.、Duvenaud，D.、Jacobsen，J.-H.：可逆剩余网络。摘自：机器学习国际会议，PMLR，第573-582页（2019年）
[5] Bengio，Y.，Ducharme，R.，Vincent，P.：神经概率语言模型。高级神经信息处理。系统。第13页（2000年）·Zbl 1061.68157号
[6] CM主教；Nasrabadi，NM，模式识别和机器学习（2006），Cham:Springer，Cham·Zbl 1107.68072号
[7] 布莱，DM；Kucukelbir，A。；McAuliffe，JD，《变分推断：统计学家评论》，《美国统计协会期刊》，第112期，第859-877页（2017年）·doi:10.1080/01621459.2017.1285773
[8] Bond-Taylor，S.、Leach，A.、Long，Y.、Willcocks，C.G.：深度生成建模：vaes、gans、归一化流、基于能量的模型和自回归模型的比较综述，arXiv预印本arXiv:2103.04922（2021）
[9] 博内维，R。；施密特，MN，《离散概率模型中推理的矩阵乘积状态》，The，J.Mach。学习。研究，228396-8443（2021）·Zbl 07626702号
[10] 布莱德利，T-D；Stoudenmire，EM公司；Terilla，J.，《用量子态建模序列：幕后观察》，马赫。学习。科学。技术。，1 (2020) ·doi:10.1088/2632-1253/ab8731
[11] FG白兰度；Horodecki，M.，相关性指数衰减意味着面积定律，Commun。数学。物理。，333, 761-798 (2015) ·Zbl 1317.81021号 ·doi:10.1007/s00220-014-2213-8
[12] Chan，GK-L；Sharma，S.，量子化学中的密度矩阵重整化群，年。物理版。化学。，62, 465-481 (2011) ·doi:10.1146/annurev-physchem-032210-103338
[13] Chen，C.，Li，C.，Chen，L.，Wang，W.，Pu，Y.，Duke，L.C.：有效推断和密度估计的连续时间流。摘自：机器学习国际会议，PMLR，第824-833页（2018年）
[14] Chen，R.T.，Rubanova，Y.，Bettencourt，J.，Duvenaud，D.K.：神经常微分方程。高级神经信息处理。系统。31 (2018)
[15] Cheng，S。；Wang，L。；Xiang，T。；张，P.，生成建模的树张量网络，物理学。版本B，99（2019）·doi:10.1103/PhysRevB.99.155131
[16] Cichocki，A。；扎杜克，R。；Phan，AH；Amari，S-I，《非负矩阵和张量因子分解：探索性多路数据分析和盲源分离的应用》（2009），伦敦：威利出版社，伦敦·doi:10.1002/9780470747278
[17] 德拉特豪沃，L。；De Moor，B。；Vandewalle，J.，《多重线性奇异值分解》，SIAM J.矩阵分析。申请。，21, 1253-1278 (2000) ·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696
[18] 德拉特豪沃，L。；De Moor，B。；Vandewalle，J.，《关于高阶张量的最佳秩-1和秩-\（r_1，r_2，dots，r_n）逼近》，SIAM J.矩阵分析。申请。，21, 1324-1342 (2000) ·Zbl 0958.15026号 ·doi:10.1137/S0895479898346995
[19] Dinh，L.、Krueger，D.、Bengio，Y.：尼斯：非线性独立分量估计。arXiv预印arXiv:1410.8516（2014）
[20] Dinh，L.，Sohl-Dickstein，J.，Bengio，S.：使用实际NVP进行密度估计。arXiv预印arXiv:1605.08803（2016）
[21] 多尔戈夫，S。；Anaya-Izquierdo，K。；福克斯，C。；Scheichl，R.，张量列分解中多元概率分布的近似和抽样，统计计算。，30603-625（2020）·Zbl 1436.62192号 ·doi:10.1007/s11222-019-09910-z
[22] SV多尔戈夫；Khoromskij，BN；Oseledets，IV；Savostyanov，DV，使用块张量序列格式计算高维极端特征值，计算。物理学。社区。，185, 1207-1216 (2014) ·Zbl 1344.65043号 ·doi:10.1016/j.cpc.2013.12.017
[23] Dupont，E.，Doucet，A.，Teh，Y.W.：增强神经节。高级神经信息处理。系统。32 (2019)
[24] Durkan，C.，Bekasov，A.，Murray，I.，Papamakarios，G.：立方样条流，arXiv预印本arXiv:1906.02145（2019）
[25] Durkan，C.，Bekasov，A.，Murray，I.，Papamakaris，G.：神经样条流。高级神经信息处理。系统。32 (2019)
[26] Ren，W。；Vanden-Eijnden，E.，研究罕见事件的最小作用方法，Commun。纯应用程序。数学。，57, 637-656 (2004) ·Zbl 1050.60068号 ·doi:10.1002/cpa.20005
[27] Germain，M.，Gregor，K.，Murray，I.，Larochelle，H.：制造：用于分布估计的屏蔽自动编码器。摘自：机器学习国际会议，PMLR，第881-889页（2015年）
[28] Gomez，A.N.，Ren，M.，Urtasun，R.，Grosse，R.B.：可逆剩余网络：无需存储激活的反向传播。高级神经信息处理。系统。30 (2017)
[29] Goodfellow，I.、Pouget-Abadie，J.、Mirza，M.、Xu，B.、Warde-Farley，D.、Ozair，S.、Courville，A.、Bengio，Y.：生成性对抗网。高级神经信息处理。系统。27 (2014)
[30] Grasedyck，L.，张量的层次奇异值分解，SIAM J.矩阵分析。申请。，31, 2029-2054 (2010) ·Zbl 1210.65090号 ·doi:10.1137/090764189
[31] Grathwohl，W.，Chen，R.T.，Bettencourt，J.，Sutskever，I.，Duvenaud，D.：Ffjord：可扩展可逆生成模型的自由形式连续动力学。arXiv预印arXiv:1810.01367（2018）
[32] 韩，Z-Y；王，J。；风扇，H。；Wang，L。；Zhang，P.，使用矩阵乘积状态的无监督生成建模，Phys。修订版X，8（2018）
[33] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机视觉和模式识别会议记录，第770-778页（2016）
[34] 通用电气公司Hinton，《通过最小化对比差异来培训专家产品》，神经计算。，14, 1771-1800 (2002) ·Zbl 1010.68111号 ·网址：10.1162/089976602760128018
[35] Hinton，G.E.，Sejnowski，T.J.：最佳感知推理。摘自：IEEE计算机视觉和模式识别会议记录，第448卷，Citeser，第448-453页（1983）
[36] Hoffman，M.D.，Blei，D.M.，Wang，C.，Paisley，J.：随机变分推理。J.马赫。学习。研究（2013）·Zbl 1317.68163号
[37] Hohenberg，P。；Krekhov，A.，《金兹堡-兰道相变和非平衡模式理论简介》，《物理学》。众议员，572，1-42（2015）·Zbl 1357.82022号 ·doi:10.1016/j.physrep.2015.01.001
[38] Hur，Y.，Hoskins，J.G.，Lindsey，M.，Stoudenmire，E.，Khoo，Y.：通过张量序列草图进行生成建模。arXiv预印arXiv:22022.11788（2022）
[39] Jacobsen，J.-H.，Smeulders，A.，Oyallon，E.：i-revnet：深可逆网络。arXiv预印arXiv:1802.07088（2018）
[40] Khoo，Y.，Lindsey，M.，Zhao，H.：张力化流：变分推理的工具。arXiv预打印arXiv:2305.02460（2023）
[41] Kingma，D.P.，Dhariwal，P.：发光：具有可逆1x1卷积的生成流。高级神经信息处理。系统。31 (2018)
[42] Kingma，D.P.，Salimans，T.，Jozefowicz，R.，Chen，X.，Sutskever，I.，Welling，M.：用逆自回归流改进变分推断。高级神经信息处理。系统。29 (2016)
[43] Kingma，D.P.，Welling，M.：自动编码变分贝叶斯。arXiv预印arXiv:1312.6114（2013）
[44] 科比泽夫，I。；普林斯，SJ；马萨诸塞州布鲁贝克，《规范化流：当前方法的介绍和回顾》，IEEE Trans。模式分析。机器。智力。，43, 3964-3979 (2020) ·doi:10.1109/TPAMI.2020.2992934
[45] Kressner，D。；Uschmajew，A.，关于高维算子方程和特征值问题解的低阶逼近性，线性代数应用。，493, 556-572 (2016) ·Zbl 1336.65093号 ·doi:10.1016/j.laa.2015.12.016
[46] Kressner，D.，Vandereycken，B.，Voorhaar，R.：流张量列近似。arXiv预打印arXiv:2208.02600（2022）
[47] Larochelle，H.，Murray，I.：神经自回归分布估计器。摘自：《第十四届国际人工智能与统计会议记录》，JMLR研讨会和会议记录，第29-37页（2011年）
[48] Miao，Y.，Yu，L.，Blunsom，P.：文本处理的神经变分推理。摘自：机器学习国际会议，PMLR，第1727-1736页（2016）
[49] Mnih，A.，Gregor，K.：信念网络中的神经变分推理和学习。摘自：机器学习国际会议，PMLR，第1791-1799页（2014）
[50] Novikov，G.S.，Panov，M.E.，Oseledets，I.V.：张量-应变密度估计。摘自：《人工智能中的不确定性》，PMLR，第1321-1331页（2021年）
[51] Oseledets，I。；Trtyshnikov，E.，多维数组的Tt-交叉近似，线性代数应用。，432, 70-88 (2010) ·Zbl 1183.65040号 ·doi:10.1016/j.laa.2009.07.024
[52] Oseledets，IV，张量-应变分解，SIAM J.Sci。计算。，33, 2295-2317 (2011) ·Zbl 1232.15018号 ·doi:10.1137/090752286
[53] Papamakarios，G.、Pavlakou，T.、Murray，I.：用于密度估计的掩蔽自回归流。高级神经信息处理。系统。30 (2017)
[54] Penrose，R.，负维张量的应用，Combinat。数学。申请。，1, 221-244 (1971) ·Zbl 0216.43502号
[55] Perez-Garcia，D.，Verstraete，F.，Wolf，M.M.，Cirac，J.I.：矩阵产品状态表示。arXiv预印量-ph/0608197（2006）·Zbl 1152.81795号
[56] Ranganath，R.，Gerrish，S.，Blei，D.：黑箱变分推理。摘自：《人工智能与统计》，PMLR，第814-822页（2014年）
[57] Rezende，D.，Mohamed，S.：规范化流的变分推理。摘自：机器学习国际会议，PMLR，第1530-1538页（2015）
[58] Rezende，D.J.，Mohamed，S.，Wierstra，D.：深度生成模型中的随机反向传播和近似推理。在：国际机器学习会议，PMLR，第1278-1286页（2014）
[59] Robeva，E。；Seigal，A.，图形模型和张量网络的二重性，Inf.Inference J.IMA，8273-288（2019）·Zbl 1470.05120号 ·doi:10.1093/imaiai/iay009
[60] Savostyanov，D.，Oseledets，I.，《张量列格式多维数组的快速自适应插值》。在：多维（ND）系统国际研讨会上。IEEE第1-8页（2011年）
[61] Schmidhuber，J.，《生成性对抗网络是人工好奇心的特例》（1990年），也与可预测性最小化密切相关（1991年），《神经网络》。，127, 58-66 (2020) ·Zbl 1468.68169号 ·doi:10.1016/j.neunet.2020.04.008
[62] Shi，T.，Ruth，M.，Townsend，A.：计算张量应变分解的并行算法。arXiv预印本arXiv:22111.10448（2021）·Zbl 1517.65032号
[63] 斯坦因，EM；Shakarchi，R.，《真实分析：测度理论、积分和希尔伯特空间》（2009），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1081.28001号 ·doi:10.2307/j.ctvd58v18
[64] Steinlechner，M.，高维张量补全的黎曼优化，SIAM J.Sci。计算。，38，S461-S484（2016）·兹比尔1352.65129 ·doi:10.1137/15M1010506
[65] Szeg，G.：正交多项式。，第23卷，美国数学学会（1939）
[66] 塔巴克，EG；Vanden-Eijnden，E.，通过对数似然的双重上升进行密度估计，Commun。数学。科学。，8, 217-233 (2010) ·Zbl 1189.62063号 ·doi:10.4310/CMS.2010.v8.n1.a11
[67] Tang，X.、Hur，Y.、Khoo，Y.和Ying，L.：通过树张量网络状态的生成建模。arXiv预印arXiv:2209.01341（2022）·Zbl 07684034号
[68] Temme，K。；Verstraete，F.，《随机矩阵乘积状态》，Phys。修订稿。，104 (2010) ·doi:10.1103/PhysRevLett.104.210502
[69] Tzen，B.，Raginsky，M.：神经随机微分方程：扩散极限下的深潜高斯模型。arXiv预印本arXiv:1905.09883（2019）
[70] Vieijra，T.、Vanderstraeten，L.、Verstraete，F.：投影纠缠对态的生成建模。arXiv预打印arXiv:22022.08177（2022）
[71] Wang，W。；阿加瓦尔，V。；Aeron，S.，Tensor列车邻域保持嵌入，IEEE Trans。信号处理。，66, 2724-2732 (2018) ·Zbl 1415.94275号 ·doi:10.1109/TSP.2018.2816568
[72] 怀特，SR，量子重整化群的密度矩阵算法，物理学。B版，4810345（1993）·doi:10.1103/PhysRevB.48.10345
[73] 杨，N.，《希尔伯特空间导论》（1988），剑桥：剑桥大学出版社，剑桥·Zbl 0645.46024号 ·doi:10.1017/CBO9781139172011
[74] Zhang，L.，Wang，L.等人：生成建模的Monge-ampère流。arXiv预印arXiv:1809.10188（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。