×
塞西尔·哈贝斯蒂奇;努伊，A。;佩林，G。

使用最优最小二乘法主动学习树张量网络。 （英语） Zbl 07733139号

SIAM/ASA J.不确定性。数量。 11, 848-876 (2023).
摘要：在本文中，我们提出了一种新的学习算法，用于在最小二乘设置下使用树张量网络逼近高维函数。给定张量网络的维度树或架构，我们提供了一种算法，该算法基于多元函数的主成分分析的泛化来生成嵌套张量子空间序列。使用基于先前生成的子空间的分布生成的样本，使用最优最小二乘法计算对生成的张量子空间的投影。我们为获得的近似值提供了一个期望误差界。提出了一些实用的策略，用于调整特征空间和秩以达到规定的误差。此外，我们还提出了一种算法，该算法通过适当的变量对逐步构建维度树，从而进一步减少达到该错误所需的样本数。数值例子说明了所提出算法的性能，并表明在样本数量接近估计张量网络的自由参数数量的情况下，可以获得稳定的近似。

MSC公司：

68泰克 人工智能
65-XX岁 数值分析

关键词：

高维近似;基于树的张量格式;主成分分析;适应性策略;基于加权最小二乘的主动学习
PDF格式BibTeX公司 XML格式引用
\textit{C.Haberstich}等人，SIAM/ASA J.不确定性。数量。11、848--876（2023年；Zbl 07733139）
全文： 内政部 arXiv公司

参考文献：

[1] Ali，M.和Nouy，A.，树张量网络的近似理论：张量化单变量函数，Constr。约，（2023），doi:10.1007/s00365-023-09620-w·Zbl 1531.41030号
[2] Ali，M.和Nouy，A.，《张量网络近似》。第二部分：平滑度等级近似值，预印本，arXiv:2007.001282020。
[3] Ali，M.和Nouy，A.，《树张量网络的逼近理论：张量化多元函数》，预印本，arXiv:2101.119322021。
[4] Bachmayr，M.、Schneider，R.和Uschmajew，A.，《求解高维偏微分方程的张量网络和层次张量》，Found。计算。数学。，16（2016），第1423-1472页·Zbl 1357.65153号
[5] Bachmayr，M.、Schneider，R.和Uschmajew，A.，高维树张量网络逼近：Sobolev和合成函数，https://arxiv.org/abs/2112.01474, 2021.
[6] Ballani，J.和Grasedyck，L.，层次张量格式中的树自适应近似，SIAM J.Sci。计算。，36（2014年），第A1415-A1431页·Zbl 1303.65026号
[7] Ballani，J.、Grasedyck，L.和Kluge，M.，分层Tucker格式张量的黑箱近似，线性代数应用。，438（2013），第639-657页，doi:10.1016/j.laa.2011.08.010·兹比尔1260.65037
[8] Bebendorf，M.，边界元矩阵近似，数值。数学。，86（2000），第565-589页·Zbl 0966.65094号
[9] Bigoni，D.、Engsig-Karup，A.P.和Marzouk，Y.M.，《谱张量-应变分解》，SIAM J.Sci。计算。，38（2016），第A2405-A2439页·兹比尔1347.41006
[10] Cichocki，A.、Lee，N.、Oseledets，I.、Phan，A.-H.、Zhao，Q.和Mandic，D.，《降维和大规模优化的张量网络：第1部分低阶张量分解》，发现。趋势马赫数。学习。，9（2016），第249-429页·Zbl 1364.68320号
[11] Cohen，A.、Nouy，A.、Keryacharian，G.和Picard，D.，《最佳线性近似和恢复》，手稿。
[12] Cohen，N.、Sharir，O.和Shashua，A.，《论深度学习的表达能力：张量分析》，JMLR:Workshop Conf.Proc。，49（2016），第1-31页。
[13] Devroye，L.，非均匀随机变量生成，Springer，纽约，1986年·Zbl 0593.65005号
[14] Falco，A.、Hackbusch，W.和Nouy，A.，基于树的张量格式，SeMA J.，16（2018），第1-15页·Zbl 1479.15026号
[15] Gorodetsky，A.、Karaman，S.和Marzouk，Y.，张量-应变分解的连续模拟，计算。方法应用。机械。工程，347（2019），第59-84页·Zbl 1440.65054号
[16] Grasedyck，L.，张量的层次奇异值分解，SIAM J.矩阵分析。申请。，31（2010），第2029-254页·Zbl 1210.65090号
[17] Grelier，E.、Nouy，A.和Chevreuil，M.，《基于树的张量格式学习》，预印本，arXiv:1811.044552018年。
[18] Grelier，E.、Nouy，A.和Lebrun，R.，使用树张量网络学习高维概率分布，国际。J.不确定性。数量。，第12页，第47-69页，2022年·Zbl 1498.62080号
[19] Griebel，M.和Harbrecht，H.，《连续函数张量近似格式分析》，Found。计算。数学。，23（2023），第219-240页·Zbl 1531.41026号
[20] Haberstich，C.，《用树张量网络自适应逼近高维函数用于不确定性量化》，博士论文，法国南特中央南特，2020年。
[21] Haberstich，C.、Nouy，A.和Perrin，G.，《增强最优加权最小二乘法》，数学。公司。，91（2022年），第1281-1315页·Zbl 07506851号
[22] Haberstich，C.、Nouy，A.和Perrin，G.，自适应增强最优加权最小二乘法，手稿·Zbl 07506851号
[23] Hackbusch，W.，《张量空间和数值张量演算》，收录于《层次张量表示》，施普林格，查姆，瑞士，2019年，第387-451页，doi:10.1007/978-3-030-35554-8_11·Zbl 07150978号
[24] Hashimizadeh，M.、Miller，J.、Liu，M.和Rabusseau，G.，《张量网络自适应张量学习》。机器学习中的量子张量网络第一次研讨会，第34届神经信息处理系统会议，NeurIPS2020。
[25] Kressner，D.、Steinlechner，M.和Uschmajew，A.，对称特征值问题的子空间校正Low-rank张量方法，SIAM J.Sci。计算。，36（2014年），第A2346-A2368页·Zbl 1307.65040号
[26] Krishnamurthy，A.和Singh，A.，通过自适应采样完成低秩矩阵和张量，摘自《神经信息处理系统进展》，Curran Associates，Red Hook，NY，2013年。
[27] De Lathauwer，L.、De Moor，B.和Vandewalle，J.，《多重线性奇异值分解》，SIAM J.Matrix，Ana。申请。，21（2000），第1253-1278页·Zbl 0962.15005号
[28] Luu，T.、Maday，Y.、Guillo，M.和Guérin，P.，使用塔克分解重建横截面的新方法，J.Compute。物理。，345（2017），第189-206页·Zbl 1378.65043号
[29] Maday，Y.、Nguyen，N.、Patera，A.和Pau，G.，一种通用的多用途插值程序：魔点，Commun。纯应用程序。分析。，8（2009年），第383-404页·Zbl 1184.65020号
[30] Michel，B.和Nouy，A.，《树张量网络学习：复杂性估计和模型选择》，Bernoulli，28（2022），第910-936页，doi:10.3150/21-BEJ1371·Zbl 07526570号
[31] Milbradt，C.和Wahl，M.，PCA重建误差的高概率界限，统计。普罗巴伯。莱特。，161 (2020), 108741. ·Zbl 1440.62233号
[32] Nouy，A.，模型降阶的低秩张量方法，收录于《不确定性量化手册》，Ghanem，R.，Higdon，D.和Owhadi，H.编辑，施普林格，查姆，瑞士，2017年，doi:10.1007/978-3319-12385-1_21。
[33] Nouy，A.，基于树的低秩格式张量近似的高阶主成分分析，Numer。数学。，141（2019），第743-789页·Zbl 1455.65031号
[34] Oseledets，I.和Tyrtyshnikov，E.，多维数组的TT-交叉近似，线性代数应用。，432（2010），第70-88页，doi:10.1016/j.laa.2009.07.024·Zbl 1183.65040号
[35] Savostyanov，D.和Oseledets，I.，《张量列格式多维数组的快速自适应插值》，载于《2011年多维（nD）系统国际研讨会》，IEEE，新泽西州皮斯卡塔韦，2011年，第1-8页。
[36] Schneider，R.和Uschmajew，A.，周期Sobolev空间中层次张量格式的近似速率，《复杂性杂志》，30（2014），第56-71页·Zbl 1329.41033号
[37] Stoudenmire，E.和Schwab，D.，《Quantum-Inspired Tensor Networks监督学习》，年，Curran Associates，纽约州Red Hook，2016年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。