×
安德烈·切尔特科夫;格列布·里扎科夫;伊凡·奥塞莱德茨

通过ANOVA分解初始化的张量列格式中的黑箱近似。 （英语） Zbl 1525.65039号

SIAM J.科学。计算。 45，编号4，A2101-A2118（2023）.
摘要：代理模型可以降低内部结构未知的多变量函数（黑匣子）的计算成本。在离散公式中，代理建模相当于从其元素的一小部分恢复多维数组（张量）。张量序列（TT）格式的交替最小二乘（ALS）算法是一种广泛使用的方法，可在给定训练集的非自适应张量恢复情况下有效解决此问题（即张量完成问题）。TT-ALS公司允许获得张量的低参数表示，该表示不受维数诅咒的影响，可用于快速计算任意张量指数下的值，或高效实现黑箱代数运算（积分等）。然而，为了在列车数据大小受限的情况下获得高精度，必须选择好初始近似值。在这项工作中，我们在TT格式中构造了ANOVA表示，并将其用作TT-ALS公司算法。对许多多维模型问题（包括参数偏微分方程）进行的数值计算表明，我们的方法对于常用的随机初始近似具有显著优势。对于所有考虑到的模型问题，我们获得了至少一个数量级的精度提高，对黑盒的请求数量相同。所提出的方法非常通用，可以应用于广泛的真实世界代理建模和机器学习问题。

MSC公司：

65层55 低阶矩阵逼近的数值方法；矩阵压缩
15A69号 多线性代数，张量演算

关键词：

交替最小二乘法;方差分析;黑箱近似;低等级代表;张量列

软件：

FEniCS公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Chertkov}等人，SIAM J.Sci。计算。45，编号4，A2101--A2118（2023；Zbl 1525.65039）
全文： 内政部 arXiv公司

参考文献：

[1] Archer，G.、Saltelli，A.和Sobol，I.，《敏感度测量、ANOVA类技术和bootstrap的使用》，J.Stat.Compute。模拟。，58（1997），第99-120页·Zbl 1102.62335号
[2] Babuska，I.、Tempone，R.和Zouraris，G.，随机椭圆偏微分方程的Galerkin有限元近似，SIAM J.Numer。分析。，42（2004），第800-825页·Zbl 1080.65003号
[3] Ballani，J.和Grasedyck，L.，参数相关PDE输出量的层次张量近似，SIAM/ASA J.不确定性。数量。，3（2015），第852-872页·Zbl 1327.65010号
[4] Ballester-Ripoll，R.，合作对策的张量近似及其半值，国际。J.近似原因。，142（2022），第94-108页·Zbl 07478940号
[5] Ballester-Ripoll，R.、Paredes，E.和Pajarola，R.，全球敏感性分析的Sobol张量序列，Reliab。工程系统。安全。，183（2019），第311-322页。
[6] Cardinal，R.N.和Aitken，M.R.，《行为科学研究者方差分析》，心理学出版社，伦敦，2013年。
[7] Chen，H.、Deng，L.、Qu，Z.、Liang，L.、Yan，T.、Xie，Y.和Li，G.，求解大型线性方程组的张量序列分解，神经计算，464（2021），第203-217页。
[8] Chertkov，A.和Oseledets，I.，用张量列格式的交叉近似方法求解福克-普朗克方程，Front。人工智能，4（2021），99。
[9] Chertkov，A.、Oseledets，I.和Rakhuba，M.，二维椭圆问题量化张量列格式的稳健离散化，预印本，https://arxiv.org/abs/1612.01166, 2016.
[10] Cichocki，A.、Lee，N.、Oseledets，I.、Phan，A.-H.、Zhao，Q.和Mandic，D.，降维和大规模优化的张量网络：第1部分。发现低秩张量分解。趋势马赫数。学习。，9（2016），第249-429页·Zbl 1364.68320号
[11] Cichocki，A.、Phan，A.、Zhao，Q.、Lee，N.、Oseledets，I.、Sugiyama，M.和Mandic，D.，降维和大规模优化的张量网络：第2部分。应用和未来展望，发现。趋势马赫数。学习。，9（2017），第431-673页·兹比尔1376.68123
[12] Cliffe，A.、Giles，M.、Scheichl，R.和Teckentrup，A.，多层蒙特卡罗方法及其在随机系数椭圆偏微分方程中的应用，计算。视觉。科学。，14（2011年），第3-15页·Zbl 1241.65012号
[13] Dieterich，J.和Hartke，B.，使用进化全局优化对标准基准函数的实证审查，应用。数学。，3（2012），第1552-1564页。
[14] Dolgov，S.和Scheichl，R.，参数偏微分方程的交替最小二乘TT-交叉混合算法，SIAM/ASA J.不确定性。数量。，7（2019年），第260-291页·Zbl 1418.65170号
[15] Glau，K.、Kressner，D.和Statti，F.，参数期权定价中Chebyshev插值的Low-rank张量近似，SIAM J.Financial Math。，11（2020年），第897-927页·Zbl 1452.91325号
[16] Grasedyck，L.、Kluge，M.和Krämer，S.，《层次低阶张量的交替方向拟合（ADF）》，预印本，DFG-Schwerpunktprogram 13242013年。
[17] Holtz，S.、Rohwedder，T.和Schneider，R.，张量列格式张量优化的交替线性方案，SIAM J.Sci。计算。，34（2012年），第A683-A713页·Zbl 1252.15031号
[18] Hu，S.和Ye，K.，低阶正交张量近似的交替极分解方法的线性收敛性，数学。程序。，199（2023），第1305-1364页·Zbl 1518.65045号
[19] Jamil，M.和Yang，X.S.，《全局优化问题基准函数的文献综述》，J.Math。模型。数字。最佳。，4（2013年），第150-194页·Zbl 1280.65053号
[20] Kapushev，Y.、Oseledets，I.和Burnaev，E.，通过基于高斯过程的初始化完成张量，SIAM J.Sci。计算。，42（2020年），第A3812-A3824页·兹伯利07303428
[21] Ko，C.-Y.，Batselier，K.，Daniel，L.，Yu，W.，and Wong，N.，用总变差正则化张量列快速准确完成张量，IEEE Trans。图像处理。，29（2020年），第6918-6931页·Zbl 07586373号
[22] Logg，A.、Mardal，K.和Wells，G.，《用有限元方法自动求解微分方程：FEniCS手册》，Springer，纽约，2012年·Zbl 1247.65105号
[23] Nikitin，A.、Chertkov，A.、Ballester-Ripoll，R.、Oseledets，I.和Frolov，E.，《量子计算机实用吗？使用张量网络的推荐系统中的特征选择案例，https://arxiv.org/abs/2205.04490, 2022.
[24] Oseledets，I.V.，张量-应变分解，SIAM J.Sci。计算。，33（2011年），第2295-2317页·Zbl 1232.15018号
[25] Oseledets，I.、Rakhuba，M.和Chertkov，A.，《使用QTT格式进行多尺度建模的黑盒解算器》，载于《ECCOMAS学报》，2016年。
[26] Oseledets，I.V.和Tyrtyshnikov，E.E.，《打破维度诅咒，或如何在多个维度中使用SVD》，SIAM J.Sci。计算。，31（2009），第3744-3759页·Zbl 1200.65028号
[27] Phan，A.、Cichocki，A.、Uschmajew，A.、Tichavskỳ, P.，Luta，G.和Mandic，D.，《潜在变量分析的张量网络：张量列近似的新算法》，IEEE Trans。神经网络。学习。系统。，31（2020年），第4622-4636页。
[28] Richter，L.、Sallandt，L.和Nüsken，N.，使用张量列格式求解高维抛物线偏微分方程，《机器学习国际会议论文集》，PMLR，2021年，第8998-9009页。
[29] Rohwedder，T.和Uschmajew，A.，关于张量列格式凸问题优化交替格式的局部收敛性，SIAM J.Numer。分析。，51（2013），第1134-1162页·Zbl 1273.65088号
[30] Ryzhakov，G.和Oseledets，I.，作为指数相互作用函数的张量的构造性TT-表示及其应用，《第十一届学习表征国际会议论文集》（ICLR-2023），2023年。
[31] Sedighin，F.和Cichocki，A.，使用多级张量环分解在嵌入空间中完成图像，Front。人工智能，4（2021）。
[32] Sedighin，F.、Cichocki，A.和Phan，A.-H.，张量环分解的自适应秩选择，IEEE J.Sel。顶部。信号处理。，15（2021年），第454-463页。
[33] Sobol，I.，非线性数学模型的全局敏感性指数及其蒙特卡罗估计，数学。计算。模拟。，55（2001），第271-280页·Zbl 1005.65004号
[34] Sozykin，K.，Chertkov，A.，Schutski，R.，Phan，A.-H.，Cichocki，A.，and Oseledets，I.，TTOpt:最大体积量化张量训练优化及其在强化学习中的应用，载于《第三十六届神经信息处理系统会议论文集》（NeurIPS-2022），2022年。
[35] Tobler，C.，线性系统和特征值问题的低秩张量方法，博士论文，苏黎世联邦理工学院，2012年。
[36] Trefethen，L.N.，近似理论和近似实践，扩展版，SIAM，费城，2019年·Zbl 1264.41001号
[37] Vanaret，C.、Gotteland，J.-B.、Durand，N.和Alliot，J.-M.，《困难优化问题基准的认证全局极小值》，预印本，https://arxiv.org/abs/2003.09867, 2020.
[38] Yang，Y.，关于张量近似的交替最小二乘的全局收敛性，计算。最佳方案。申请。，84（2023），第509-529页·Zbl 1516.90068号
[39] Zankin，V.、Ryzhakov，G.和Oseledets，I.，基于梯度下降的最小二乘多项式逼近D-最优设计，预印本，https://arxiv.org/abs/1806.06631, 2018.
[40] Zhang，Z.，Yang，X.，Oseledets，I.，Karniadakis，G.，and Daniel，L.，通过方差分析和张量应变分解实现高维层次不确定性量化，IEEE Trans。计算。援助。设计。集成。电路系统。，34（2014），第63-76页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。