×
克拉拉·门赞；马农角；Kim Batselier

低阶张量近似的贝叶斯框架中的交替线性方案。 （英语） Zbl 1489.15038号

SIAM J.科学。计算。 44，编号3，A1116-A1144（2022）.
摘要：多路数据通常以张量格式自然出现，可以用低阶张量分解近似表示。这很有用，因为可以大大降低复杂性，并且可以促进大规模数据集的处理。本文通过求解贝叶斯推理问题，找到给定张量的低秩表示。这是通过将整个推理问题划分为子问题来实现的，在这些子问题中，我们一次依次推断一个张量分解分量的后验分布。这导致了对众所周知的迭代算法交替线性方案（ALS）的概率解释。通过这种方式，可以考虑测量噪声，以及结合特定应用的先验知识和低阶张量估计的不确定性量化。为了从张量分解分量的后验分布计算低秩张量估计，我们提出了一种以张量序列格式执行无迹变换的算法。

MSC公司：

15A69号 多线性代数，张量演算
93E24型 随机控制系统的最小二乘法及其相关方法
15A23型 矩阵的因式分解
90C06型 数学规划中的大尺度问题
62C10个 贝叶斯问题；贝叶斯过程的特征

关键词：

低阶近似；交替线性方案；贝叶斯推断；张量分解；张量列
PDF格式BibTeX公司 XML格式引用
\textit{C.Menzen}等人，SIAM J.Sci。计算。44，3号，A1116--A1144（2022；Zbl 1489.15038）
全文： 内政部 arXiv公司

参考文献：

[1] K.Batselier、Z.Chen和N.Wong，MIMO-Volterra系统的张量网络交替线性方案，Automatica J.IFAC，84（2017），第26-35页·Zbl 1376.93032号
[2] K.Batselier和N.Wong，一个构造性任意度Kronecker乘积，Numer。线性代数应用。，24（2017），2009年2月·Zbl 1424.15045号
[3] C.F.Caiafa和A.Cichocki，使用多路投影对张量进行稳定、稳健和超快速重建，IEEE Trans。信号处理。，63（2015），第780-793页·Zbl 1394.94096号
[4] J.D.Carroll和J.J.Chang，通过“Eckart-Young”分解的n向泛化分析多维尺度中的个体差异，《心理测量学》，35（1970），第283-319页·Zbl 0202.19101号
[5] C.Chen、K.Batselier、C.-Y.Ko和N.Wong，支持张量训练机，《国际神经网络联合会议论文集》，IEEE，2019，第1-8页。
[6] L.Cheng，Y.-c.Wu，和H.V.Poor，带正交因子的概率张量正则多元分解，IEEE Trans。信号处理。，65（2017），第663-676页·Zbl 1414.94116号
[7] W.Chu和Z.Ghahramani，不完全多维阵列的概率模型，J.Mach。学习。Res.，5（2009），第89-96页。
[8] A.Cichocki、N.Lee、I.V.Oseledets、A.-H.Phan、Q.Zhao和D.P.Mandic，降维和大规模优化的张量网络，第1部分：发现的低秩张量分解。趋势马赫数。学习。，9（2016），第249-429页·Zbl 1364.68320号
[9] A.Cichocki、A.-H.Phan、Q.Zhao、N.Lee、I.V.Oseledets、M.Sugiyama和D.P.Mandic，《降维和大规模优化张量网络：第2部分应用和未来展望》，发现。趋势马赫数。学习。，9（2017年），第431-673页·Zbl 1376.68123号
[10] N.Cohen、O.Sharir和A.Shashua，《深度学习的表达能力：张量分析》，J.Mach。学习。Res.，49（2016），第698-728页。
[11] P.Comon、X.Luciani和A.de Almeida，《张量分解、交替最小二乘和其他故事》，J.Chemom。，23（2009年），第393-405页。
[12] S.V.Dolgov和D.Savostyanov，高维线性系统的交替最小能量方法，SIAM J.Sci。计算。，36（2014），第A2248-A2271页，https://doi.org/10.1137/10953289。 ·Zbl 1307.65035号
[13] G.Favier、A.Y.Kibangou和T.Bouilloc，使用Volterra-PARAFAC模型进行非线性系统建模和识别，国际。J.改编。控制信号处理。，26（2012），第30-53页·Zbl 1263.93227号
[14] L.Grasedyck、M.Kluge和S.Kraömer，张量列格式中交替最小二乘张量补全的变体，SIAM J.Sci。计算。，37（2015），第A2424-A2450页，https://doi.org/10.1137/130942401。 ·Zbl 1327.15054号
[15] R.Harshman，《PARAFAC程序的基础：“解释性”多模态因子分析的模型和条件》，《加州大学洛杉矶分校语音学工作论文》，16（1970），第1-84页。
[16] S.S.Haykin，卡尔曼滤波和神经网络，John Wiley&Sons，2001年。
[17] J.L.Hinrich、K.H.Madsen和M.Mörup，概率张量分解工具箱，马赫。学习。科学。技术。，1 (2020), 025011.
[18] J.L.Hinrich和M.Mörup，概率张量列分解，《第27届欧洲信号处理会议论文集》，IEEE，2019年，第1-5页。
[19] P.D.Hoff，等变和无标度塔克分解模型，贝叶斯分析。，11（2016），第627-648页·Zbl 1359.62221号
[20] S.Holtz和T.Rohwedder，R.Schneider，张量列格式张量优化的交替线性方案，SIAM J.Sci。计算。，34（2012），第A683-A713页，https://doi.org/10.1137/100818893。 ·Zbl 1252.15031号
[21] P.A.Izmailov、A.V.Novikov和D.A.Kropotov，通过张量列分解产生数十亿诱导输入的可缩放高斯过程，《第二十届国际人工智能与统计会议论文集》，Proc。机器。学习。2018年第84号决议，第726-735页。
[22] S.J.Julier和J.K.Uhlmann，《无中心滤波和非线性估计》，Proc。IEEE，92（2004），第401-422页。
[23] T.G.Kolda和B.W.Bader，张量分解和应用，SIAM Rev.，51（2009），第455-500页，https://doi.org/10.1137/07070111X。 ·Zbl 1173.65029号
[24] J.Nocedal和S.J.Wright，《数值优化》，第二版，Springer，纽约，2006年·Zbl 1104.65059号
[25] A.Novikov、D.Podoprikhin、A.Osokin和D.Vetrov，《神经网络张力化》，载于《第28届神经信息处理系统国际会议论文集》，2015年，第442-450页。
[26] I.V.Oseledets，使用张量分解的2d x 2d矩阵近似，SIAM J.矩阵分析。申请。，31（2010），第2130-2145页，https://doi.org/10.1137/090757861。 ·Zbl 1200.15005号
[27] I.V.Oseledets，张量-应变分解，SIAM J.Sci。计算。，33（2011），第2295-2317页，https://doi.org/10.1137/090752286。 ·Zbl 1232.15018号
[28] I.V.Oseledets和S.Dolgov，TT格式中线性系统和矩阵反演的解决方案，SIAM J.Sci。计算。，34（2012），第A2718-A2739页，https://doi.org/10.1137/10833142。 ·Zbl 1259.65071号
[29] P.Rai、Y.Wang和L.Carin，《利用特征和网络进行概率张量分解》，《全国人工智能会议论文集》，2015年第4卷，第2942-2948页。
[30] P.Rai，Y.Wang，S.Guo，G.Chen，D.Dunson，L.Carin，不完全多路张量的可伸缩贝叶斯低阶分解，《第31届机器学习国际会议论文集》，2014年第5卷，第3810-3820页。
[31] T.Rohwedder和A.Uschmajew，关于张量列格式凸问题优化交替格式的局部收敛性，SIAM J.Numer。分析。，51（2013），第1134-1162页，https://doi.org/10.1137/10857520。 ·Zbl 1273.65088号
[32] S.Sa¨rkka¨，《贝叶斯滤波与平滑》，剑桥大学出版社，剑桥，2013年·Zbl 1274.62021号
[33] U.Schollwo­ck，《矩阵乘积态时代的密度矩阵重整化群》，《物理学年鉴》，326（2011），第96-192页·Zbl 1213.81178号
[34] N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Falowsos，信号处理和机器学习的张量分解，IEEE Trans。信号处理。，65（2017），第3551-3582页·Zbl 1415.94232号
[35] M.Signoretto、L.De Lathauwer和J.A.Suykens，张量数据分析的基于核的框架，神经网络。，24（2011），第861-874页·Zbl 1250.68229号
[36] Q.Song、H.Ge、J.Caverley和X.Hu，大数据分析中的张量补全算法，ACM Trans。知识。发现。数据，13（2019），6。
[37] L.R.Tucker，《关于三模式因子分析的一些数学注释》，《心理测量学》，31（1966），第279-311页。
[38] L.Xiong，X.Chen，T.-K.Huang，J.Schneider，J.G.Carbonell，《基于贝叶斯概率张量分解的时间协同过滤》，第十届SIAM国际数据挖掘会议论文集，SIAM，2010年，第211-222页，https://doi.org/10.1137/1.9781611972801.19。
[39] 徐振华，严凤，齐勇，多路数据分析的贝叶斯非参数模型，IEEE Trans。模式分析。机器。智力。，37（2015），第475-487页。
[40] Q.Zhao，L.Zhang和A.Cichocki，多维结构化数据分类的张量-变量高斯过程，第27届AAAI人工智能会议论文集，AAAI 2013，第1041-1047页。
[41] Q.Zhao，L.Zhang和A.Cichocki，不完全张量的贝叶斯CP因式分解与自动秩确定，IEEE Trans。模式分析。机器。智力。，37（2015），第1751-1763页。
[42] Q.Zhao，L.Zhang和A.Cichocki，《降维和张量完成的贝叶斯稀疏塔克模型》，预印本，https://arxiv.org/abs/1505.02343，2015年。
[43] Q.Zhao，G.Zhou，L.Zhang，A.Cichocki，and S.I.Amari，不完全多路数据的Bayesian稳健张量因式分解，IEEE Trans。神经网络。学习。系统。，27（2016），第736-748页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。