肖传福;杨超;李敏 张量低多重线性秩逼近的高效交替最小二乘算法。 （英语） Zbl 1467.65041号 科学杂志。计算。 87，第3期，第67号论文，25页（2021年）. 摘要：低多线性秩近似，也称为截断塔克分解，已被广泛用于许多涉及高阶张量的应用中。常用的低多线性秩逼近方法通常直接依赖于矩阵奇异值分解，因此经常遇到臭名昭著的中间数据爆炸问题，并且不容易并行化，特别是当输入张量较大时，为了有效地计算张量的低多线性秩逼近，我们提出了一类基于交替最小二乘（ALS）的截断HOSVD算法。所提出的基于ALS的方法能够消除中间矩阵奇异向量的冗余计算，从而避免了数据爆炸。此外，新方法更灵活，收敛容差可调，并且本质上可在高性能计算机上并行。理论分析表明，所提算法中的ALS迭代是q线性收敛的，具有相对较宽的收敛区域。对合成和实际应用中的大规模张量进行的数值实验表明，基于ALS的方法可以大大降低原始方法的总成本，并且对于并行计算具有高度的可扩展性。 引用于三文件 MSC公司： 65层55 低阶矩阵逼近的数值方法；矩阵压缩 15A69号 多线性代数，张量演算 关键词：低多线性秩逼近;截断塔克分解;交替最小二乘法;并行化 软件：兰德NLA;犰狳;张量工具箱;坦索拉布;MKL公司;MNIST公司 PDF格式BibTeX公司 XML格式引用 \textit{C.Xiao}等人，《科学杂志》。计算。87，第3期，第67号论文，25页（2021；Zbl 1467.65041） 全文： 内政部 arXiv公司 参考文献： [1] 英特尔数学内核库参考手册[EQ/OL]。http://developer.intel.com [2] OpenFoam 2018，第6版。https://openfoam.org [3] OpenMP应用程序接口，4.0版，OpenMP架构审查委员会（2013年7月）。网址：http://www.openmp.org [4] Austin，W.，Ballard，G.，Kolda，T.G.：大型科学数据的并行张量压缩。摘自：IEEE国际并行和分布式处理研讨会，第912-922页。IEEE（2016） [5] Bader，B.W.，Kolda，T.G.等：MATLAB Tensor工具箱3.1版。在线提供（2019年）。https://www.tensortoolbox.org网站 [6] 巴格拉马，J。；Reichel，L.，Augmented隐式重新启动了Lanczos双对角化方法，SIAM J.Sci。计算。，27, 1, 19-42 (2005) ·Zbl 1087.65039号 ·数字对象标识码：10.1137/04060593X [7] 贝克曼，C。；Smith，S.，多主体FMRI分析中独立成分分析的张量扩展，神经影像，25，1，294-311（2005）·doi:10.1016/j.neuroimage.2004.10.043 [8] Beylkin，G。；莫伦坎普，MJ，《高维数值算子微积分》，Proc。国家。阿卡德。科学。，99, 10246-10251 (2002) ·Zbl 1008.65026号 ·doi:10.1073/pnas.112329799 [9] Bro，R.，《2000-2005年化学多向分析综述》，《评论评论》。化学。，36, 279-293 (2006) ·doi:10.1080/10408340600969965 [10] 萨瓦斯，B。；Eldén，L.，使用高阶奇异值分解的手写数字分类，模式识别，40993-1003（2007）·Zbl 1119.68188号 ·doi:10.1016/j.patcog.2006.08.004 [11] Burggraf，R.，《稳定分离流结构的分析和数值研究》，J.流体力学。，24, 1, 113-151 (1966) ·doi:10.1017/S0022112066000545 [12] JD卡罗尔；Chang，JJ，通过“Eckart-Young”分解的N向泛化分析多维标度中的个体差异，《心理测量学》，35，283-319（1970）·Zbl 0202.19101号 ·doi:10.1007/BF02310791 [13] 查拉兰波（Charalampous，K.）。；Gasteratos，A.，基于张量的深度学习框架，Image Vis。计算。，32, 11, 916-929 (2014) ·doi:10.1016/j.imavis.2014.08.003 [14] 库卢姆，J。；威洛比，R。；Lake，M.，计算大型矩阵奇异值和向量的Lanczos算法，SIAM J.Sci。统计计算。，4, 2, 197-215 (1983) ·Zbl 0518.65020号 ·doi:10.1137/0904015 [15] 德拉特豪沃，L。；德摩尔，B。；Vandewalle，J.，《多重线性奇异值分解》，SIAM J.矩阵分析。申请。，21, 4, 1253-1278 (2000) ·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696 [16] 德拉特豪沃，L。；德摩尔，B。；Vandewalle，J.，《关于高阶张量的最佳秩-1和秩-\（r_1，r_2，cdots，r_N）逼近》，SIAM J.矩阵分析。申请。，21, 1324-1342 (2000) ·Zbl 0958.15026号 ·doi:10.1137/S0895479898346995 [17] 德·拉绍尔。；Vandewalle，J.，高阶信号处理中的降维和多线性代数中的秩-（（r_1，r_2，r_N）降维，线性代数应用。，391, 31-55 (2004) ·Zbl 1066.94001号 ·doi:10.1016/j.laa.2004.01.016 [18] De Leeuw，J。；杨，F。；Takane，Y.，《定性数据中的加性结构：具有最佳缩放特征的交替最小二乘法》，《心理测量学》，41，471-503（1976）·Zbl 0351.92031号 ·doi:10.1007/BF02296971 [19] 德席尔瓦，V。；Lim，LH，张量秩和最佳低秩近似问题的适定性，SIAM J.矩阵分析。申请。，30, 3, 1084-1127 (2008) ·Zbl 1167.14038号 ·数字对象标识码：10.1137/06066518X [20] 丁·W。；Wei，Y.，用\（\cal｛M｝\）张量求解多线性系统，科学杂志。计算。，68, 689-715 (2016) ·Zbl 1371.65032号 ·doi:10.1007/s10915-015-0156-7 [21] Elden，L。；Savas，B.，计算张量最佳多线性秩（（r_1，r_2，r_3）近似的Newton-Grassmann方法，SIAM J.矩阵分析。申请。，31, 2, 248-271 (2009) ·Zbl 1205.65161号 ·数字对象标识代码：10.1137/070688316 [22] Golub，生长激素；Van Loan，CF，矩阵计算（2008），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 0559.65011号 [23] Grasedyck，L.，张量的层次奇异值分解，SIAM J.矩阵分析。申请。，31, 4, 2029-2054 (2010) ·Zbl 1210.65090号 ·doi:10.1137/090764189 [24] Hackbusch，W.，《数值张量演算》，《数值学报》。，23, 651-742 (2014) ·Zbl 1396.65091号 ·doi:10.1017/S0962492914000087 [25] Hackbusch，W。；Kühn，S.，张量表示的一种新格式，J.Fourier Ana。申请。，15, 706-722 (2009) ·兹比尔1188.15022 ·doi:10.1007/s00041-009-9094-9 [26] Halko，N。；马丁森，PG；Tropp，JA，《寻找随机性结构：构建近似矩阵分解的概率算法》，SIAM Rev.，53，2，217-288（2011）·Zbl 1269.65043号 ·数字对象标识代码：10.1137/090771806 [27] Henrion，R.，《三元主成分分析中核心矩阵的体对角化：理论界与模拟》，J.Chemmeth，7477-494（1993）·doi:10.1002/cem.1180070604 [28] Hitchcock，FL，多路矩阵或张量的多重不变量和广义秩，J.Math。物理。，7, 1-4, 39-79 (1928) ·doi:10.1002/sapm19287139 [29] 霍尔茨，S。；罗韦德尔，T。；Schneider，R.，张量列格式张量优化的交替线性方案，SIAM J.Sci。公司。，34、2、A683-A713（2012）·Zbl 1252.15031号 ·doi:10.1137/100818893 [30] Ishteva，M。；Absil，宾夕法尼亚州；Van Huffel，S。；De Lathauwer，L.，基于黎曼信赖域格式的高阶张量的最佳低多重线性秩近似，SIAM J.矩阵分析。申请。，31, 1, 115-135 (2011) ·Zbl 1218.65041号 ·数字对象标识代码：10.1137/090764827 [31] Ishteva，M。；德拉特豪沃，L。；Absil，宾夕法尼亚州；Huffel，S.，《高阶张量的降维：算法和应用》，《国际纯粹应用杂志》。数学。，42, 3, 337-343 (2012) ·Zbl 1146.65037号 [32] Ishteva，M。；德拉特豪沃，L。；Absil，宾夕法尼亚州；Huffel，SV，张量最佳秩（（R_1，R_2，R_3）逼近的微分几何牛顿法，Numer。阿尔戈。，51, 179-194 (2009) ·Zbl 1166.65334号 ·doi:10.1007/s11075-008-9251-2 [33] 姜杰。；吴，H。；李毅。；Yu，R.，交替切片对角化（ASD）方法的三向数据分辨率，J.Chemmet。，14, 15-36 (2000) ·doi:10.1002/（SICI）1099-128X（200001/02）14:1<15:：AID-CEM571>3.0.CO；2-Z型 [34] Khoromskij，BN，科学计算中的Tensors结构数值方法：最新进展综述，化学计量学。智力。实验室系统。，110, 1, 1-19 (2012) ·doi:10.1016/j.化学实验室.2011.09.001 [35] 哈尔·基尔斯，《多元分析中的标准化符号和术语》，《化学计量学杂志》。，14, 105-122 (2000) ·doi:10.1002/1099-128X（200005/06）14:3<105:：AID-CEM582>3.0.CO；2-I型 [36] 科尔达，TG；Bader，BW，张量分解与应用，SIAM Rev.，51，3，455-500（2009）·Zbl 1173.65029号 ·doi:10.1137/07070111X [37] Kroonenberg，PM，应用多路数据分析（2008），新泽西州：新泽西州威利·Zbl 1160.62002号 ·数字对象标识代码：10.1002/9780470238004 [38] Kroonenberg，P.M。；De Leeuw，J.，用交替最小二乘算法对三模数据进行主成分分析，《心理测量学》，45，69-97（1980）·Zbl 0431.62035号 ·doi:10.1007/BF02293599 [39] LeCun，Y.，C.Cortes，C.Burges：手写数字的MNIST数据库。网址：http://yann.lecun.com/exdb/mnist/ [40] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，84，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791 [41] 莱文，J.：三模式因子分析。伊利诺伊大学香槟分校博士论文（1963年） [42] Li，J.、Battaglino，C.、Perros，I.、Sun，J.和Vuduc，R.：密集张量-时间矩阵乘法的输入自适应就地方法。摘自：《高性能计算国际会议论文集》，第76页，第1-12页。ACM（2015） [43] Mahoney，MW，矩阵和数据的随机算法，Found。趋势机器学习。，3, 2, 123-224 (2011) ·兹比尔1232.68173 [44] 马奥尼，MW；Drineas，P.，RandNLA:随机数值线性代数，Commun。ACM，59，6，80-90（2016）·数字对象标识代码：10.1145/2842602 [45] Novikov，A.、Podoprikhin，D.、Osokin，A.、Vetrov，D.：张量化神经网络。摘自：神经信息处理系统年度会议，第1卷，第442-450页。ACM（2015） [46] Oh，J.，Shin，K.，E.Papalexakis，E.，Faloutsos，C.，Yu，H.：S-HOT：可伸缩的高阶塔克分解。摘自：《第十届ACM网络搜索和数据挖掘国际会议论文集》，第761-770页。ACM（2017） [47] 哦，S。；北卡罗来纳州帕克。；Jang，J。；塞尔·L。；Kang，U.，《异构平台上的高性能塔克因子分解》，IEEE Trans。并行分配系统。，30, 10, 2237-2248 (2019) ·doi:10.1109/TPDS.2019.2908639 [48] Oseledets，IV；蒂里什尼科夫，EE，《打破维度诅咒，或者如何在多个维度中使用SVD》，SIAM J.Sci。计算。，31, 5, 3744-3759 (2009) ·Zbl 1200.65028号 ·数字对象标识代码：10.1137/090748330 [49] Oseledetsv，IV，张量-应变分解，SIAM J.Sci。计算。，33, 5, 2295-2317 (2011) ·Zbl 1232.15018号 ·doi:10.1137/090752286 [50] Rajbhandari，S.、Nikam，A.、Lai，P.W.、Stock，K.、Krishnamoorthy，S.和Sadayappan，P.：收缩分布式张量的通信优化框架。摘自：《高性能计算、网络、存储和分析国际会议论文集》，第375-386页。IEEE（2014） [51] 桑德森，C。；Curtin，R.，Armadillo:基于模板的线性代数C++库，J.开源软件。，1, 2, 26 (2016) ·doi:10.21105/joss.00026 [52] Sanderson，C.，Curtin，R.：C++中一个用户友好的混合稀疏矩阵类。收录于：数学软件国际会议，计算机科学讲稿，第10931卷，第422-430页。施普林格（2018）·Zbl 1397.65343号 [53] 萨瓦斯，B。；Lim，LH，Grassmannian上的拟Newton方法和张量的多线性近似，SIAM J.Sci。计算。，32, 6, 3352-3393 (2009) ·Zbl 1226.65058号 ·doi:10.1137/090763172 [54] Schatz，M.：分布式张量计算：形式化分布、重分布和算法推导。德克萨斯大学奥斯汀分校博士论文（2015） [55] Shashua，A.，Levin，A.：使用张量-库原理进行回归和分类的线性图像编码。摘自：IEEE计算机视觉和模式识别会议，第42-49页。IEEE（2001） [56] 新泽西州西迪罗普洛斯；德拉特豪沃，L。；肖，F。；Huang，KJ；Papalexakis，EE；Faloutsos，C.，信号处理和机器学习的张量分解，IEEE Trans。信号。程序。，65, 13, 3551-3582 (2017) ·Zbl 1415.94232号 ·doi:10.1109/TSP.2017.2690524 [57] Smith，S.、Ravindran，N.、Sidiropoulos，N.和Kapypis，G.：高效并行稀疏张量矩阵乘法。摘自：IEEE国际并行和分布式处理研讨会，第61-70页。IEEE（2015） [58] Sorensen，D.，多项式滤波器在阶跃Arnoldi方法中的隐含应用，SIAM J.矩阵分析。申请。，13, 1, 357-385 (1992) ·Zbl 0763.65025号 ·doi:10.1137/0613025 [59] Stewart，G.，大型特征问题的Krylov-Schur算法，SIAM J.矩阵分析。申请。，23, 3, 601-614 (2001) ·Zbl 1003.65045号 ·doi:10.1137/S0895479800371529 [60] Szlam，A。；图洛克，A。；Tygert，M.，通过交替最小二乘法的几次迭代实现精确的低阶近似，SIAM J.矩阵分析。申请。，38, 2, 425-433 (2017) ·Zbl 1367.65067号 ·doi:10.1137/16M1064556 [61] 塔克，LR，《关于三模式因子分析的一些数学注释》，《心理测量学》，31279-311（1966）·doi:10.1007/BF02289464 [62] Vannieuwenhoven，N.，Vandebril，R.，Meerbergen，K.：关于截断多线性奇异值分解。比利时鲁汶卡托利克大学计算机科学系技术报告TW589（2011）·兹比尔1247.65055 [63] Vannieuwenhoven，N。；Vandebril，R。；Meerbergen，K.，高阶奇异值分解的一种新截断策略，SIAM J.Sci。计算。，34、2、A1027-A1052（2012）·兹比尔1247.65055 ·数字对象标识代码：10.1137/10836067 [64] Vasilescu，M.A.O.，Terzopoulos，D.：面部识别的多线性图像分析。In:服务机器人用户交互支持的对象识别，第2卷，第511-514页。IEEE（2002） [65] Vervliet，N.，Debals，O.，Sorber，L.，Van Barel，M.，De Lathauwer，L.：Tensorlab 3.0。在线提供（2016年）。https://www.tensorlab.net网站 [66] Vlasi，D.，Brand，M.，Pfister，H.，Popovic，J.：多线性模型的面部转移。收录于：ACM SIGGRAPH 2005论文，第24卷，第426-433页。ACM（2005） [67] Wang，E.，Zhang，Q.，Shen，B.，Zhanng，G.，Lu，X.，Wu，Q.和Wang，Y.：“英特尔数学内核库。In：（英特尔^{textregistered}至强Phi）上的高性能计算。Springer第167-188页（2014） [68] 王，SG；吴，MX；贾振中，矩阵不等式（2006），北京：科学出版社，北京 [69] Watkins，D.，《重新审视QR算法》，SIAM Rev.，50，1，133-145（2008）·Zbl 1134.65028号 ·数字对象标识代码：10.1137/060659454 [70] Xu，Y.，关于高阶正交迭代的收敛性，线性多线性代数，66，11，2247-2265（2018）·Zbl 1401.90176号 ·doi:10.1080/030081087.2017.1391743 [71] Young，FW；Takane，Y。；De Leeuw，J.，《混合测量水平多元数据的主成分：具有最佳尺度特征的交替最小二乘法》，《心理测量学》，43，279-281（1978）·Zbl 0383.92001号 ·doi:10.1007/BF02293871 [72] 张，T。；Golub，GH，高阶张量的秩一近似，SIAM J.矩阵分析。申请。，23, 2, 534-550 (2001) ·Zbl 1001.65036号 ·doi:10.1137/S0895479899352045 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。