×
Nick Vannieuwenhoven;卡尔·米尔伯根;拉夫·范德布雷

通过张量分块计算常量内存中CP分解优化算法中的梯度。 （英语） Zbl 1320.65066号

SIAM J.科学。计算。 37，第3号，C415-C438（2015）.
摘要：基于梯度的优化算法中目标函数梯度的构造是计算非结构化密集张量的r项CANDECOMP/PARAFAC（CP）分解的关键计算核心。有效实现此操作的最佳技术是内存消耗与项数r成线性关系，与张量元素数呈次线性关系。我们考虑对CP梯度进行分块计算，将内存需求减少到一个常量。这种简化是通过一种新的技术实现的，我们称之为隐式块展开，它通过以下方式结合了块张量展开的优点S.拉格纳森和C.F.Van贷款[SIAM J.Matrix Anal.Appl.33 No.1，149-169（2012；（2012；Zbl 1246.15028号)]以及A.-H.Phan公司等人[“用于高阶CANDECOMP/PARAFAC张量分解的快速交替LS算法”，IEEE Trans.Signal Process.61，4834–4846（2013；doi:10.1109/TSP.2013.2269903)]. 自动选择子传感器划分的启发式算法是该算法的一部分。所能达到的吞吐量基本上取决于两个恒定大小的小矩阵的矩阵乘积的性能。数值实验表明，对于大密度张量，该方法在内存消耗方面可以比当前最先进的方法高出两个数量级，而执行时间的增加不超过5%。无论张量的大小和项数如何，所提出的算法使用的内存不超过50MB，均达到计算机系统理论峰值性能的90%以上。

引用于6文件

MSC公司：

65楼30 其他矩阵算法（MSC2010）
15A69号 多线性代数，张量演算
65年20月 数值算法的复杂性和性能
65K10码 数值优化和变分技术
68瓦30 符号计算和代数计算

关键词：

CANDECOMP/PARAFAC公司;张量秩分解;CP分解;CP梯度;隐式块展开

引文：

兹比尔1246.15028

软件：

平铺数组;github;OpenBLAS（开放BLAS）;BLAS公司;艾根
PDF格式BibTeX公司 XML格式引用
\textit{N.Vannieuwenhoven}等人，SIAM J.Sci。计算。37，3号，C415--C438（2015；Zbl 1320.65066）
全文： 内政部

参考文献：

[3] E.Acar、D.M.Dunlavy和T.G.Kolda，{拟合正则张量分解的可扩展优化方法}，《化学计量学杂志》，25（2011），第67-86页。
[4] E.Acar、D.M.Dunlavy、T.G.Kolda和M.Mörup，{不完全数据的可缩放张量因子分解}，化学计量学。因特尔。实验室，106（2011），第41-56页。
[5] C.J.Appellof和E.R.Davidson，《分析液相色谱流出物视频荧光检测数据的策略》，Anal。化学。，53（1981），第2053-2056页。
[6] G.Baumgartner、A.Auer、D.E.Bernholdt、A.Bibireata、V.Choppella、D.Cociorva、X.Gao、R.J.Harrisson、S.Hirata、S.Krishnamoorthy、S.Krishnan、C.-C.Lam、Q.Lu、M.Nooijen、R.M.Pitzer、J.Ramanujam、P.Sadayappan和A.Sibiryakov，一类高性能并行程序的合成量子化学模型}，Proc。IEEE，93（2005），第276-292页。
[7] C.Bocci，L.Chiantini和G.Ottaviani，《张量可识别性的精化方法》，Ann.Mat.Pura Appl。（4） ，193（2014），第1691-1702页·Zbl 1314.14102号
[8] J.Carroll和J.-J.Chang，《通过“Eckart-Young”分解的n向泛化分析多维尺度中的个体差异》，《心理测量学》，35（1970），第283-319页·Zbl 0202.19101号
[9] L.Chiantini、G.Ottaviani和N.Vannieuwenhoven，《复张量的一般可识别性和低秩特定可识别性的算法》，SIAM J.矩阵分析。申请。，35（2014），第1265-1287页·Zbl 1322.14022号
[10] V.de Silva和L.-H.Lim，{张量秩和最佳低秩逼近问题的适定性}，SIAM J.矩阵分析。申请。，30（2008），第1084-1127页·Zbl 1167.14038号
[11] H.De Sterck和M.Winlaw，{it秩-正则张量近似的非线性预处理共轭梯度算法}，Numer。线性代数应用。，22（2015），第410-432页·Zbl 1363.65041号
[12] I.Domanov和L.De Lathauwer，《关于三阶张量正则多元分解的唯一性——第二部分：整体分解的唯一》，SIAM J.Matrix Anal。申请。，34（2013），第876-903页·Zbl 1282.15020号
[13] J.J.Dongarra、J.Du Croz、S.Hammarling和I.S.Duff，｛\it一组层次\纹理3基本线性代数子程序｝，ACM Trans。数学。软件，第16期（1990年），第1-17页·Zbl 0900.65115号
[14] J.J.Dongarra、J.Du Croz、S.Hammarling和R.J.Hanson，{it Fortran基本线性代数子程序的扩展集}，ACM Trans。数学。《软件》，14（1988），第1-17页·Zbl 0639.65016号
[15] L.Eldeín和B.Savas，{it计算张量}的最佳多重线性秩的Newton-Grassmann方法，SIAM J.Matrix Ana。申请。，31（2009），第248-271页·Zbl 1205.65161号
[16] E.Epifanovsky，M.Wormit，T.Kusí，A.Landau，D.Zuev，K.Khistyaev，P.Manohar，I.Kaliman，A.Dreuw，and A.I.Krylov，{\it使用通用块张量库实现高性能电子结构计算的高级相关方法的新实现}，J.Compute。化学。，34（2013），第2293-2309页。
[17] K.Goto和R.A.van de Geijn，《高性能矩阵乘法剖析》，ACM Trans。数学。《软件》，34（2008），12·Zbl 1190.65064号
[18] G.Guennebaud、B.Jacob等人，{艾根v\textup3}，网址：http://eigen.tuxfamily.org (2010).
[19] S.Hansen、T.Plantenga和T.G.Kolda，《基于牛顿的Kullback-Leiber非负张量因子分解优化》，预印本，arXiv:1304.4964，http://arxiv.org/abs/1304.4964, 2014. ·Zbl 1336.90086号
[20] R.A.Harshman，{PARAFAC程序的基础：“解释性”多模态因子分析的模型和条件}，加州大学洛杉矶分校语音学工作论文，16（1970），第1-84页。
[21] C.Hayashi和F.Hayash，{\it-求解PARAFAC-模型的新算法}，行为计量学，11（1982），第49-60页。
[22] F.L.Hitchcock，{it多路矩阵或张量的多重不变量和广义秩}，J.Math。物理。，7（1927年），第39-79页。
[23] F.L.Hitchcock，{将张量或多元数表示为乘积之和}，J.Math。物理。，6（1927年），第164-189页。
[24] P.K.Hopke、P.Paatero、H.Jia、R.T.Ross和R.A.Harshman，{三元（PARAFAC）因子分析：应用于病态数据的替代计算方法的检查和比较}，化学计量学。因特尔。实验室，43（1998），第25-42页。
[25] T.G.Kolda和B.W.Bader，{张量分解和应用}，SIAM Rev.，51（2009），第455-500页·Zbl 1173.65029号
[26] J.M.Landsberg，《张量：几何与应用》，Grad。学生数学。128，AMS，普罗维登斯，RI，2012年·Zbl 1238.15013号
[27] L.S.Lorente、J.M.Vega和A.Velazquez，{使用高阶奇异值分解压缩空气动力学数据库}，Aerosp。科学。技术。，14（2010年），第168-177页。
[28] I.V.Oseledets和D.V.Savost’yanov，{近似张量的最小化方法及其比较}，Comp。数学。数学。物理。，46（2006），第1641-1650页。
[29] P.Paatero，｛\it三元“PARAFAC”因子分析的加权非负最小二乘算法，Chemometr。因特尔。实验室，38（1997），第223-242页。
[30] A.-H.Phan和A.Cichocki，{大规模问题的PARAFAC算法}，神经计算，74（2011），1970-1984页。
[31] A.-H.Phan，P.Tichavskyí和A.Cichocki，{高阶CANDECOMP/PARAFAC张量分解的快速交替LS算法}，IEEE Trans。信号处理。，61（2013），第4834-4846页。
[32] A.-H.Phan、P.Tichavskyí和A.Cichocki，{CANDECOMP/PARAFAC}的低复杂度阻尼Gauss-Newton算法，SIAM J.矩阵分析。申请。，34（2013），第126-147页·Zbl 1365.65071号
[33] S.Ragnarsson和C.F.Van Loan，{块张量展开}，SIAM J.矩阵分析。申请。，33（2012年），第149-169页·Zbl 1246.15028号
[34] S.Ragnarsson和C.F.Van Loan，{块张量和对称嵌入}，线性代数应用。，438（2013），第853-874页·Zbl 1390.15082号
[35] M.D.Schatz、T.M.Low、R.A.van de Geijn和T.G.Kolda，《利用张量中的对称性实现高性能：与对称张量的乘法》，SIAM J.Sci。计算。，36（2014年），第C453-C479页·Zbl 1307.65057号
[36] L.Sorber、M.Van Barel和L.De Lathauwer，基于优化的张量分解算法：正则多元分解，秩-（（L_r、L_r，1）项分解，以及一个新的推广}，SIAM J.Optim。，23（2013），第695-720页·Zbl 1277.90073号
[37] G.Tomasi和R.Bro，{\it PARAFAC和缺失值}，化学计量学。因特尔。实验室，75（2005），第163-180页。
[38] G.Tomasi和R.Bro，{\it拟合PARAFAC模型的算法比较}，计算。统计师。数据分析。，50（2006年），第1700-1734页·Zbl 1445.62136号
[39] N.Vannieuwenhoven、N.Vanbaelen、K.Meerbergen和R.Vandebril，{密度多重向量张量向量乘积：初步研究}，技术报告TW635，比利时鲁汶KU Leuven，2013年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。