纳夫霍特·辛格；马林建；杨洪如；埃德加·所罗门尼克 CANDECOMC/PARAFAC分解的Gauss-Newton和交替最小二乘法的精度和可扩展性比较。 （英语） Zbl 07379625号 SIAM J.科学。计算。 43，编号4，C290-C311（2021）. 摘要：交替最小二乘法是CANDECOMC/PARAFAC（CP）张量分解最广泛使用的算法。然而，交替最小二乘法可能表现出缓慢或无收敛性，尤其是在需要高精度时。另一种方法是将CP分解视为非线性最小二乘问题，并使用类牛顿方法。包含近似Hessian的线性系统的直接求解通常代价高昂。然而，最近的进展表明，使用线性系统的隐式表示使这些方法与交替最小二乘法（ALS）具有竞争力。我们提供了用于CP分解的Gauss-Newton方法的第一个并行实现，该方法在每个Gauss-Newton步骤迭代求解线性最小二乘问题。特别是，我们利用了一个公式，该公式在共轭梯度法中对隐式矩阵-向量乘积使用张量收缩。张量收缩的使用使我们能够使用Cyclops库进行分布式内存张量计算，从而将高斯-牛顿方法与高级Python实现并行化。此外，我们为Gauss-Newton方法提出了一个正则化方案，以在不增加任何额外费用的情况下提高收敛性能。我们研究了Gauss-Newton方法相对于ALS的变量的收敛性，以找到精确的CP分解以及真实张量的近似分解。我们评估了这两种方法的顺序和并行版本的性能，并研究了Stampede2超级计算机上的并行可伸缩性。 引用于1文件 MSC公司： 65K10码 数值优化和变分技术 65年20月 数值算法的复杂性和性能 6504年 计算机算术的数值算法等。 2005年5月 并行数值计算 68周25 近似算法 关键词：张量分解；CP分解；高斯-纽顿法；交替最小二乘法；独眼巨人张量框架 软件：PySCF公司；线性代数库 PDF格式BibTeX公司 XML格式引用 \textit{N.Singh}等人，SIAM J.Sci。计算。43，第4号，C290--C311（2021；Zbl 07379625） 全文： 内政部 arXiv公司 参考文献： [1] E.Acar、D.M.Dunlavy和T.G.Kolda，用于拟合正则张量分解的可扩展优化方法，J.Chemom。，25（2011年），第67-86页。 [2] A.Anandkumar、R.Ge、D.J.Hsu、S.M.Kakade和M.Telgarsky，学习潜在变量模型的张量分解，J.Mach。学习。Res.，15（2014），第2773-2832页·Zbl 1319.62109号 [3] A.Anandkumar、R.Ge和M.Janzamin，《通过交替秩1更新保证的非正交张量分解》，预印本，arXiv:1402.51802014年·Zbl 1319.62112号 [4] L.Armijo，具有Lipschitz连续一阶偏导数的函数的最小化，太平洋数学杂志。，16（1966），第1-3页，https://projecteuclid.org:443/euclid.pjm/1102995080。 ·Zbl 0202.46105号 [5] E.Bailey和S.Aeron，《通过张量因子分解的单词嵌入》，预印本，arXiv:1704.026862017。 [6] G.Ballard、J.Demmel、O.Holtz和O.Schwartz，通信优化并行和顺序Cholesky分解，SIAM J.Sci。计算。，32（2010年），第3495-3523页·Zbl 1238.65018号 [7] G.Ballard、K.Hayashi和K.Ramakrishnan，稠密张量的并行非负CP分解，《2018年IEEE第25届高性能计算国际会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2018年，第22-31页，https://doi.org/10.109/HiPC.2018.00012。 [8] G.Ballard，N.Knight和K.Rouse，矩阵化张量乘以Khatri-Rao乘积的通信下限，摘自2018年IEEE国际并行与分布式处理研讨会（IPDPS）会议记录，IEEE，新泽西州皮斯卡塔韦，2018年，第557-567页。 [9] C.Battaglino、G.Ballard和T.G.Kolda，实用随机CP张量分解，SIAM J.矩阵分析。申请。，39（2018），第876-901页·Zbl 1444.65016号 [10] A.R.Benson和G.Ballard，实用并行快速矩阵乘法框架，ACM SIGPLAN Not。2015年第50期，第42-53页。 [11] L.S.Blackford、J.Choi、A.Cleary、E.D'Azevedo、J.Demmel、I.Dhillon、S.Hammarling、G.Henry、A.Petitet、K.Stanley、D.Walker和R.C.Whaley，《ScaLAPACK用户指南》，软件环境。工具4，SIAM，费城，1997年·兹伯利0886.65022 [12] R.Bro和C.A.Andersson，《提高多路算法的速度：第二部分：压缩》，化学。智力。实验室系统。，42（1998），第105-113页，https://doi.org/10.1016/S0169-7439(98)00011-2. [13] J.D.Carroll、S.Pruzansky和J.B.Kruskal，CANDELINC：参数线性约束的多路阵列多维分析的一般方法，《心理测量学》，45（1980），第3-24页·Zbl 0478.62050号 [14] F.Cong、Q.-H.Lin、L.-D.Kuang、X.-F.Gong、P.Astikainen和T.Ristaniemi，《脑电图信号的张量分解：简要综述》，J.Neurosci。方法，248（2015），第59-69页。 [15] L.Csanky，《快速并行矩阵求逆算法》，第16届计算机科学基础年度研讨会论文集（SFCS 1975），IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，1975年，第11-12页·兹比尔0353.68063 [16] R.A.Harshman，《PARAFAC程序的基础：解释性多模态因子分析的模型和条件》，手稿。 [17] K.Hayashi、G.Ballard、Y.Jiang和M.J.Tobia，稠密张量MTTKRP的共享内存并行化，SIGPLAN Not。53，1（2018），第393-394页，https://doi.org/10.1145/320691.3178522。 [18] F.L.Hitchcock，张量或多元数作为乘积之和的表达式，Stud.Appl。数学。，6（1927年），第164-189页·JFM 53.0095.01号文件 [19] E.G.Hohenstein、R.M.Parrish、C.D.Sherrill和T.J.Martiínez，《通信：张量超压缩》。三、 确定相关波函数的最小二乘张量超压缩，J.Chem。物理。，137 (2012), 221101, https://doi.org/10.1063/1.4768241, [20] F.Hummel、T.Tsatsoulis和A.Gru¨neis，周期耦合团簇理论中库仑积分的低阶因式分解，J.Chem。物理。，146 (2017), 124105. [21] L.Karlsson、D.Kressner和A.Uschmajew，CP格式张量补全的并行算法，并行计算。，57（2016），第222-234页。 [22] O.Kaya，张量分解的高性能并行算法，法国里昂里昂大学博士论文，2017年。 [23] O.Kaya和Y.Robert，用最优维树计算稠密张量分解，《算法》，81（2019），第2092-2121页·Zbl 1421.68259号 [24] O.Kaya和B.Uçar，《使用维树对稀疏张量进行并行CP分解》，博士论文，国际研究中心Grenoble-Rhône-Alpes，Montbonnet-Saint Martin，法国·Zbl 1383.65037号 [25] H.A.Kiers和R.A.Harshman，讲述了两种用于加速拟合二元和三元主成分及相关多线性模型的算法的建议方法，Chemom。智力。实验室系统。，36（1997），第31-40页，https://doi.org/10.1016/S0169-7439(96)00074-3. [26] T.G.Kolda和B.W.Bader，张量分解和应用，SIAM Rev.，51（2009），第455-500页·Zbl 1173.65029号 [27] Kruskal，《三路数组：三线性分解的秩和唯一性及其在算术复杂性和统计学中的应用》，《线性代数应用》。，18（1977年），第95-138页，https://doi.org/10.1016/0024-3795(77)90069-6. ·Zbl 0364.15021号 [28] N.Li，S.Kindermann，C.Navasca，张量分解正则化交替最小二乘法的一些收敛性结果，线性代数应用。，438（2013），第796-812页·Zbl 1261.65041号 [29] L.Ma和E.Solomonik，通过两两扰动加速张量分解的交替最小二乘法，预印本，arXiv:1811.105732018。 [30] K.Maruhashi、F.Guo和C.Faloutsos，《多方面法医学：基于张量分析的大规模异构网络模式挖掘》，摘自《2011年社会网络分析与挖掘进展国际会议论文集》，IEEE，计算机社会，加利福尼亚州洛斯阿拉米托斯，2011年，第203-210页。 [31] B.C.Mitchell和D.S.Burdick，《缓慢收敛的PARAFAC序列：沼泽和双因子退化》，《化学杂志》。，8（1994年），第155-168页。 [32] D.Mitchell，N.Ye和H.De Sterck，规范张量分解的交替最小二乘加速：动量步长选择和重启机制，数值。线性代数应用。，27（2020），e2297·Zbl 1488.65108号 [33] J.J.Moreí，《Levenberg-Marquardt算法：实现与理论》，《数值分析》，柏林斯普林格出版社，1978年，第105-116页·Zbl 0372.65022号 [34] K.R.Murphy、C.A.Stedmon、D.Graeber和R.Bro，荧光光谱和多路技术。PARAFAC，分析。方法，5（2013），第6557-6566页。 [35] C.Navasca、L.De Lathauwer和S.Kindermann，张量分解的沼泽简化技术，《2008年第16届欧洲信号处理会议论文集》，IEEE，新泽西州皮斯卡塔韦，2008年，第1-5页。 [36] D.Nion和L.De Lathauwer，复值张量分解的增强线搜索方案。在DS-CDMA、信号处理中的应用。，88（2008），第749-755页·Zbl 1186.94262号 [37] P.Paatero，三向PARAFAC因子分析的加权非负最小二乘算法，化学。智力。实验室系统。，38（1997），第223-242页。 [38] V.Pan，如何更快地乘法矩阵，Springer。纽约，1984年·Zbl 0548.65022号 [39] A.H.Phan、P.Tichavskyá和A.Cichocki，稀疏和非负张量因子分解的快速阻尼Gauss-Newton算法，收录于2011年IEEE声学、语音和信号处理国际会议论文集，IEEE，新泽西州皮斯卡塔韦，2011年，第1988-1991页，https://doi.org/10.109/ICASSP.2011.5946900。 [40] A.-H.Phan、P.Tichavskỳ和A.Cichocki，高阶CANDECOMP/PARAFAC张量分解的快速交替LS算法，IEEE Trans。信号处理。，61（2013），第4834-4846页。 [41] A.-H.Phan、P.Tichavskyí和A.Cichocki，CANDECOMP/PARAFAC的低复杂度阻尼Gauss-Newton算法，SIAM J.Matrix Anal。申请。，34（2013），第126-147页·Zbl 1365.65071号 [42] M.Rajih、P.Comon和R.A.Harshman，《增强线搜索：加速PARAFAC的新方法》，SIAM J.Matrix Anal。申请。，30（2008），第1128-1147页·兹比尔1168.65313 [43] M.D.Schatz、T.M.Low、R.A.van de Geijn和T.G.Kolda，利用张量中的对称性实现高性能：与对称张量相乘，SIAM J.Sci。计算。，36（2014年），第C453-C479页·Zbl 1307.65057号 [44] N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Falowsos，信号处理和机器学习的张量分解，IEEE Trans。信号处理。，65（2017），第3551-3582页·Zbl 1415.94232号 [45] A.Smirnov，矩阵乘法的双线性复杂性和实用算法，计算。数学。数学。物理。，53（2013），第1781-1795页·Zbl 1313.65094号 [46] E.Solomonik和J.Demmel，《通信优化并行2.5维矩阵乘法和LU因子分解算法》，欧洲并行处理会议，柏林斯普林格，2011年，第90-109页。 [47] E.Solomonik、D.Matthews、J.R.Hammond、J.F.Stanton和J.Demmel，用于耦合集群计算的大规模并行张量收缩框架，J parallel Distrib.Comput。，74（2014），第3176-3190页。 [48] L.Sorber、M.Van Barel和L.De Lathauwer，张量分解的基于优化的算法：正则多元分解，秩-（（L_r，L_r、1）项分解，以及一个新的推广SIAM J.Optim。，23（2013），第695-720页·Zbl 1277.90073号 [49] V.斯特拉森，高斯消去不是最优的，数值。数学。，13（1969年），第354-356页，https://doi.org/10.1007/BF02165411。 ·Zbl 0185.40101号 [50] Q.Sun、T.C.Berkelbach、N.S.Blunt、G.H.Booth、S.Guo、Z.Li、J.Liu、J.D.McClain、E.R.Sayfutyarova、S.Sharma、S.Wouters和G K.-L.Chan，《PySCF：基于Python的化学框架模拟》，Wiley Interdiscip-版次计算。分子科学。，8（2018），第1340页。 [51] P.S.Thomas和T.Carrington Jr，一种制造低秩和乘积基函数的交织方法，使计算10个以上原子分子的振动光谱成为可能，J.Chem。物理。，146 (2017), 204110. [52] P.Tichavskyö，A.-H.Phan，和A.Cichocki，一些困难张量的数值CP分解，J.Compute。申请。数学。，317（2017），第362-370页，https://doi.org/10.1016/j.cam.2016.12.007。 ·Zbl 1357.65050号 [53] P.Tichavskỳ、A.H.Phan和A.Cichocki，《CANDECOMP-PARAFAC张量分解的快速阻尼Gauss-Newton算法的进一步改进》，《2013年IEEE声学、语音和信号处理国际会议论文集》，IEEE，新泽西州皮斯卡塔韦，2013年，第5964-5968页。 [54] G.Tomasi和R.Bro，PARAFAC和缺失值，Chemom。智力。实验室系统。，75（2005），第163-180页。 [55] G.Tomasi和R.Bro，拟合PARAFAC模型的算法比较，计算。统计师。数据分析。，50（2006年），第1700-1734页·Zbl 1445.62136号 [56] J.Towns，T.Cockerill，M.Dahan，I.Foster，K.Gaither，A.Grimshaw，V.Hazlewood，S.Lathrop，D.Lifka，G.D.Peterson，R.Roskies，J.Scott，and N.Wilkins-Diehr，XSEDE:加速科学发现，计算。科学。Eng.，16（2014），第62-74页，https://doi.org/10.109/MCSE.2014.80。 [57] L.R.Tucker，《关于三模式因子分析的一些数学注释》，《心理测量学》，31（1966），第279-311页。 [58] N.Vannieuwenhoven，K.Meerbergen和R.Vandbril，通过张量块计算恒定存储器中CP分解的优化算法中的梯度，SIAM J.Sci。计算。，37（2015），第C415-C438页·Zbl 1320.65066号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。