×
纳夫霍特·辛格;埃德加·所罗门尼克

交替马氏距离最小化，以实现精确且条件良好的CP分解。 （英语） Zbl 1527.15026号

SIAM J.科学。计算。 45，编号6，A2781-A2812（2023）.
摘要：典型多元分解（CPD）在化学计量学、信号处理、数据挖掘等许多领域都很流行。虽然已经提出了许多算法来计算CPD，但交替最小二乘（ALS）仍然是计算分解最广泛使用的算法之一。最近的工作介绍了张量的特征值和奇异值的概念，并探索了特征向量和奇异向量在信号处理、数据分析和各种其他领域中的应用。我们引入了一种新的公式来推导张量的奇异值和奇异向量，该公式考虑了函数的临界点，与以往的工作不同。以交替的方式计算这些关键点激发了一种交替优化算法，该算法与矩阵情况下的ALS算法相对应。然而，对于阶数大于或等于3的张量，它最小化了一个与常用的最小二乘损失不同的目标函数。这个新目标的交替优化导致对因子矩阵的简单更新，其渐进计算成本与ALS相同。我们证明，当已知秩不大于输入张量的模长时，该算法的子扫描可以实现精确CPD的超线性收敛速度。我们通过实验验证了我们的理论论点。然后，我们将该算法视为针对每个因子优化马氏距离，而地面度量依赖于其他因子。这个观点允许我们推广我们的方法，在ALS和新算法对应的更新之间进行插值，以管理分解的稳定性和适合性之间的权衡。我们的实验结果表明，对于逼近合成张量和真实张量，该算法及其变体收敛到更好的条件分解，与ALS算法相比，其适应度相当，有时甚至更好。

MSC公司：

15A69号 多线性代数，张量演算
15A72号 向量和张量代数，不变量理论
65K10码 数值优化和变分技术
65年20月 数值算法的复杂性和性能
2004年第65季度 计算机运算的数值算法等。
68周25 近似算法

关键词：

张量分解;CP分解;交替最小二乘法;特征值;奇异值;马氏距离;条件编号

软件：

PySCF公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Singh}和\textit{E.Solomonik}，SIAM J.Sci。计算。45，编号6，A2781--A2812（2023；Zbl 1527.15026）
全文： 内政部 arXiv公司

参考文献：

[1] Acar，E.、Dunlavy，D.M.和Kolda，T.G.，《用于拟合正则张量分解的可扩展优化方法》，《化学计量学杂志》，25（2011），第67-86页。
[2] Afshar，A.、Yin，K.、Yan，S.、Qian，C.、Ho，J.C.、Park，H.和Sun，J.，Swift:稀疏非负张量的可缩放Wasserstein因式分解，《AAAI会议论文集》，2021年。
[3] Anandkumar，A.、Ge，R.、Hsu，D.J.、Kakade，S.M.和Telgarsky，M.，学习潜在变量模型的张量分解，J.Mach。学习。Res.，15（2014），第2773-2832页·Zbl 1319.62109号
[4] Ballard，G.、Hayashi，K.和Kannan，R.，《稠密张量的平行非负CP分解》，预印本，arXiv:1806.079852018年。
[5] Ballard，G.、Knight，N.和Rouse，K.，矩阵化张量乘以Khatri-Rao乘积的通信下限，国际并行与分布式处理研讨会（IPDPS）论文集，IEEE，2018年，第557-567页。
[6] Battaglino，C.、Ballard，G.和Kolda，T.G.，《实用随机CP张量分解》，SIAM J.矩阵分析。申请。，39（2018），第876-901页·Zbl 1444.65016号
[7] Bellet，A.、Habrard，A.和Sebban，M.，《特征向量和结构化数据的度量学习调查》，预印本，arXiv:1306.67092013年·Zbl 1308.68005号
[8] Belouchrani，A.、Abed-Meraim，K.、Cardoso，J.-F.和Moulines，E.，使用二阶统计的盲源分离技术，IEEE Trans。信号处理。，45（1997），第434-444页。
[9] Biswal，S.、Sun，H.、Goparaju，B.、Westover，M.B.、Sun，J.和Bianchi，M.T.，深度神经网络专家级睡眠评分，J.Amer。医疗通知。协会，25（2018），第1643-1650页。
[10] Breiding，P.和Vannieuwenhoven，N.，联合分解的条件数，SIAM J.矩阵分析。申请。，39（2018），第287-309页·Zbl 1384.49035号
[11] Bro，R.，PARAFAC教程和应用程序，化学计量学情报。实验室系统。，38（1997），第149-171页。
[12] Carroll，J.D.和Chang，J.-J.，通过Eckart-Young分解的n向泛化分析多维尺度中的个体差异，《心理测量学》，35（1970），第283-319页·Zbl 0202.19101号
[13] Choi，J.、Liu，X.、Smith，S.和Simon，T.，《稀疏张量计算的块优化技术》，国际并行与分布式处理研讨会（IPDPS）论文集，IEEE，2018年，第568-577页。
[14] Comon，P.，张量对角化，信号处理中的有用工具，IFAC Proc。，27（1994），第77-82页。
[15] Cong，F.，Lin，Q.-H.，Kuang，L.-D.，Gong，X.-F.，Astikainen，P.，and Ristaniemi，T.，《脑电图信号的张量分解：简要回顾》，《神经科学杂志》。方法，248（2015），第59-69页。
[16] 崔春芳，戴永华，聂杰，对称张量的所有实特征值，SIAM J.矩阵分析。申请。，35（2014），第1582-1601页·Zbl 1312.65053号
[17] Cuturi，M.和Avis，D.，《地面测量学习》，J.Mach。学习。Res.，15（2014），第533-564页·Zbl 1317.68149号
[18] De Maesschalck，R.、Jouan-Rimbaud，D.和Massart，D.L.，《马氏距离》，化学计量学情报。实验室系统。，50（2000），第1-18页。
[19] 马哈拉诺比斯，P.C.，《关于统计学中的广义距离》，Proc。国家。仪器。科学。印度，2（1936），第49-55页·Zbl 0015.03302号
[20] Dewaele，N.、Breiding，P.和Vannieuwenhoven，N.，《塔克压缩下许多张量分解的条件数不变》，手稿，2021年·Zbl 1523.65040号
[21] Harshman，R.A.，《PARAFAC程序的基础：解释性多模态因子分析的模型和条件》，加利福尼亚州洛杉矶市加利福尼亚大学，1970年。
[22] Hayashi，K.、Ballard，G.、Jiang，J.和Tobia，M.，《MTTKRP对稠密张量的共享内存并行化》，预印本，arXiv:1708.089762017年。
[23] Hillar，C.J.和Lim，L.-H.，《大多数张量问题是NP-hard》，J.ACM，60（2013），第45:1-45:39页·Zbl 1281.68126号
[24] Hitchcock，F.L.，《张量或多元数作为乘积之和的表达式》，Stud.Appl。数学。，6（1927），第164-189页。
[25] Hyvärinen，A.，《独立成分分析调查》，手稿，1999年。
[26] Karlsson，L.、Kressner，D.和Uschmajew，A.，CP格式张量补全的并行算法，并行计算。，57（2016），第222-234页。
[27] Kaya，O.，《张量分解的高性能并行算法》，里昂大学博士论文，2017年。
[28] Kaya，O.和Robert，Y.，《用最优维树计算稠密张量分解》，《算法》，81（2019），第2092-2121页·Zbl 1421.68259号
[29] Kaya，O.和Uçar，B.，《使用维度树对稀疏张量进行并行CP分解》，博士论文，格勒诺布尔-罗纳-阿尔卑斯研究中心，2016年·Zbl 1383.65037号
[30] Kemp，B.、Zwinderman，A.H.、Tuk，B.、Kamphuisen，H.A.和Oberye，J.J.，《睡眠依赖性神经元反馈回路的分析：脑电图的慢波微连续性》，IEEE Trans。生物识别。《工程》，47（2000），第1185-1194页。
[31] Kolda，T.G.和Bader，B.W.，《张量分解和应用》，SIAM Rev.，51（2009），第455-500页·Zbl 1173.65029号
[32] Kolda，T.G.和Mayo，J.R.，计算张量本征对的移位幂方法，SIAM J.矩阵分析。申请。，32（2011），第1095-1124页·Zbl 1247.65048号
[33] Kulis，B.，《计量学习：调查》，Found。趋势马赫数。学习。，5（2013年），第287-364页·Zbl 1278.68014号
[34] Li，G.，Qi，L.和Yu，G.。对称张量的Z特征值及其在谱超图理论中的应用，Numer。线性代数应用。，20（2013），第1001-1029页·兹比尔1313.65081
[35] Li，J.，Usevich，K.和Comon，P.，同步正交对称张量对角化的全局收敛Jacobi型算法，SIAM J.矩阵分析。申请。，39（2018），第1-22页·Zbl 1378.15016号
[36] Liang，M.和Zheng，B.，张量Moore-Penrose逆的进一步结果及其在张量贴近性问题中的应用，计算。数学。申请。，77（2019），第1282-1293页·Zbl 1442.15004号
[37] Lim，L.-H.，《张量的奇异值和特征值：变分方法》，载于IEEE第一届多传感器自适应处理计算进展国际研讨会论文集，IEEE，2005年，第129-132页。
[38] Ma，L.和Solomonik，E.，通过两两扰动加速张量分解的交替最小二乘法，预印本，arXiv:1811.105732018·Zbl 07584139号
[39] Ma，L.和Solomonik，E.，《带成对扰动和多分支维树的高效并行CP分解》，《国际并行与分布式处理研讨会（IPDPS）论文集》，IEEE，2021年，第412-421页。
[40] Maruhashi，K.、Guo，F.和Faloutsos，C.，《多方面取证：基于张量分析的大规模异构网络模式挖掘》，《社会网络分析和挖掘进展国际会议论文集》，IEEE，2011年，第203-210页。
[41] Mitchell，B.C.和Burdick，D.S.，《缓慢收敛的PARAFAC序列：沼泽和双因子退化》，《化学计量学杂志》，8（1994），第155-168页。
[42] Mitchell，D.，Ye，N.和De Sterck，H.，标准张量分解的交替最小二乘加速，预印本，arXiv:1810.058462018·Zbl 1488.65108号
[43] Mohlenkamp，M.J.，《关于多重线性拟合的Musings》，线性代数应用。，438（2013），第834-852页·Zbl 1258.15010号
[44] Murphy，K.R.、Stedmon，C.A.、Graeber，D.和Bro，R.，《荧光光谱和多路技术》。PARAFAC，分析。方法，5（2013），第6557-6566页。
[45] Nion，D.和De Lathauwer，L.，《复值张量分解的增强线搜索方案》。在DS-CDMA、信号处理中的应用。，88（2008），第749-755页·Zbl 1186.94262号
[46] Paatero，P.，用于三向PARAFAC因子分析的加权非负最小二乘算法，化学计量学智能。实验室系统。，38（1997），第223-242页。
[47] Phan，A.-H.，Tichavsk，P.，and Cichocki，A.，用于高阶CANDECOMP/PARAFAC张量分解的快速交替LS算法，IEEE Trans。信号处理。，61（2013），第4834-4846页。
[48] Phan，A.-H.，Tichavsk，P.，和Cichocki，A.，《CANDECOMP/PARAFAC的低复杂度阻尼高斯-奈顿算法》，SIAM J.矩阵分析。申请。，34（2013），第126-147页·Zbl 1365.65071号
[49] Qi，L.，Chen，H.和Chen，Y.，《张量特征值及其应用》，柏林施普林格出版社，2018年·Zbl 1398.15001号
[50] Rajih，M.、Comon，P.和Harshman，R.A.，《增强行搜索：加速PARAFAC的新方法》，SIAM J.矩阵分析。申请。，30（2008），第1128-1147页·Zbl 1168.65313号
[51] Robeva，E.，对称张量的正交分解，SIAM J.矩阵分析。申请。，37（2016），第86-102页。
[52] Robeva，E.和Seigal，A.，正交可分解张量的奇异向量，《线性多线性代数》，65（2017），第2457-2471页·Zbl 1390.13083号
[53] Schatz，M.D.、Low，T.M.、van de Geijn，R.A.和Kolda，T.G.，《利用张量中的对称性实现高性能：对称张量的乘法》，SIAM J.Sci。计算。，36（2014年），第C453-C479页·Zbl 1307.65057号
[54] Sidiropoulos，N.D.、De Lathauwer，L.、Fu，X.、Huang，K.、Papalexakis，E.E.和Faloutsos，C.，信号处理和机器学习的张量分解，IEEE Trans。信号处理。，65，第3551-3582页·Zbl 1415.94232号
[55] Singh，N.，Ma，L.，Yang，H.和Solomonik，E.，CANDECOMC/PARAFAC分解的高斯-奈顿和交替最小二乘法的准确性和可扩展性比较，SIAM J.Sci。计算。，43（2021年），第C290-C311页·Zbl 07379625号
[56] Sorber，L.、Domanov，I.、Van Barel，M.和Lathauwer，L.，张量优化的精确线和平面搜索，计算。最佳方案。申请。，63（2016），第121-142页·Zbl 1361.90046号
[57] Sorber，L.、Van Barel，M.和De Lathauwer，L.，基于优化的张量分解算法：正则多元分解，秩-（（L_r，L_r、1）项分解，以及一个新的推广SIAM J.Optim。，23（2013），第695-720页·兹比尔1277.90073
[58] Sun，L.，Zheng，B.，Bu，C.和Wei，Y.，通过爱因斯坦乘积的张量的Moore Penrose逆，线性多线性代数，64（2016），第686-698页·Zbl 1341.15019号
[59] Sun，Q.，Berkelbach，T.C.，Blunt，N.S.，Booth，G.H.，Guo，S.，Li，Z.，Liu，J.，McClain，J.D.，Sayfutyarova，E.R.，Sharma，S.等，《PySCF：基于Python的化学框架模拟》，Wiley Interdiscip。版次计算。分子科学。，8（2018），e1340。
[60] Tichavskí，P.、Phan，A.H.和Cichocki，A.，《CANDECOMP-PARAFAC张量分解的快速阻尼Gauss-Newton算法的进一步改进》，《声学、语音和信号处理国际会议论文集》，IEEE，2013年，第5964-5968页。
[61] Tichavský，P.，Phan，A.H.和Cichocki，A.，非正交张量对角化，信号处理。，138（2017），第313-320页。
[62] Tomasi，G.和Bro，R.，PARAFAC和缺失值，化学计量学情报。实验室系统。，75（2005），第163-180页。
[63] Tomasi，G.和Bro，R.，拟合PARAFAC模型的算法比较，计算。统计师。数据分析。，50（2006年），第1700-1734页·Zbl 1445.62136号
[64] Uschmajew，A.，正则张量近似的交替最小二乘算法的局部收敛性，SIAM J.矩阵分析。申请。，33（2012年），第639-652页·Zbl 1252.65085号
[65] Usevich，K.，Li，J.和Comon，P.，通过酉变换的近似矩阵和张量对角化：Jacobi型算法的收敛性，SIAM J.Optim。，30（2020年），第2998-3028页·Zbl 1453.90168号
[66] Vannieuwenhoven，N.，张量秩分解的条件数，线性代数应用。，535（2017），第35-86页·Zbl 1375.65063号
[67] Vannieuwenhoven，N.，Meerbergen，K.和Vandbril，R.，通过张量块计算恒定存储器中CP分解的优化算法中的梯度，SIAM J.Sci。计算。，37（2015），第C415-C438页·Zbl 1320.65066号
[68] Zen，G.、Ricci，E.和Sebe，N.，《带推土机距离的同步地面度量学习和矩阵分解》，第22届模式识别国际会议论文集，IEEE，2014年，第3690-3695页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。