×

稀疏非负Tucker分解的交替近似梯度法。 (英语) 兹比尔1320.49019

摘要:多途径数据出现在脑电图分类、人脸识别、文本挖掘和高光谱数据分析等许多应用中。张量分解常用于发现隐藏因子并导出多路数据的内在结构。本文考虑稀疏非负Tucker分解(NTD),即将给定张量分解为具有稀疏性和非负性约束的核张量与多个因子矩阵的乘积。采用交替近似梯度法求解该问题。然后,将该算法修改为具有缺失值的稀疏NTD。该算法的迭代代价估计可根据数据大小进行扩展,并在相当宽松的条件下建立了全局收敛性。对合成数据和真实数据进行的数值实验表明,与一些最先进的方法相比,该方法具有从部分和/或全部观测值计算(稀疏)NTD的优越性。可以访问MATLAB代码和演示从作者的主页。

MSC公司:

49平方米27 分解方法
49平方米 松弛型数值方法
49立方米7 基于非线性规划的数值方法
90C26型 非凸规划,全局优化
90立方 非线性规划
90摄氏52度 减少梯度类型的方法
65个B05 极限外推,延迟更正
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Allen,G.I.:稀疏高阶主成分分析。摘自:人工智能和统计国际会议(AISTATS),第27-36页(2012年)
[2] Bader,B.W.,Kolda,T.G.等人:Matlab张量工具箱版本2.5(2012)。网址:http://www.sandia.gov/tgkolda/Tensor工具箱·Zbl 0958.15026号
[3] Beck,A.,Teboulle,M.:线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2, 183-202 (2009) ·兹比尔1175.94009 ·doi:10.1137/080716542
[4] Bolt,J.,Danilidis,A.,Lewis,A.:非光滑次分析函数的Lojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim公司。17, 1205-1223 (2007) ·Zbl 1129.26012号 ·doi:10.1137/050644641
[5] Carroll,J.D.,Chang,J.J.:通过“Eckart-Young”分解的N向推广分析多维标度中的个体差异。《心理测量学》35,283-319(1970)·Zbl 0202.19101号 ·doi:10.1007/BF02310791
[6] Cichocki,A.,Mandic,D.,Phan,A.H.,Caiafa,C.,Zhou,G.,Zhao,Q.,De Lathauwer,L.:信号处理应用的张量分解:从双向分量分析到多路分量分析。arXiv:1403.4462(2014)·Zbl 0917.62055号
[7] Cichocki,A.,Zdunk,R.,Phan,A.H.,Amari,S.:非负矩阵和张量因子分解:探索性多路数据分析和盲源分离的应用。英国威利(2009)
[8] Cong,F.、Phan,A.H.、Zhao,Q.、Wu,Q.,Ristaniemi,T.、Cichocki,A.:通过非负tucker分解从脑电图数据中提取特征,包括测试和训练观察。神经信息处理。3166-173(2012年)
[9] De Lathauwer,L.,De Moor,B.,Vandewalle,J.:关于高阶张量的最佳秩-1和秩-[(r_1,r_2,\ldots,r_n)](r1,r2,…,rn)近似。SIAM J.矩阵分析。申请。21, 1324-1342 (2000) ·Zbl 0958.15026号 ·doi:10.1137/S0895479898346995
[10] Ding,C.,Li,T.,Jordan,M.:凸矩阵分解和半非负矩阵分解。模式分析。机器。因特尔。IEEE传输。32, 45-55 (2010)
[11] Donoho D.,Stodden,V.:非负矩阵因式分解何时给出正确的分解。高级神经信息处理。系统。16 (2003)
[12] Friedlander,M.P.,Hatz,K.:计算非负张量因子分解。最佳方案。方法软件。23, 631-647 (2008) ·Zbl 1158.65321号 ·doi:10.1080/10556780801996244
[13] Harshman,R.A.:parafac程序的基础:“解释性”多模态因子分析的模型和条件。加州大学洛杉矶分校语音学工作论文16,1-84(1970)
[14] Horn,R.A.,Johnson,C.R.:矩阵分析主题。剑桥大学出版社,剑桥(1991)·Zbl 0729.15001号 ·doi:10.1017/CBO9780511840371
[15] Kiers,H.A.L.:基于三模主成分分析的核心和成分矩阵的联合正交旋转。J.分类。15, 245-263 (1998) ·Zbl 0917.62055号 ·数字对象标识代码:10.1007/s003579900033
[16] Kim,H.,Park,H.:基于交替非负约束最小二乘和活动集方法的非负矩阵分解。SIAM J.矩阵分析。申请。30, 713-730 (2008) ·Zbl 1162.65354号 ·数字对象标识码:10.1137/07069239X
[17] Kim,J.,Park,H.:迈向更快的非负矩阵分解:一种新算法和比较。摘自:数据挖掘,2008年。2008年ICDM。第八届IEEE国际会议,IEEE,第353-362页(2008)·Zbl 1129.26012号
[18] Kim,Y.D.,Choi,S.:非负Tucker分解。摘自:《计算机视觉与模式识别》,2007年。2007年CVPR。IEEE会议,IEEE,第1-8页(2007年)·兹比尔1280.49042
[19] Kolda,T.G.,Bader,B.W.:张量分解和应用。SIAM Rev.51,455(2009)·Zbl 1173.65029号 ·doi:10.1137/07070111X
[20] Lee,D.D.,Seung,H.S.:通过非负矩阵分解学习对象的各个部分。《自然》401,788-791(1999)·Zbl 1369.68285号 ·doi:10.1038/44565
[21] Lee,D.D.,Seung,H.S.:非负矩阵分解的算法。高级神经信息处理。系统。13, 556-562 (2001)
[22] Ling,Q.,Xu,Y.,Yin,W.,Wen,Z.:去中心化低秩矩阵完备。参加:国际声学、语音和信号处理会议(ICASSP),SPCOM-P1.4(2012)·Zbl 1323.65044号
[23] Liu,J.,Liu,J,Wonka,P.,Ye,J.:使用柱坐标下降的稀疏非负张量因式分解。模式识别。45, 649-656 (2011) ·Zbl 1225.68233号
[24] Łojasiewicz,S.:苏拉盖梅特里(Sur la géométrie semiet sous-analizique)。《傅里叶年鉴》(Grenoble)43,1575-1595(1993)·Zbl 0803.32002号 ·doi:10.5802/aif.1384
[25] Mörup,M.,Hansen,L.K.,Arnfred,S.M.:稀疏非负Tucker分解的算法。神经计算。20, 2112-2131 (2008) ·Zbl 1178.68447号
[26] Paatero,P.,Tapper,U.:正矩阵因式分解:最佳利用数据值误差估计的非负因子模型。环境计量学5,111-126(1994)·doi:10.1002/env.3170050203
[27] Phan,A.H.,Cichocki,A.:非负tucker分解的扩展hals算法及其在多路分析和分类中的应用。神经计算741956-1969(2011)·doi:10.1016/j.neucom.2010.06.031
[28] Phan,A.H.,Tichavsky,P.,Cichocki,A.:非负塔克分解的阻尼高斯-牛顿算法。摘自:统计信号处理研讨会(SSP),IEEE,第665-668页(2011年)
[29] Ramirez,I.,Sprechmann,P.,Sapiro,G.:通过字典学习进行分类和聚类,具有结构化的不连贯性和共享特征。摘自:IEEE计算机视觉和模式识别会议(CVPR),第3501-3508页(2010年)
[30] Schatz,M.,Low,T.,Geijn,V.,Robert,A.,Kolda,T.:利用张量中的对称性实现高性能:用对称张量进行乘法。arXiv,预印arXiv:1301.7744(2013)·Zbl 1307.65057号
[31] Shashua,A.,Hazan,T.:非负张量因式分解及其在统计学和计算机视觉中的应用。摘自:第22届机器学习国际会议论文集,ACM,第792-799页(2005)
[32] 塔克,L.R.:关于三模式因子分析的一些数学注释。心理测量学31279-311(1966)·doi:10.1007/BF02289464
[33] Wen,Z.,Yin,W.,Zhang,Y.:用非线性逐次过松弛算法求解矩阵补全的低阶因式分解模型。数学。程序。计算。4, 333-361 (2012) ·Zbl 1271.65083号
[34] Xu,Y.,Yin,W.:正则化多凸优化的块坐标下降方法,应用于非负张量分解和完成。SIAM J.成像科学。6, 1758-1789 (2013) ·Zbl 1280.49042号 ·doi:10.137/120887795
[35] Xu,Y.,Yin,W.,Wen,Z.,Zhang,Y.:非负因子矩阵补全的交替方向算法。J.前部。数学。中国特刊计算。数学。7, 365-384 (2011) ·Zbl 1323.65044号 ·doi:10.1007/s11464-012-0194-5
[36] Zafeiriou,S.:判别非负张量因式分解算法。神经网络。IEEE传输。20, 217-235 (2009) ·doi:10.1109/TNN.2008.2005293
[37] Zhang,Q.,Wang,H.,Plemmons,R.J.,Pauca,V.:高光谱数据分析的张量方法:空间物体材料识别研究。JOSA A 25,3001-3012(2008)·doi:10.1364/JOSAA.25.003001
[38] Zhang,Y.:非负矩阵分解的交替方向算法。水稻技术报告(2010)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。