×

张量环上的秩最小化:张量分解和完成的有效方法。 (英语) Zbl 1494.68235号

摘要:在最近的研究中,张量环分解(TRD)已成为一种很有前途的张量补全模型。然而,由于多重线性秩的不确定性,TRD存在秩选择问题。对于缺失项的张量分解,传统方法的次优秩选择导致过拟合/欠拟合问题。本文首先探讨了TRD的潜在空间,并从理论上证明了TR秩与张量展开秩之间的关系。然后,我们通过在TR因子上施加不同的低阶正则化,提出了两个张量完备模型,通过这两个模型可以最小化底层张量的TR秩,并利用底层张量中的低阶结构。通过使用交替方向乘法器方法,我们的算法可以同时获得TR因子和潜在张量。在张量补全任务的实验中,与传统的低秩近似算法相比,我们的算法对秩选择具有鲁棒性和较高的计算效率。

MSC公司:

68T05型 人工智能中的学习和自适应系统
15A23型 矩阵的因式分解
第15页第69页 多线性代数,张量演算
65层99 数值线性代数
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 日本班瓜;费恩,HN;Tuan,HD;Do,MN,《彩色图像和视频恢复的高效张量补全:低秩张量序列》,IEEE图像处理学报,26,5,2466-2479(2017)·Zbl 1409.94036号 ·doi:10.1109/TIP.2017.2672439
[2] 博伊德,S。;北卡罗来纳州帕里赫。;朱,E。;佩莱托,B。;Eckstein,J.,通过乘数的交替方向方法进行分布式优化和统计学习,机器学习中的Foundations and Trends®,3,1,1-122(2011)·Zbl 1229.90122号 ·doi:10.1561/220000016
[3] 蔡,JF;坎迪斯,EJ;Shen,Z.,矩阵补全的奇异值阈值算法,SIAM优化期刊,20,41956-1982(2010)·Zbl 1201.90155号 ·doi:10.1137/080738970
[4] Chen,Y.、Jin,X.、Kang,B.、Feng,J.和Yan,S.(2018)。通过集体张量分解共享剩余单元来改进深层神经网络。IJCAI(第635-641页)。
[5] Cichocki,A。;Mandic,D。;德·拉绍尔。;周,G。;赵(Q.Zhao)。;Caiafa,C。;Phan,HA,《信号处理应用的张量分解:从双向到多路分量分析》,IEEE signal processing Magazine,32,2,145-163(2015)·doi:10.1109/MSP.2013.2297439
[6] 杜,B。;张,M。;张,L。;胡,R。;Tao,D.,PLTD:高光谱图像的基于补丁的低秩张量分解,IEEE多媒体汇刊,19,167-79(2017)·doi:10.1109/TMM.2016.2608780
[7] 他,W。;张,H。;张,L。;Shen,H.,用于高光谱图像恢复的全变量正则化低阶矩阵分解,IEEE地球科学与遥感汇刊,54,1,178-188(2015)·doi:10.1109/TGRS.2015.2452812
[8] Hu,Y.,Yi,X.,&Davis,L.S.(2015)。协作时尚推荐:功能张量因子分解方法。第23届ACM多媒体国际会议记录(第129-138页)。ACM公司。
[9] Khoo,Y.、Lu,J.和Ying,L.(2017)。从抽样中有效地构造张量环表示。arXiv:1711.00954·Zbl 1468.65014号
[10] 科尔达,TG;Bader,BW,张量分解与应用,SIAM Review,51,3,455-500(2009)·Zbl 1173.65029号 ·doi:10.1137/07070111X
[11] 刘,J。;穆西亚尔斯基,P。;旺卡,P。;Ye,J.,估计视觉数据中缺失值的张量补全,IEEE模式分析和机器智能学报,35,1,208-220(2013)·doi:10.1109/TPAMI.2012.39
[12] 刘,Y。;长,Z。;Zhu,C.,使用低张量树秩和总变差最小化完成图像,IEEE多媒体汇刊,21,2,338-350(2019)·doi:10.1109/TMM.2018.2859026
[13] 刘,Y。;尚,F。;风扇,W。;Cheng,J。;Cheng,H.,张量学习和分解的广义高阶正交迭代,IEEE神经网络和学习系统汇刊,27,12,2551-2563(2016)·doi:10.1109/TNNLS.2015.2496858号
[14] 刘,Y。;尚,F。;Jiao,L。;Cheng,J。;Cheng,H.,带缺失数据的跟踪范数正则化CANDECOMP/PARAFAC分解,IEEE控制论汇刊,45,11,2437-2448(2015)·doi:10.1109/TCYB.2014.2374695
[15] Long,Z.、Liu,Y.、Chen,L.和Zhu,C.(2018)。多路可视数据的低秩张量补全。信号处理。
[16] Novikov,A.、Podoprikhin,D.、Osokin,A.和Vetrov,D.P.(2015)。拉紧神经网络。《神经信息处理系统进展》(第442-450页)。
[17] Oseledets,IV,张量-应变分解,SIAM科学计算杂志,33,5,2295-2317(2011)·Zbl 1232.15018号 ·doi:10.1137/090752286
[18] 新泽西州西迪罗普洛斯;德·拉绍尔。;Fu,X。;黄,K。;Papalexakis,EE;Faloutsos,C.,信号处理和机器学习的张量分解,IEEE信号处理汇刊,65,13,3551-3582(2017)·兹比尔1415.94232 ·doi:10.1109/TSP.2017.2690524
[19] 宋,Q。;Ge,H.等人。;Caverley,J。;Hu,X.,大数据分析中的张量补全算法,ACM数据知识发现交易(TKDD),13,1,6(2019)·数字对象标识代码:10.1145/3278607
[20] Tomioka,R.和Suzuki,T.(2013)。基于结构化Schatten范数正则化的凸张量分解。《神经信息处理系统进展》(第1331-1339页)。
[21] Wang,W.、Aggarwal,V.和Aeron,S.(2017年)。高效的低秩张量环完备。2017年IEEE计算机视觉国际会议(ICCV)(第5698-5706页)。电气与电子工程师协会。
[22] Yokota,T.、Erem,B.、Guler,S.、Warfield,S.K.和Hontani,H.(2018年)。使用嵌入空间中的低秩模型恢复张量的缺失切片。IEEE计算机视觉和模式识别会议记录(第8251-8259页)。
[23] 横田,T。;赵(Q.Zhao)。;Cichocki,A.,用于张量补全的平滑PARAFAC分解,IEEE信号处理汇刊,64,20,5423-5436(2016)·Zbl 1414.94716号 ·doi:10.1109/TSP.2016.2586759
[24] Yu,J.、Li,C.、Zhao,Q.和Zhou,G.(2019年)。张量环核范数最小化及其在可视化数据补全中的应用。ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议(ICASSP)(第3142-3146页)。电气与电子工程师协会。
[25] 袁,L.,曹,J.,赵,X.,吴,Q.,&赵,Q.(2018)。通过低秩张量环分解实现高维张量补全。APSIPA年度峰会和会议记录(2018年第1期,第12-15页)。
[26] Yuan,L.、Li,C.、Mandic,D.、Cao,J.和Zhao,Q.(2018)。张量环上的秩最小化:可伸缩张量分解和完成的新范式。arXiv:1805.08468。
[27] 袁,L。;赵(Q.Zhao)。;桂,L。;Cao,J.,张量序列格式下基于梯度优化的高阶张量补全,信号处理:图像通信,73,53-61(2019)
[28] 袁,M。;Zhang,CH,关于通过核范数最小化实现张量补全,计算数学基础,16,4,1031-1068(2016)·Zbl 1378.90066号 ·doi:10.1007/s10208-015-9269-5
[29] 张,H。;他,W。;张,L。;沈,H。;袁强,利用低阶矩阵恢复高光谱图像,IEEE地球科学与遥感汇刊,52,8,4729-4743(2014)·doi:10.1010/TGRS.2013.2284280
[30] Zhang,Ely,G.,Aeron,S.,Hao,N.,&Kilmer,M.(2014)。基于张量SVD的多线性数据补全和去噪新方法。IEEE计算机视觉和模式识别会议记录(第3842-3849页)。
[31] 赵(Q.Zhao)。;Caiafa,CF;Mandic,DP;赵,ZC;Y.长崎。;北富士。;张,L。;Cichocki,A.,《高阶偏最小二乘法(HOPLS):广义多元线性回归方法》,IEEE模式分析与机器智能汇刊,35,7,1660-1673(2012)·doi:10.10109/TPAMI.2012.254
[32] Zhao,Q.、Sugiyama,M.、Yuan,L.和Cichocki,A.(2019年)。使用环形网络学习有效的张量表示。ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议(ICASSP)(第8608-8612页)。电气与电子工程师协会。
[33] 赵(Q.Zhao)。;张,L。;Cichocki,A.,不完全张量的贝叶斯CP因式分解与自动秩确定,IEEE模式分析与机器智能汇刊,37,9,1751-1763(2015)·doi:10.1109/TPAMI.2015.2392756
[34] Zhao,Q.、Zhou,G.、Xie,S.、Zhang,L.和Cichocki,A.(2016)。张量环分解。arXiv:1606.05535。
[35] 赵(Q.Zhao)。;周,G。;张,L。;Cichocki,A。;Amari,SI,不完全多路数据的贝叶斯鲁棒张量分解,IEEE神经网络和学习系统汇刊,27,4736-748(2015)·doi:10.1109/TNNLS.2015.2423694
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。