×
聂、张;王欢;赵璐

用于高阶张量恢复和压缩的自适应张量网络分解。 （英语） Zbl 07830070号

信息科学。 629, 667-684 (2023)。
摘要：张量恢复和张量压缩主要依赖于张量分解（TD）技术，在许多视觉应用中有着广泛的应用。然而，现有的TD模型忽视了数据模式之间的内在相关性，在等级确定和潜在因素安排方面存在问题。在本文中，我们提出了一种称为自适应张量网络（ATN）分解的数据自适应TD模型，该模型根据数据的固有特性构建了TD的最优拓扑结构。具体来说，我们利用广义张量秩来测量两个数据模式之间的相关性，然后在相应的潜在因素之间建立具有自适应秩的多重线性连接。此外，ATN在表示高阶数据时具有置换不变性、鲁棒性强、存储成本低等优点。除此之外，我们提出了一种统一的结构化Schatten范数，以绕过基于TD的应用程序中较差的局部极小值，并开发了一种基于线性化交替方向方法（LADM）框架的具有收敛保证的可伸缩算法。在张量补全、图像去噪、神经网络压缩和红外小目标检测四个典型任务上充分验证了ATN的有效性和优越性。在合成数据集和实际数据集上的实验表明，ATN优于最先进的TD方法。

MSC公司：

68倍 计算机科学
90倍X 运筹学、数学规划

关键词：

张量分解;张量网络;稳健张量主成分分析

软件：

PyTorch公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Nie}等人，《信息科学》。629、667--684（2023；Zbl 07830070）
全文： 内政部

参考文献：

[1] A.Cichocki，N.Lee，I.V.Oseledets，A.H.Phan，Q.Zhao，D.P.Mandic，降维和大规模优化问题的低库张量网络：前景和挑战，第1部分，arXiv预印本arXiv:1609.00893。
[2] 郑永斌。；黄，T.-Z。；赵晓乐。；蒋，T.-X。；纪天勇。；Ma，T.-H.，张量n管秩及其低秩张量恢复的凸松弛，信息科学，532170-189（2020）·Zbl 1459.68181号
[3] 科尔达·T·G。；Bader，B.W.，《张量分解与应用》，《暹罗评论》，第51、3、455-500页（2009年）·Zbl 1173.65029号
[4] 陈，C。；吴振斌。；陈，Z.-T。；Zheng，Z.-B。；Zhang，X.-J.，通过张量训练的自加权稳健低阶张量补全，信息科学，567100-115（2021）·Zbl 07755184号
[5] L.Fu，J.Yang，C.Chen，C.Zhang，多视角内禀子空间聚类的局部结构Low-rank张量近似，信息科学。
[6] 唐，T。；马，C。；Prater-Bennette，A。；特里普，E。；Chi，Y.，缩放和可伸缩性：基于不完全测量的可证明非凸低阶张量估计，机器学习研究杂志，23，163，1-77（2022）
[7] Cichocki，A。；Mandic，D。；Lathauwer，L.D。；周，G。；赵（Q.Zhao）。；Caiafa，C。；Phan，H.A.，《信号处理应用的张量分解：从双向到多路分量分析》，IEEE signal processing Magazine，32，2，145-163（2015）
[8] Y.-D.Kim、E.Park、S.Yoo、T.Choi、L.Yang、D.Shin，用于快速和低功耗移动应用的深度卷积神经网络压缩，收录于：ICLR 2016：2016年国际学习代表大会。
[9] A.Novikov，D.Podoprikhin，A.Osokin，D.Vetrov，Tensorizing neural networks，在：NIPS’15第28届国际神经信息处理系统会议论文集-第1卷，第28卷，2015，第442-450页。
[10] V.Lebedev，Y.Ganin，M.Rakhuba，I.Oseledets，V.Lempitsky，使用微调cp-decosition加速卷积神经网络，收录于：ICLR 2015：2015年国际学习代表大会。
[11] V.Aggarwal，W.Wang，B.Eriksson，Y.Sun，W.王，《宽压缩：张量环网》，收录于：2018 IEEE/CVF计算机视觉和模式识别会议，2018年，第9329-9338页。
[12] C.Nie，H.Wang，通过循环卷积的张量神经网络，神经计算。
[13] R.A.Harshman，石蜡切片程序的基础：“外植体”多模型因素分析的模型和条件16（1970）1-84。
[14] 塔克，L.R.，《关于三模式因子分析的一些数学注释》，《心理测量学》，31，3，279-311（1966）
[15] S.-J.Ran、E.Tirrito、C.Peng、X.Chen、L.Tagliacozzo、G.Su、M.Lewenstein，《张量网络收缩：量子多体系统的方法和应用》，2020年·Zbl 1442.81003号
[16] I.Glasser，R.Sweke，N.Pancotti，J.Eisert，J.I.Cirac，概率建模张量网络因子分解的表现力，收录于：第三十三届神经信息处理系统会议（NeurIPS-2019），第32卷，2019年，第1498-1510页。
[17] Oseledets，I.V.，张量-应变分解，SIAM科学计算杂志，33，5，2295-2317（2011）·Zbl 1232.15018号
[18] Q.Zhao，G.Zhou，S.Xie，L.Zhang，A.Cichocki，张环分解，arXiv预印本arXiv:1606.05535。
[19] Orüs，R.，《张量网络的实用介绍：矩阵乘积态和投影纠缠对态》，《物理学年鉴》，349，117-158（2014）·Zbl 1343.81003号
[20] M.Hashimizadeh，M.Liu，J.Miller，G.Rabusseau，张量网络自适应张量学习，arXiv预印本arXiv:2008.05437。
[21] 希勒，C.J。；Lim，L.-H.，大多数张量问题都是np-hard，ACM杂志，60，6，45（2013）·Zbl 1281.68126号
[22] 张，L。；宋，L。；杜，B。；Zhang，Y.，可视化数据的非局部低阶张量补全，IEEE系统、人与控制论汇刊，51，2，673-685（2021）
[23] J.Liu，P.Musialski，P.Wonka，J.Ye，估计视觉数据中缺失值的张量补全，收录于：IEEE模式分析和机器智能汇刊，2009年第35卷，第208-220页。
[24] 郑永斌，黄天忠，赵晓乐，赵庆，蒋天喜，全连通张量网络分解及其在高阶张量补全中的应用，载：AAAI会议，2021。
[25] R.Cabral，F.De la Torre，J.P.Costeira，A.Bernardino，统一核范数和双线性因子分解方法用于低秩矩阵分解，收录于：IEEE计算机视觉国际会议论文集，2013年，第2488-2495页。
[26] C.Nie，H.Wang，L.Tian，自适应张量网络分解。
[27] 吴，Y。；方，L。；Li，S.，非局部图像去噪的加权张量秩1分解，IEEE图像处理汇刊，28，6，2719-2730（2019）·Zbl 07122862号
[28] 高，C。；孟，D。；Yang，Y。；Wang，Y。；周，X。；Hauptmann，A.G.，用于单个图像中小目标检测的红外补丁图像模型，IEEE图像处理事务，22，12，4996-5009（2013）·兹比尔1373.94123
[29] J.Ballani，L.Grasedyck，层次张量格式中的树自适应近似，SIAM科学计算杂志36（4）·Zbl 1303.65026号
[30] C.Li，Z.Sun，张量网络分解的进化拓扑搜索，载：ICML 2020：第37届机器学习国际会议，2020年第1卷，第5947-5957页。
[31] K.Hayashi，T.Yamaguchi，Y.Sugawara，S.ichi Maeda，《探索卷积神经网络的未探索张量网络分解》，载于：《神经信息处理系统进展》，2019年第32卷，第5552-5562页。
[32] C.Li，J.Zeng，Z.Tao，Q.Zhao，张量网络结构的局部抽样置换搜索，arXiv预印本arXiv:2206.06597。
[33] L.Yuan，C.Li，D.P.Mandic，J.Cao，Q.Zhao，潜在空间秩最小化张量环分解：张量补全的有效方法，载《AAAI人工智能会议论文集》，2019年第33卷，第9151-9158页。
[34] 坎迪斯，E.J。；Recht，B.，通过凸优化实现精确矩阵补全，计算数学基础，9，6，717-772（2009）·Zbl 1219.90124号
[35] Recht，B。；法泽尔，M。；Parrilo，P.A.，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM评论，52，3，471-501（2010）·兹比尔1198.90321
[36] 蔡J.-F。；坎迪斯，E.J。；Shen，Z.，矩阵补全的奇异值阈值算法，SIAM优化杂志，20,41956-1982（2010）·Zbl 1201.90155号
[37] F.Shang，Y.Liu，J.Cheng，可处理schatten拟范数最小化的可扩展算法，载于：AAAI人工智能会议论文集，2016年第30卷。
[38] N.Srebro，J.Rennie，T.Jaakkola，最大边缘矩阵分解，神经信息处理系统进展17。
[39] Tang，J。；李，Z。；Lai，H。；张，L。；Yan，S.，《使用双层老化字典学习的个性化年龄进展》，IEEE模式分析和机器智能事务，40，4，905-917（2017）
[40] C.Xu，Z.Lin，H.Zha，schatten-p范数的统一凸代理，载于：第三十一届AAAI人工智能会议，2017年。
[41] F.Shang，Y.Liu，J.Cheng，秩最小化的可追踪和可伸缩schatten拟形式近似，in：《人工智能与统计》，PMLR，2016年，第620-629页。
[42] C.Mu，B.Huang，J.Wright，D.Goldfarb，Square deal：张量恢复的下限和改进松弛，摘自：机器学习国际会议，PMLR，2014年，第73-81页。
[43] C.Lu，C.Zhu，C.Xu，S.Yan，Z.Lin，广义奇异值阈值，载：《AAAI人工智能会议论文集》，2015年第29卷。
[44] W.Zuo、D.Meng、L.Zhang、X.Feng、D.Zhang，非凸稀疏编码的广义迭代收缩算法，收录于：IEEE计算机视觉国际会议论文集，2013年，第217-224页。
[45] 何凯、张旭、任松生、孙建军，图像识别的深度剩余学习，载于：2016 IEEE计算机视觉与模式识别会议，2016年，第770-778页。
[46] 李·G。；张，M。；王，J。；翁，D。；Corporal，H.，Scwc:压缩卷积神经网络的结构化信道权重共享，信息科学，58782-96（2022）
[47] A.Paszke、S.Gross、F.Massa、A.Lerer、J.Bradbury、G.Chanan、T.Killeen、Z.Lin、N.Gimelshein、L.Antiga、A.Desmaison、A.Kopf、E.Yang、Z.DeVito、M.Raison、A.Tejani、S.Chilamkurthy、B.Steiner、L.Fang、J.Bai、S.Chintala、Pytorch：命令式、高性能的深度学习库，《神经信息处理系统进展》，2019年第32卷，第8026-8037页。
[48] M.Zhao，W.Li，L.Li，J.Hu，P.Ma，R.Tao，单帧红外小目标探测：调查，IEEE地球科学与遥感杂志。
[49] 舒，X。；Tang，J。；齐国杰。；李，Z。；蒋玉刚。；Yan，S.，使用定制的细粒度词典进行图像分类，IEEE视频技术电路和系统汇刊，28，2，454-467（2016）
[50] 聂，C。；Wang，H。；Lu，A.，基于先验约束网络和高效补丁传感器模型的红外小目标检测，（中国模式识别与计算机视觉会议（2020），Springer），504-517
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。