×

用超图扩展器完成确定性张量。 (英语) Zbl 1476.15041号

摘要:我们提供了一种基于超图扩展器的低秩张量补全的新分析。作为秩的代理,我们最小化张量的最大拟范数,这推广了矩阵的最大范数。我们的分析是确定性的,并且表明,在假设张量的秩和阶为(O(1)的情况下,近似恢复每维最多(n)个条目的阶张量所需的样本数在(n)中是线性的。作为证明的步骤,我们发现了一个新的(t)-部分,(t)–一致正则超图模型的扩张混合引理,并证明了张量极大拟范数的几个新性质。据我们所知,这是第一次对张量补全进行确定性分析。我们开发了一个实用的算法来解决最大拟范数最小化问题的松弛版本,并通过数值实验证明了其有效性。

MSC公司:

15A69号 多线性代数,张量演算
05摄氏90度 图论的应用
05C65号 Hypergraphs(Hypergraph)
05年4月28日 扩展器图形

软件:

十字架
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] M.Ajtai、J.Komloís和E.Szemereídi,《logspace中的确定性模拟》,载于《第19届美国计算机学会计算理论研讨会论文集》,美国计算机学会,纽约,1987年,第132-140页。
[2] N.Alon,《特征值和膨胀系数》,组合数学,6(1986),第83-96页·Zbl 0661.05053号
[3] N.Alon、U.Feige、A.Wigderson和D.Zuckerman,去随机化图形产品,计算机。《复杂性》,5(1995),第60-75页·Zbl 0816.60070号
[4] B.Barak和A.Moitra,通过平方和层次结构完成噪声张量,《学习理论会议论文集》,纽约,2016年,第417-445页。
[5] A.Ben-Aroya和A.Ta-Shma,使用之字形积的几乎是Ramanujan图的组合构造,SIAM J.Compute。,40(2011),第267-290页,https://doi.org/10.1137/080732651。 ·Zbl 1222.05147号
[6] S.Bhojanapalli和P.Jain,通用矩阵完成,《机器学习国际会议论文集》,中国北京,2014年,第1881-1889页。
[7] Y.Bilu和S.Hoory,《超图的代码》,《欧洲联合杂志》,25(2004),第339-354页·Zbl 1063.94104号
[8] Y.Bilu和N.Linial,Lifts,Difference and near optimal spectral gap,Combinatorica,26(2006),第495-519页·Zbl 1121.05054号
[9] G.Brito、I.Dumitriu和K.D.Harris,随机二分双正则图中的谱间隙及其应用,预印本,https://arxiv.org/abs/1804.07808v1, 2018.
[10] S.P.Burnwal和M.Vidyasagar,使用非对称Ramanujan图的矩形矩阵的确定性完备:精确和稳定恢复,IEEE Trans。信号处理。,68(2020),第3834-3848页·Zbl 07591003号
[11] C.Cai、G.Li、H.V.Poor和Y.Chen,噪声数据的非凸低阶对称张量补全,《2019年神经信息处理系统进展》,NeurIPS,加利福尼亚州圣地亚哥,2019年。
[12] 蔡先生和周伟新,通过最大形式约束优化完成矩阵,电子。《统计杂志》,10(2016),第1493-1525页·Zbl 1342.62091号
[13] S.Chatterjee,低秩矩阵完备的确定性理论,IEEE Trans。通知。《理论》,66(2020),第8046-8055页·Zbl 1457.15027号
[14] F.Chung,谱图理论,CBMS Regional Conf.Ser。数学92,AMS,普罗维登斯,RI,1997·Zbl 0867.05046号
[15] E.Cohen、D.Mubayi、P.Ralli和P.Tetali,超图的反向扩展器混合,电子。J.Combina.,23(2016),第2-20页·Zbl 1335.05123号
[16] G.Cohen、N.Peri和A.Ta-Shma,《扩展器随机游动:傅里叶分析方法》,电子。计算机学术讨论会。复杂。,27 (2020), 6.
[17] S.De Winter、J.Schillewaert和J.Verstraete,《几何中的大无偶然集》,电子。《联合杂志》,19(2012),24·Zbl 1266.51004号
[18] S.J.Dilworth,拟赋范空间的欧几里德子空间的维数,数学。程序。剑桥菲洛斯。《社会学杂志》,97(1985),第311-320页·Zbl 0573.46005号
[19] I.Dumitriu和Y.Zhu,随机正则超图的谱,预印本,https://arxiv.org/abs/1905.06487, 2019. ·Zbl 1510.05180号
[20] S.Foucart、D.Needell、R.Pathak、Y.Plan和M.Wootters,非随机非均匀采样模式的加权矩阵补全,IEEE Trans。通知。《理论》,67(2021),第1264-1290页·Zbl 1465.65038号
[21] R.Foygel和N.Srebro,《低阶矩阵重构的基于集中度的保证》,摘自《第24届学习理论年度会议论文集》,匈牙利布达佩斯,2011年,第315-340页。
[22] S.Friedland和L.-H.Lim,高阶张量的核范数,数学。公司。,87(2018),第1255-1281页·兹比尔1383.15018
[23] J.Friedman和A.Wigderson,关于超图的第二特征值,组合数学,15(1995),第43-65页·Zbl 0843.05075号
[24] D.Gamarnik,Q.Li和H.Zhang,线性时间中\(O(n)\)样本的矩阵完备,《第30届学习理论会议论文集》,荷兰阿姆斯特丹,2017,第940至947页。
[25] S.Gandy、B.Recht和I.Yamada,通过凸优化实现张量补全和低秩张量恢复,反问题,27(2011),025010·Zbl 1211.15036号
[26] N.Ghadermarzy、Y.Plan和O¨。Yilmaz,凸张量补全的近最优样本复杂度,Inf.Inference,8(2019),第577-619页·Zbl 1527.90218号
[27] B.D.Haeffele和R.Vidal,神经网络训练中的全局优化,《IEEE计算机视觉和模式识别会议论文集》,IEEE,华盛顿特区,2017年,第7331-7339页。
[28] 海默斯,交错特征值与图,线性代数应用。,226(1995),第593-616页·Zbl 0831.05044号
[29] E.Heiman、G.Schechtman和A.Shraibman,矩阵补全的确定性算法,《随机结构算法》,45(2014),第306-317页·Zbl 1306.15027号
[30] C.J.Hillar和L.-H.Lim,《大多数张量问题是NP-hard》,J.ACM,60(2013),45·Zbl 1281.68126号
[31] S.Hoory、N.Linial和A.Wigderson,《扩张图及其应用》,公牛出版社。阿默尔。数学。Soc.,43(2006),第439-561页·Zbl 1147.68608号
[32] P.Jain和S.Oh,缺失数据的可证明张量因式分解,《2014年神经信息处理系统进展》,NeurIPS,加州圣地亚哥,2014年,第1431-1439页。
[33] N.Kahale,正则图的特征值和扩张,J.ACM,42(1995),第1091-1106页·Zbl 0885.68117号
[34] R.H.Keshavan、A.Montanari和S.Oh,《几个条目的矩阵补全》,IEEE Trans。通知。《理论》,56(2010),第2980-2998页·Zbl 1366.62111号
[35] O.Klopp,Noisy low rank matrix completion with general sampling distribution,伯努利,20(2014),第282-303页·Zbl 1400.62115号
[36] T.G.Kolda和B.W.Bader,张量分解和应用,SIAM Rev.,51(2009),第455-500页,https://doi.org/10.1137/07070111X。 ·Zbl 1173.65029号
[37] A.Krishnamurthy和A.Singh,通过自适应采样实现低秩矩阵和张量补全,摘自《2013年神经信息处理系统进展》,NeurIPS,加利福尼亚州圣地亚哥,2013年,第836-844页。
[38] T.Lee、A.Shraibman和R.Špalek,差异的直接乘积定理,《第23届IEEE计算复杂性年会论文集》,IEEE,华盛顿特区,2008年,第71-80页。
[39] J.Lenz和D.Mubayi,特征值和线性拟随机超图,数学论坛。西格玛,3(2015),e2·Zbl 1306.05144号
[40] N.Linial、S.Mendelson、G.Schechtman和A.Shraibman,符号矩阵的复杂性度量,组合数学,27(2007),第439-463页·Zbl 1164.68006号
[41] A.Liu和A.Moitra,《Tensor completion made practical》,《Advances in Neural Information Processing Systems 2020》,NeurIPS,San Diego,CA,2020年。
[42] C.Liu、L.Zhu和M.Belkin,过度参数化非线性系统和神经网络中的损失景观和优化,预印本,https://arxiv.org/abs/2003.00307,2020年。
[43] J.Liu、P.Musialski、P.Wonka和J.Ye,估计视觉数据中缺失值的张量补全,IEEE Trans。模式分析。机器。智力。,35(2012),第208-220页。
[44] A.Lubotzky,《高维扩展器》,载于《国际数学家大会论文集》,ICM 2018,世界科学,新泽西州哈肯萨克,2018,第705-730页·Zbl 1448.05125号
[45] A.W.Marcus、D.A.Spielman和N.Srivastava,交错族I:所有程度的二部Ramanujan图,数学年鉴。(2) 第182页(2015年),第307-325页·Zbl 1316.05066号
[46] J.Matoušek、A.Nikolov和K.Talwar,因式分解规范和遗传差异,国际数学。Res.不。IMRN,2020(2020),第751-780页·Zbl 1459.11161号
[47] S.Mohanty、R.O'Donnell和P.Paredes,各种程度的显式近Ramanujan图,第52届ACM SIGACT计算机理论研讨会论文集,ACM,纽约,2020年,第510-523页·Zbl 1509.68206号
[48] A.Montanari和N.Sun,张量补全的谱算法,Comm.Pure Appl。数学。,71(2018),第2381-2425页·Zbl 1404.15023号
[49] C.Mu、B.Huang、J.Wright和D.Goldfarb,《平方处理:张量恢复的下限和改进松弛》,载《第31届机器学习国际会议论文集》,中国北京,2014年,第73-81页。
[50] C·马斯科、C·马斯克和D·P·伍德拉夫,《简单启发式产生可证明的掩盖低阶近似算法》,载于第12届理论计算机科学会议创新(ITCS 2021),LIPIcs。莱布尼茨国际程序。通知。185,达格斯图尔宫。莱布尼兹·赞特。通知。,德国瓦登,2021年6月。
[51] J.Y.Park、K.Carr、S.Zheng、Y.Yue和R.Yu,用于有效和可解释空间分析的多分辨率张量学习,《机器学习国际会议论文集》,PMLR,2020年,第7499-7509页。
[52] O.Parzanchevski,《高维扩张器中的混合》,Combin.Probab。计算。,26(2017),第746-761页·Zbl 1371.05329号
[53] A.Potechin和D.Steurer,带平方和的精确张量补全,《2017年学习理论会议论文集》,第65卷,PMLR,2017年,第1619-1673页。
[54] B.Recht,《矩阵完成的一种简单方法》,J.Mach。学习。Res.,12(2011),第3413-3430页·Zbl 1280.68141号
[55] J.D.M.Rennie和N.Srebro,合作预测的快速最大边际矩阵分解,第22届机器学习国际会议论文集,ACM,纽约,2005年,第713-719页。
[56] D.Shah和C.L.Yu,稀疏噪声张量估计的迭代协同滤波,《2019年IEEE信息理论国际研讨会论文集》,IEEE,华盛顿特区,2019年,第41-45页。
[57] Q.Song、H.Ge、J.Caverley和X.Hu,大数据分析中的张量补全算法,ACM Trans。从数据中发现知识(TKDD),13(2019),6。
[58] N.Srebro和A.Shraibman,《秩、迹范数和最大范数》,载于《国际计算学习理论会议论文集》,施普林格,纽约,2005年,第545-560页·Zbl 1137.68563号
[59] N.Tomczak Jaegermann,Banach Mazur距离和有限维算子理想,朗曼科学技术出版社,英国哈洛,1989年·Zbl 0721.46004号
[60] D.Xia和M.Yuan,关于精确低阶张量补全的多项式时间方法,Found。计算。数学。,19(2019),第1265-1313页·Zbl 1436.15031号
[61] C.L.Yu,近线性样本张量估计,预印本,https://arxiv.org/abs/2007.00736, 2020.
[62] 袁明,张春华,通过核范数极小化建立张量完备。计算。数学。,16(2016),第1031-1068页·Zbl 1378.90066号
[63] A.Zhang,Cross:高效低秩张量补全,Ann.Statist。,47(2019年),第936-964页·Zbl 1416.62298号
[64] 周振华,朱永元,稀疏随机张量:集中、正则化和应用,电子。《美国统计杂志》,第15卷(2021年),第2483-2516页·Zbl 1471.15021号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。