陈，柯;金、如辉 约束最小二乘的张量结构草图。 （英语） Zbl 1493.62639号 SIAM J.矩阵分析。申请。 42，编号4，1703-1731（2021）. 摘要：约束最小二乘问题在许多应用中都会出现。在涉及高维输入数据的实践中，它们的内存和计算成本非常昂贵。我们采用所谓的“绘制”策略，通过随机绘制矩阵将最小二乘问题投影到一个“绘制维度”低得多的空间上。绘制的关键思想是在保持近似精度的同时，尽可能减少问题的维度。最小二乘数据矩阵中经常存在张量结构，包括线性化逆问题和张量分解。在这项工作中，我们使用一类一般的行张量化亚高斯矩阵作为草图矩阵，用于约束优化草图设计与张量结构的兼容性。我们从误差准则和概率失效率方面为草图尺寸提供了理论保证。在无约束线性回归的背景下，我们获得了草图尺寸的最佳估计。对于具有一般约束集的优化问题，我们表明草图尺寸取决于表征潜在问题几何特征的统计复杂性。我们的理论在几个具体的例子中得到了证明，包括无约束线性回归和稀疏恢复问题。 引用于1文件 MSC公司： 62兰特 大数据和数据科学的统计方面 15B52号 随机矩阵（代数方面） 52A21型 凸性和有限维Banach空间（包括特殊范数、分区等）（凸几何的方面） 60对20 随机矩阵（概率方面） 65平方英尺 线性系统和矩阵反演的直接数值方法 关键词：绘制草图;张量结构;约束优化;凸锥;集中度不等式 PDF格式BibTeX公司 XML格式引用 \textit{K.Chen}和\textit{R.Jin}，SIAM J.矩阵分析。申请。42，编号4，1703-1731（2021；Zbl 1493.62639） 全文： 内政部 arXiv公司 参考文献： [1] R.Adamczak和P.Wolff，高阶有界导数非Lipschitz函数的集中不等式，Probab。理论相关领域，162（2013），第531-586页·Zbl 1323.60033号 [2] N.Ailon和B.Chazelle，近似最近邻和快速Johnson-Lindenstraus变换，收录于STOC'06：第38届ACM计算理论研讨会论文集，ACM，纽约，2006年，第557-563页，https://doi.org/10.1145/1132516.1132597。 ·Zbl 1301.68232号 [3] A.Anandkumar、R.Ge、D.Hsu、S.M.Kakade和M.Telgarsky，学习潜在变量模型的张量分解，J.Mach。学习。Res.，15（2014），第2773-2832页·Zbl 1319.62109号 [4] H.Avron、H.Nguyen和D.Woodruff，多项式核的子空间嵌入，摘自《神经信息处理系统进展》27，Curran Associates，Red Hook，NY，2014年，第2258-2266页，http://papers.nips.cc/paper/5240-subspace-embeddings-for-the-polynomial-kernel.pdf。 [5] M.T.Bahadori，Q.R.Yu和Y.Liu，通过低秩张量学习进行快速多元时空分析，摘自《神经信息处理系统进展》27，Curran Associates，Red Hook，NY，2014年，第3491-3499页，http://papers.nips.cc/paper/5429-fast multivariate-spacio-temoral-analysis-via-low-rank-tensor-learning.pdf。 [6] C.Battaglino、G.Ballard和T.G.Kolda，实用随机CP张量分解，SIAM J.矩阵分析。申请。，39（2018），第876-901页，https://doi.org/10.1137/17M1112303。 ·Zbl 1444.65016号 [7] L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Rev.，60（2018），第223-311页，https://doi.org/10.1137/16M1080173。 ·Zbl 1397.65085号 [8] J.Bougain、S.Dirksen和J.Nelson，《欧几里德空间稀疏降维统一理论》，Geom。功能。分析。，25（2015），第1009-1088页，https://doi.org/10.1007/s00039-015-0332-9。 ·Zbl 1341.46007号 [9] S.Bubeck，凸优化：算法和复杂性，发现。趋势马赫数。学习。，8（2015），第231-357页，https://doi.org/10.1561/220000050。 ·兹比尔1365.90196 [10] M.Charikar、K.C.Chen和M.Farach-Colton，《在数据流中查找频繁项》，理论。计算。科学。，312（2004），第3-15页，https://doi.org/10.1016/S0304-3975(03)00400-6. ·Zbl 1071.68020号 [11] K.Chen、Q.Li、K.Newton和S.Wright，PDE逆问题的结构化随机草图绘制，SIAM J.Matrix Ana。申请。，41（2020年），第1742-1770页·Zbl 1461.65057号 [12] D.Cheng，R.Peng，Y.Liu，和I.Perros，SPALS：通过隐式杠杆得分抽样快速交替最小二乘法，摘自《神经信息处理系统进展》29，巴塞罗那，西班牙，2016年，纽约州红钩，Curran Associates，2016，第721-729页，http://papers.nips.cc/paper/6436-spals-fast-alternating-lest-squares-via-implicit-leverage-scores-sampling。 [13] K.L.Clarkson和D.P.Woodruff，输入稀疏时间的低秩近似和回归，《第四十五届ACM计算机理论研讨会论文集》，STOC’13，ACM，纽约，2013年，第81-90页，https://doi.org/10.1145/2488608.2488620。 ·Zbl 1293.65069号 [14] N.Cohen、O.Sharir和A.Shashua，《深度学习的表达能力：张量分析》，《机器学习研究论文集》（PMLR）49，哥伦比亚大学，纽约，2016年，第698-728页。 [15] A.Dasgupta、R.Kumar和T.Sarloás，稀疏Johnson-Lindenstraus变换，摘自STOC'10-2010年ACM国际计算理论研讨会论文集，ACM，纽约，2010年，第341-350页·Zbl 1293.68140号 [16] L.De Lathauwer、B.De Moor和J.Vandewalle，《多重线性奇异值分解》，SIAM J.Matrix Ana。申请。，21（2000），第1253-1278页，https://doi.org/10.1137/S0895479896305696。 ·Zbl 0962.15005号 [17] H.Diao、Z.Song、W.Sun和D.P.Woodruff，《克朗克积回归和P样条曲线草图》，国际人工智能与统计会议，AISTATS，Pro。机器。学习。研究（PMLR），84，2018，第1299-1308页，http://proceedings.mlr.press/v84/diao18a.html。 [18] P.Drineas、M.W.Mahoney和S.Muthukrishnan，《二元回归和应用的采样算法》，《SODA程序》，SIAM，费城，2006年，第1127-1136页·Zbl 1194.62010年 [19] M.A.T.Figueiredo、R.D.Nowak和S.J.Wright，《稀疏重建的梯度投影：压缩传感和其他反问题的应用》，IEEE J.Sel。顶部。信号处理。，1（2007），第586-597页，https://doi.org/10.109/JSTSP.2007.910281。 [20] M.Genzel和C.Kipp，具有次指数数据的广义拉索的一般误差界，预印本，https://arxiv.org/abs/2004.05361, 2020. [21] Y.Gordon，高斯过程和应用的一些不等式，以色列数学杂志。，50（1985），第265-289页，https://doi.org/10.1007/BF02759761。 ·Zbl 0663.60034号 [22] F.Goátze、H.Sambale和A.Sinulis，α-亚指数随机变量多项式的浓度不等式，电子。J.概率。，26（2021），第1-22页，https://doi.org/10.1214/21-EJP606。 ·兹比尔1475.60045 [23] P.D.Hoff，纵向关系数据的多线性张量回归，Ann.Appl。Stat.，9（2015），第1169-1193页，https://doi.org/10.1214/15-AOAS839。 ·Zbl 1454.62481号 [24] R.Jin、T.G.Kolda和R.Ward，《通过Kronecker产品实现快速Johnson-Lindenstraus变换》，《Inf.Inference》（2020），第1aa028页。 [25] W.B.Johnson和J.Lindenstrauss，Lipschitz映射在Hilbert空间中的扩展，现代分析与概率会议，Contemp。数学。26，美国数学学会，普罗维登斯，RI，1984年，第189-206页，https://doi.org/10.1090/conm/026/737400。 ·Zbl 0539.46017号 [26] P.Kar和H.Karnick，点积核的随机特征图，《机器学习研究论文集》（PMLR）22，加那利群岛拉帕尔马，2012年，第583-591页，http://proceedings.mlr.press/v22/kar12.html。 [27] T.G.Kolda和B.W.Bader，张量分解和应用，SIAM Rev.，51（2009），第455-500页，https://doi.org/10.1137/07070111X。 ·Zbl 1173.65029号 [28] K.G.Larsen和J.Nelson，Johnson-Lindenstraus引理的最优性，《2017年IEEE第58届计算机科学基础年会论文集》，IEEE，新泽西州皮斯卡塔韦，2017年，第633-638页，https://doi.org/10.109/FOCS.2017.64。 [29] R.Latała，高斯混沌的矩和尾估计，Ann.Probab。，34（2006），第2315-2331页，https://doi.org/10.1214/00911790600000421。 ·Zbl 1119.60015号 [30] X.Li，J.Haupt和D.Woodruff，低阶张量回归的近最优草图绘制，摘自《神经信息处理系统进展》30，Curran Associates，Red Hook，NY，2017年，第3466-3476页。 [31] O.A.Malik和S.Becker，使用相干和采样参数保证Kronecker快速Johnson-Lindenstraus变换，线性代数应用。，602（2020），第120-137页，https://doi.org/10.1016/j.laa.2020.05.004。 ·Zbl 1444.15009号 [32] M.Meister、T.Sarlos和D.Woodruff，《绘制低阶多项式核的紧降维，神经信息处理系统进展》32，H.Wallach、H.Larochelle、A.Beygelzimer、F.dAlcheíBuc、E.Fox和R.Garnett，eds.，Curran Associates，Red Hook，NY，2019年，第9475-9486页，http://papers.nips.cc/paper/9144-tight-dimensionality-reduction-for-sketching-low-degere-polinomiumn-kernels.pdf。 [33] S.Mendelson、A.Pajor和N.Tomczak-Jaegermann，渐近几何分析中的重构和亚高斯算子，Geom。功能。分析。，17（2007），第1248-1282页，https://doi.org/10.1007/s00039-007-0618-7。 ·Zbl 1163.46008号 [34] X.Meng和M.W.Mahoney，输入-稀疏时间中的低密度子空间嵌入及其在稳健线性回归中的应用，第45届ACM计算理论研讨会论文集，ACM，纽约，2013年，第91-100页，https://doi.org/10.1145/2488608.2488621。 ·兹比尔1293.68150 [35] J.Nocedal和S.Wright，《数值优化》，第二版，Springer Ser。操作。Res.财务。工程师，施普林格，纽约，2006年·Zbl 1104.65059号 [36] G.Ortiz-Jimenez、M.Coutino、S.P.Chepuri和G.Leus，张量反问题的稀疏采样，IEEE Trans。信号处理。，67（2019年），第3272-3286页·Zbl 07123288号 [37] R.Pagh，压缩矩阵乘法，ACM Trans。计算。理论，5（2011），9·Zbl 1348.65077号 [38] N.Pham和R.Pagh，《通过显式特征映射快速可伸缩多项式核》，载于《第19届ACM SIGKDD国际知识发现和数据挖掘会议论文集》，KDD’13，ACM，纽约，2013年，第239-247页，https://doi.org/10.1145/2487575.2487591。 [39] M.Pilanci和M.J.Wainwright，具有严格保证的凸程序的随机草图，IEEE Trans。通知。《理论》，61（2015），第5096-5115页·Zbl 1359.90097号 [40] M.Pilanci和M.J.Wainwright，《迭代Hessian草图：约束最小二乘的快速准确解近似》，J.Mach。学习。研究，17（2016），第1-38页，http://jmlr.org/papers/v17/14-460.html。 ·Zbl 1360.62400号 [41] B.T.Rakhshan和G.Rabusseau，张力随机投影，《机械加工学习研究论文集》（PMLR），1082020年。 [42] V.Rokhlin和M.Tygert，超定线性最小二乘回归的快速随机算法，Proc。美国国家科学院。科学。美国，105（2008），第13212-13217页，https://doi.org/10.1073/pnas.0804869105。 ·Zbl 1513.62144号 [43] M.Rudelson和R.Vershynin，《基于傅里叶和高斯测量的稀疏重建》，Comm.Pure Appl。数学。，61（2008），第1025-1045页，https://doi.org/10.1002/cpa.20227。 ·Zbl 1149.94010号 [44] Y.Sun、Y.Guo、J.A.Tropp和M.Udell，《低记忆维度缩减的张量随机投影》，NIPS基金会NeurIPS关系表征学习研讨会，2018年，https://r2learning.github.io/assets/papers/CameraReadySubmission网站 [45] M.Talagrand，《优化措施：通用链》，Ann.Probab。，24（1996），第1049-1103页，https://doi.org/10.1214/aop/1065725175。 ·Zbl 0867.60017号 [46] M.Talagrand，《一般链：随机过程的上下限》，Springer Monogr。数学。，施普林格，柏林，2005年·Zbl 1075.60001号 [47] R.Tibshirani，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B统计方法。，58（1996），第267-288页，http://www.jstor.org/stable/2346178。 ·兹比尔0850.62538 [48] J.A.Tropp，子样本随机Hadamard变换的改进分析，Adv.Adapt。数据分析。，3（2011），第115-126页，https://doi.org/10.1142/S1793536911000787。 ·Zbl 1232.15029号 [49] R.Vershynin，《高维概率：数据科学应用简介》，剑桥大学出版社，2018年，https://doi.org/10.1017/9781108231596。 ·Zbl 1430.60005号 [50] Vu Vu和J.Lei，平方形式经验过程，统计学。普罗巴伯。莱特。，150（2019），第108-113页，https://doi.org/https://doi.org/10.1016/j.spl.2019.02.008。 ·Zbl 1459.60054号 [51] 伍德拉夫，素描作为数字线性代数的工具，发现。趋势理论。计算。科学。，10（2014），第1-157页，https://doi.org/10.1561/0400000060。 ·Zbl 1316.65046号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。