×

频繁的指导:简单而确定的矩阵草图。 (英语) 兹比尔1348.65075

摘要:我们描述了一种新的算法,称为常见方向用于在row-update模型中绘制确定性矩阵草图。该算法给出了一个任意的输入矩阵(A在mathbb R^{n乘以d}),一次一行。它对每行执行\(O(d\ell)\)操作,并维护一个草图矩阵\(B\in\mathbb R^{\ ell乘d}\),以便对任何\(k<\ell\),\(a^TA-B^TB\|2\leq\|a-a_k\|_F^2/(\ell-k)\)和\(a-\pi_{B_k}(a)\ |_F^2(1+\frac{k}{-k})\ |a-a_ k\|FF^2 \)。这里,\(A_k\)代表所有秩(k)矩阵上\(A-A_k\|_F\)的极小值(类似于\(B_k\。我们证明了这两个边界对于所允许的空间来说都是最好的。摘要是可合并的,因此是可并行的。此外,常见方向在空间-错误权衡方面优于现有流算法的示例实现。本文结合、简化和扩展了E.自由【第19届ACM SIGKDD知识发现和数据挖掘国际会议论文集(2013)】,M.加沙米J.M.菲利普斯【第二十五届ACM-SIAM离散算法年会论文集(2014)】,以及D.P.半月【第27届神经信息处理系统进展年会论文集(2014年)】。

MSC公司:

65楼30 其他矩阵算法(MSC2010)
65层20 超定系统伪逆的数值解
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] P.Absil,A.Edelman和P.Koev,{\it关于随机子空间之间的最大主角},线性代数应用。,414(2006),第288-294页,http://dx.doi.org/10.1016/j.laa.2005.10.004doi:.10.1016/j.laa.2005.10.004·Zbl 1090.15017号
[2] D.Achlioptas,{\it Database-friended random projections},第20届ACM数据库系统原理研讨会论文集,2001年,网址:http://dx.doi.org/10.1016/S0022-0000(03)00025-4网址:10.1016/S0022-0000(03)0.0025-4·Zbl 1054.68040号
[3] D.Achlioptas、Z.S.Karnin和E.Liberty,{数据矩阵的近最优入口取样},《第27届神经信息处理系统年会论文集》,2013年,第1565-1573页。
[4] D.Achlioptas和F.McSherry,{低秩矩阵近似的快速计算},第33届ACM计算理论年会论文集,2001年,http://dx.doi.org/10.1145/1219092.1219097doi:10。1145/1219092.1219097. ·Zbl 1311.94032号
[5] P.K.Agarwal、G.Cormode、Z.Huang、J.M.Phillips、Z.Wei和K.Yi,{可合并摘要},ACM Trans。数据库系统。,38 (2013), 26, http://dx.doi.org/10.1145/2213556.2213562doi:10.1145/2213556.2213562·兹比尔1321.68238
[6] R.Ahlswede和A.Winter,{通过量子信道识别的强逆},IEEE Trans。通知。《理论》,48(2002),第569-579页,http://dx.doi.org/10.1109/18.985947doi:10.1109/18.985947·Zbl 1071.94530号
[7] S.Arora、E.Hazan和S.Kale,《稀疏矩阵的快速随机抽样算法》,摘自《近似、随机化和组合优化》,柏林斯普林格出版社,2006年,第272-279页,http://dx.doi.org/10.1007/11830924_26doi:10.1007/11830924_26·Zbl 1155.68567号
[8] R.Berinde、G.Cormode、P.Indyk和M.J.Strauss,{具有强误差边界的空间优化重击手},载于2009年ACM数据库系统原理研讨会论文集,http://dx.doi.org/10.1145/18862919.18862923doi:10.1145/1862919.1862923。
[9] C.Boutsidis、P.Drineas和M.Magdon-Ismail,{近最优基于列的矩阵重建},第52届IEEE计算机科学基础年会论文集,2011年,http://dx.doi.org/10.1137/12086755Xdoi:10.1137/12086755X·Zbl 1292.65041号
[10] C.Boutsidis、M.W.Mahoney和P.Drineas,{列子集选择问题的改进近似算法},《第二十届ACM-SIAM离散算法研讨会论文集》,2009年,第968-977页,http://dx.doi.org/10.1137/1.9781611973068.105doi:10.1137/1.9781611973068.105·Zbl 1420.68235号
[11] M.Brand,{缺失值不确定数据的增量奇异值分解},《第七届欧洲计算机视觉会议论文集》,2002年,http://dx.doi.org/10.1007/3-540-47969-4_47doi:10.1007/3-540-47969-447·Zbl 1034.68580号
[12] M.Charikar、K.Chen和M.Farach-Colton,{\it在数据流中发现频繁项},《自动化、语言和编程国际会议论文集》,2002年,http://dx.doi.org/10.14778/1454159.1454225doi:10.14778/1454159.1454225·Zbl 1057.68600号
[13] K.L.Clarkson和D.P.Woodruff,{流模型中的数值线性代数},第41届ACM计算理论年会论文集,2009年,http://dx.doi.org/10.1145/1536414.1536445doi:10。1145/1536414.1536445. ·Zbl 1304.65138号
[14] K.L.Clarkson和D.P.Woodruff,{输入稀疏时间的低秩近似和回归},第45届ACM计算理论年会论文集,2013,http://dx.doi.org/10.1145/2488608.2488620doi:10.1145/2488608.2488620·Zbl 1293.65069号
[15] M.B.Cohen、C.Musco和C.Musco.,{低库近似值的岭杠杆得分},预印本,http://arxiv.org/abs/1511.07263arXiv:1511.072632015年·Zbl 1321.68398号
[16] T.M.Cover和J.Thomas,{信息理论的要素},威利,纽约,1991年,http://dx.doi.org/10.1002/047174882Xdoi:10.1002/047174882X·Zbl 0762.94001号
[17] A.Dasgupta、R.Kumar和T.Sarloís,{\it A sparse Johnson-Lindenstraus transform},第42届ACM计算理论研讨会论文集,2010年,http://dx.doi.org/10.1145/1806689.1806737doi:10.1145/1806689.1806737·Zbl 1293.68140号
[18] E.D.Demaine、A.Loípez-Ortiz和J.I.Munro,{有限空间互联网数据包流的频率估计},《欧洲算法研讨会论文集》,2002年,http://dx.doi.org/10.1007/3-540-45749-6-33doi:10.1007/3-540-45749-6_33·Zbl 1019.68502号
[19] A.Deshpande和S.Vempala,{自适应采样和快速低阶矩阵近似},《近似、随机化和组合优化》,施普林格出版社,柏林,2006年,第292-303页,http://dx.doi.org/10.1007/11830924_28doi:10.1007/11830924_28·Zbl 1155.68575号
[20] P.Drineas和R.Kannan,{\it Pass efficient algorithms for approximate large matrix},载《第十四届ACM-SIAM离散算法研讨会论文集》,2003年,第223-232页,ŭlhttp://dl.acm.org/citation.cfm?id=644147。 ·Zbl 1095.68748号
[21] P.Drineas、R.Kannan和M.W.Mahoney,{矩阵的快速蒙特卡罗算法II:计算矩阵的低阶近似},SIAM J.Compute。,36(2006),第158-183页,http://dx.doi.org/10.1137/S0097539704442696doi:10.1137/S0097539704442696·Zbl 1111.68148号
[22] P.Drineas、M.Magdon-Ismail、M.W.Mahoney和D.P.Woodruff,{矩阵相干和统计杠杆的快速近似},J.Mach。学习。Res.,13(2012),第3475-3506页,ŭlhttp://dl.acm.org/citation.cfm?id=2503308.2503352。 ·Zbl 1437.65030号
[23] P.Drineas、M.W.Mahoney和S.Muthukrishnan,{相对误差CUR矩阵分解},SIAM J.矩阵分析。申请。,30(2008),第844-881页,http://dx.doi.org/10.1137/07070471Xdoi:10.1137/07070471X·Zbl 1183.68738号
[24] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloíS,{快速最小二乘近似},数值。数学。,117(2011),第219-249页,http://dx.doi.org/10.1007/s00211-010-0331-6doi:10.1007/s00211-010-0331-6·兹比尔1218.65037
[25] P.Drineas和A.Zouzias,{\it关于通过矩阵值Bernstein不等式进行元素线性矩阵稀疏化的注记},Inform。过程。莱特。,111(2011),第385-389页,http://dx.doi.org/10.1016/j.ipl.2011.01.010doi:10.1016/j.ipl。2011年1月10日·Zbl 1260.68454号
[26] D.Feldman、M.Schmidt和C.Sohler,《将大数据转化为小数据:{均值、主成分分析和投影聚类}的常量核集》,第二十四届ACM-SIAM离散算法年会论文集,2013年,第1434-1453页,http://dx.doi.org/10.1137/1.9781611973105.103doi:10.1137/1.9781611973105.103·Zbl 1421.68219号
[27] A.Frieze、R.Kannan和S.Vempala,{寻找低阶近似的快速蒙特卡罗算法},J.ACM,51(2004),第1025-1041页,http://dx.doi.org/10.1145/1039488.1039494doi:10.145/139488.1039494·Zbl 1125.65005号
[28] M.Ghashami、A.Desai和J.M.Phillips,《保证改进实用矩阵绘制》,第22届算法年度研讨会论文集,2014年,http://dx.doi.org/10.109/TKDE.2016.2539943doi:10.1109/TKDE.2016.2539943·Zbl 1425.68346号
[29] M.Ghashami和J.M.Phillips,{确定性低阶矩阵近似的相对误差},《第二十五届ACM-SIAM离散算法研讨会论文集》,2014年,第707-717页,http://dx.doi.org/10.1137/1.9781611973402.53doi:10.1137/1.9781611973402.53·Zbl 1421.68222号
[30] P.B.Gibbons和Y.Matias,{海量数据集的数据结构概要},第十届ACM-SIAM离散算法年会论文集,1999年·Zbl 0952.68040号
[31] L.Golab、D.DeHaan、E.D.Demaine、A.Lopez-Ortiz和J.I.Munro,{识别在线数据包流滑动窗口中的频繁项目},载于2003年第三届ACM SIGCOMM互联网测量会议论文集,http://dx.doi.org/10.1145/948205.948227doi:10.1145/948205.948227。
[32] G.H.Golub和C.F.Van Loan,《矩阵计算》,第3卷,约翰霍普金斯大学出版社,马里兰州巴尔的摩,2012年·兹比尔1268.65037
[33] P.Hall、D.Marshall和R.Martin,{分类的增量特征分析},《英国机器视觉会议论文集》,1998年,http://dx.doi.org/10.5244/C.12.29doi:10.5244/C.12.29。
[34] D.M.Kane和J.Nelson,{it Sparser Johnson-Lindenstraus transforms},《第二十届ACM-SIAM离散算法研讨会论文集》,2012年,第1195-1206页,http://dx.doi.org/10.1137/1.9781611973099.94doi:10.1137/1.9781611973099.94·兹比尔1295.68134
[35] M.Kapralov和K.Talwar,《关于微分私有低阶近似》,第二十四届ACM-SIAM离散算法研讨会论文集,2013年,第1395-1414页,http://dx.doi.org/10.1137/1.9781611973105.101doi:10.1137/1.9781611973105.101·Zbl 1423.68595号
[36] R.M.Karp、S.Shenker和C.H.Papadimitriou,{一种在流和包中查找频繁元素的简单算法},ACM Trans。数据库系统。,28(2003),第51-55页,http://dx.doi.org/10.1145/762471.762473doi:10。1145/762471.762473。
[37] I.Kremer、N.Nisan和D.Ron,{关于随机单轮通信复杂性},计算。复杂性,8(1999),第21-49页,http://dx.doi.org/10.1007/s000370050018doi:10.1007/s000370050018·Zbl 0942.68059号
[38] E.Kushilevitz和N.Nisan,《通信复杂性》,剑桥大学出版社,英国剑桥,1997年,http://dx.doi.org/10.1017/CBO9780511574948doi:10.1017/CBO9780511574948·Zbl 0869.68048号
[39] A.Levey和M.Lindenbaum,{序列Karhunen-Loeve基提取及其在图像中的应用},IEEE Trans。图像处理。,9(2000),第1371-1374页,http://dx.doi.org/10.109/83.855432doi:10.1109/83.855432·Zbl 1001.68586号
[40] E.Liberty,{简单确定性矩阵绘制},第19届ACM SIGKDD国际知识发现和数据挖掘会议论文集,2013年,http://dx.doi.org/10.1145/2487575.2487623doi:10。1145/2487575.2487623.
[41] E.Liberty、F.Woolfe、P.-G.Martinsson、V.Rokhlin和M.Tygert,《矩阵低阶近似的随机算法》,Proc。国家。阿卡德。科学。美国,104(2007),第20167-20172页,http://dx.doi.org/10.1073/pnas.0709640104doi:10.1073/pnas.0709640104·Zbl 1215.65080号
[42] R.Lidl和H.Niederreiter,《有限域及其应用导论》,剑桥大学出版社,英国剑桥,1986年,http://dx.doi.org/10.1017/CBO9781139172769doi:10.1017/CBO9781139172769·Zbl 0629.12016
[43] A.Metwally、D.Agrawal和A.E.Abbadi,{一种计算数据流中频繁元素和top-k元素的集成高效解决方案},ACM Trans。数据库系统。,31(2006),第1095-1133页,http://dx.doi.org/10.1145/1166074.1166084doi:10.1145/1166074.1166084。
[44] J.Misra和D.Gries,《发现重复元素》,科学。计算。程序。,2(1982),第143-152页,http://dx.doi.org/10.1016/0167-6423(82)90012-0文件标识代码:10.1016/0167-6423(82)900012-0·Zbl 0497.68041号
[45] S.Muthukrishnan,{数据流:算法和应用},发现。趋势理论。计算。科学。,1(2005),第117-236页,http://dx.doi.org/10.1561/0400000002doi:10.1561/0400000002·Zbl 1128.68025号
[46] R.I.Oliveira,{随机厄米矩阵和Rudelson}不等式,电子。Commun公司。概率。,15(2010年),第203-212页,http://dx.doi.org/10.1214/ECP.v15-1544doi:10.1214/ECP.v15-1544·Zbl 1228.60017号
[47] C.H.Papadimitriou、H.Tamaki、P.Raghavan和S.Vempala,《潜在语义索引:概率分析》,载于1998年第17届ACM数据库系统原理研讨会论文集,http://dx.doi.org/10.1006/jcss.2000.1711doi:10.1006/jcss.2000.1711·Zbl 0963.68063号
[48] D.A.Ross、J.Lim、R.-S.Lin和M.-H.Yang,{稳健视觉跟踪的增量学习},国际计算机杂志。视觉。,77(2008),第125-141页,http://dx.doi.org/10.1007/s11263-007-0075-7doi:10.1007/s11263-007-0075-7。
[49] M.Rudelson和R.Vershynin,{从大矩阵中取样:通过几何泛函分析的方法},J.ACM,54(2007),21,http://dx.doi.org/10.1145/1255443.1255449doi:10.1145/1255443.1255449·Zbl 1326.68333号
[50] M.Rudelson和R.Vershynin,{随机矩阵的非症状理论:极端奇异值},《国际数学大会论文集》,2010年,http://dx.doi.org/10.1142/9789814324359_0111doi:10。1142/9789814324359_0111·Zbl 1227.60011号
[51] T.Sarlos,{通过随机投影改进大矩阵近似算法},第47届IEEE计算机科学基础年会论文集,2006,http://dx.doi.org/10.109/FOCS.2006.37doi:10.1109/FOCS.2006.37。
[52] S.S.Vempala,{随机投影法},美国数学学会,普罗维登斯,RI,2004,http://dx.doi.org/10.1145/1189056.1189066doi:10.1145/1189056.1189066·Zbl 1058.68063号
[53] R.Vershynin,{\it Ahlswede-Winter之后独立随机矩阵和的注释},讲义,2009年。
[54] R.Vershynin,{随机矩阵和确定性矩阵乘积的谱范数},Probab。理论相关领域,150(2011),第471-509页,http://dx.doi.org/10.1007/s00440-010-0281-zdoi:10.1007/s00440-010-0281-z·Zbl 1235.60009号
[55] C.Wah、S.Branson、P.Welinder、P.Perona和S.Belongie,《加州理工学院-加州大学可持续发展学院Birds-200-2011数据集》,《计算与神经系统技术报告》,CNS-TR-2011-0012011;可从ŭ在线获取lhttp://www.vision.caltech.edu/visipedia/CUB-200-2011.html。
[56] K.Weinberger、A.Dasgupta、J.Langford、A.Smola和J.Attenberg,{大规模多任务学习的特征散列},第26届国际机器学习年会论文集,2009年,http://dx.doi.org/10.1145/1553374.1553516doi:10.1145/1553374.1553516。
[57] D.P.Woodruff,{行更新流中的低秩近似下限},《第27届神经信息处理系统进展年度会议论文集》,2014年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。