×

使用任意数量视图的低秩矩阵近似的高效通过随机化算法。 (英语) Zbl 1437.65029号

摘要:本文描述了低秩矩阵近似的实用随机算法,该算法能够适应矩阵视图数的任何预算。所提出的算法旨在根据需要提高通过效率,扩展和改进了针对高效低秩重建的常用随机算法。首先,提出了一种更灵活的子空间迭代算法,它适用于任何视图(v\geq 2),而不是只允许偶数(v)。其次,我们提出了更通用、更精确的单程算法。特别是,我们提出了一种更精确的内存效率高的单程方法和一种更通用的单程算法,与以前的方法不同,它不需要先验信息来确保接近峰值的性能。第三,结合子空间和单程算法的思想,我们提出了一种效率更高的随机块Krylov算法,与子空间或先前研究的块Krylo v方法相比,该算法可以使用更少的视图来达到所需的精度。然而,所提出的精度增强的块Krylov方法仅限于每次访问几列或几行的大型矩阵。此外,还建议在估计矩阵的左右奇异子空间或估计正规矩阵(如反问题中出现的矩阵)时,如何应用子空间和块Krylov算法。通过计算实验验证了所提算法的适用性和有效性。

MSC公司:

65层55 低阶矩阵逼近的数值方法;矩阵压缩
65英尺15英寸 矩阵特征值和特征向量的数值计算
68瓦20 随机算法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] H.Avron、P.Maymounkov和S.Toledo,Blendenpik:超级充电LAPACK的最小二乘解算器,SIAM J.科学。计算。,32(2010年),第1217-1236页,https://doi.org/10.1137/090767911。 ·Zbl 1213.65069号
[2] E.K.Bjarkason、O.J.Maclaren、J.P.O'Sullivan和M.J.O'Sullivan,地热自然状态和历史匹配的随机截断SVD Levenberg-Marquardt方法《水资源研究》,54(2018),第2376-2404页。
[3] C.Boutsidis、D.P.Woodruff和P.Zhong,分布式和流模型中的最优主成分分析,在程序中。第48届美国计算机学会计算理论年会,马萨诸塞州剑桥,2016年,第236-249页·Zbl 1381.62140号
[4] H.M.Buöcker、G.Corliss、P.Hovland、U.Naumann和B.Norris编辑。,自动区分:应用、理论和实现,计算机课堂讲稿。科学。Eng.50,Springer-Verlag,2006年·Zbl 1084.65002号
[5] T.Bui-Thanh、C.Burstedde、O.Ghattas、J.Martin、G.Stadler和L.C.Wilcox,偏微分方程控制的贝叶斯反问题的极值尺度UQ,在程序中。高性能计算、网络、存储和分析国际会议,犹他州盐湖城,2012年,第1-11页。
[6] J.Carrera、A.Alcolea、A.Medina、J.Hidalgo和L.J.Slooten,水文地质学中的反问题《水文地质学杂志》,13(2005),第206-222页。
[7] K.L.Clarkson和D.P.Woodruff,输入稀疏时间的低秩逼近与回归,J.ACM,63(2017),54·Zbl 1426.65057号
[8] M.B.Cohen、S.Elder、C.Musco、C.Mu斯科和M.Persu,k-means聚类和低秩近似的降维,在Proc。第47届美国计算机学会计算理论年会,俄勒冈州波特兰,2015年,第163-172页·Zbl 1321.68398号
[9] T.Cui、K.J.Law和Y.M.Marzouk,独立于维度的类似知情MCMC,J.计算。物理。,304(2016),第109-137页·Zbl 1349.65009号
[10] T.Cui、J.Martin、Y.M.Marzouk、A.Solonen和A.Spantini,非线性反问题的似然信息降维,《反问题》,30(2014),114015·Zbl 1310.62030
[11] P.Drineas、I.C.F.Ipsen、E.M.Kontopoulou和M.Magdon Ismail,块Krylov空间中优势子空间逼近的结构收敛结果,预打印,https://arxiv.org/abs/1609.00671v2, 2017. ·Zbl 1390.15027号
[12] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.SarloáS,更快的最小二乘近似,数字。数学。,117(2010),第219-249页·Zbl 1218.65037号
[13] N.B.Erichson、A.Mendible、S.Wihlborn和J.N.Kutz,随机非负矩阵分解,模式识别Lett。,104(2018),第1-7页。
[14] N.B.Erichson、S.Voronin、S.L.Brunton和J.N.Kutz,使用R的随机矩阵分解,J.Statist。软质。,89(2019),第1-48页。
[15] A.Gittens和M.W.Mahoney,重温改进大规模机器学习的Nystro¨m方法,J.马赫。学习。决议,17(2016),第1-65页·Zbl 1367.68223号
[16] R.M.Gower和P.Richtaárik,线性系统的随机迭代方法,SIAM J.矩阵分析。申请。,36(2015),第1660-1690页,https://doi.org/10.1137/15M1025487。 ·Zbl 1342.65110号
[17] A.Griewank和A.Walther,评估导数:算法微分的原理和技术,第二版,SIAM,2008,https://doi.org/10.1137/1.9780898717761。 ·Zbl 1159.65026号
[18] 顾先生,子空间迭代随机化与奇异值问题,SIAM J.科学。计算。,37(2015),第A1139-A1173页,https://doi.org/10.1137/10938700。 ·Zbl 1328.65088号
[19] N.Halko、P.-G.Martinsson、Y.Shkolnisky和M.Tygert,大数据集的主成分分析算法,SIAM J.科学。计算。,33(2011),第2580-2594页,https://doi.org/10.1137/100804139。 ·Zbl 1232.65058号
[20] N.Halko、P.-G.Martinsson和J.A.Tropp,寻找随机结构:构造近似矩阵分解的概率算法SIAM Rev.,53(2011),第217-288页,https://doi.org/10.1137/090771806。 ·Zbl 1269.65043号
[21] M.Hinze、R.Pinnau、M.Ulbrich和S.Ulbrich,基于PDE约束的优化,数学。模型。理论应用。23,Springer,2009年·Zbl 1167.49001号
[22] H.Li、G.C.Linderman、A.Szlam、K.P.Stanton、Y.Kluger和M.Tygert,算法971:用于主成分分析的随机算法的实现,ACM变速器。数学。软质。,43 (2017), 28. ·Zbl 1391.65085号
[23] E.Liberty、F.Woolfe、P.-G.Martinsson、V.Rokhlin和M.Tygert,矩阵低阶逼近的随机化算法,程序。国家。阿卡德。科学。美国,104(2007),第20167-20172页·Zbl 1215.65080号
[24] M.W.Mahoney,矩阵和数据的随机算法,找到。趋势马赫数。学习。,3(2011年),第123-224页·Zbl 1232.68173号
[25] P.-G.Martinsson,矩阵计算和高维数据分析的随机方法,预打印,https://arxiv.org/abs/1607.01649v1, 2016.
[26] P.-G.Martinsson、G.Quintana-Ortiá和N.Heavner,randUTV:一种用于计算秩揭示UTV因子分解的分块随机算法,预打印,https://arxiv.org/abs/1703.00998, 2017. ·Zbl 1471.65031号
[27] P.-G.Martinsson、V.Rokhlin和M.Tygert,矩阵逼近的一种随机化算法,技术报告YALEU/DCS/RR-1361,耶鲁大学计算机科学系,康涅狄格州纽黑文,2006年·Zbl 1087.65025号
[28] P.-G.Martinsson、V.Rokhlin和M.Tygert,矩阵分解的随机算法,申请。计算。哈蒙。分析。,30(2011),第47-68页·Zbl 1210.65095号
[29] P.-G.Martinsson、A.Szlam和M.Tygert,奇异值分解计算的归一化幂迭代,《神经和信息处理系统(NIPS)大型机器学习低秩方法研讨会论文集》,加拿大温哥华,2011年,http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.683.7657。
[30] P.-G.Martinsson和S.Voronin,一种有效计算矩阵秩揭示因子分解的随机分块算法,SIAM J.科学。计算。,38(2016),第S485-S507页,https://doi.org/10.1137/15M1026080。 ·Zbl 1352.65095号
[31] X.Meng、M.A.Saunders和M.W.Mahoney,LSRN:强过定或欠定系统的并行迭代求解器,SIAM J.科学。计算。,36(2014),第C95-C118页,https://doi.org/10.1137/120866580。 ·Zbl 1298.65053号
[32] C.马斯科和C.马斯科,更强更快近似奇异值分解的随机块Krylov方法《神经信息处理系统进展》28,C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett编辑,Curran Associates,Inc.,2015年,第1396-1404页。
[33] D.S.Oliver、A.C.Reynolds和N.Liu,油藏描述反演理论与历史拟合,剑桥大学出版社,英国剑桥,2008年。
[34] M.J.O'Sullivan、K.Pruess和M.J.Lippmann,地热储层模拟技术现状《地热学》,30(2001),第395-429页。
[35] N.Petra、J.Martin、G.Stadler和O.Ghattas,无限维贝叶斯反问题的计算框架,第二部分:随机牛顿MCMC及其在冰盖流动反问题中的应用,SIAM J.科学。计算。,36(2014),第A1525-A1555页,https://doi.org/10.1137/10934805。 ·兹比尔1303.35110
[36] J.R.P.罗德里格斯,计算导数以进行自动历史匹配,计算。地质科学。,10(2006年),第119-136页·Zbl 1096.65054号
[37] V.Rokhlin、A.Szlam和M.Tygert,一种用于主成分分析的随机算法,SIAM J.矩阵分析。申请。,31(2009),第1100-1124页,https://doi.org/10.1137/080736417。 ·Zbl 1198.65035号
[38] V.Rokhlin和M.Tygert,超定线性最小二乘回归的一种快速随机算法,程序。国家。阿卡德。科学。美国,105(2008),第13212-13217页·兹比尔1513.62144
[39] A.K.Saibaba,随机子空间迭代分析:正则角和酉不变范数,预打印,https://arxiv.org/abs/1804.02614, 2018.
[40] T.Sarloás,基于随机投影的大矩阵逼近算法的改进,在程序中。第47届IEEE计算机科学基础年会,加州伯克利,2006年,第143-152页。
[41] M.G.Shirangi,使用有效的TSVD参数化算法进行历史匹配生产数据和不确定性评估,J.Petrol。科学。Eng.,113(2014),第54-71页。
[42] M.G.Shirangi和A.A.Emerick,一种改进的基于TSVD的Levenberg-Marquardt历史匹配算法及其与Gauss-Newton的比较,J.Petrol。科学。《工程师》,143(2016),第258-271页。
[43] R.Tavakoli和A.C.Reynolds,基于无量纲灵敏度矩阵奇异值分解的参数化历史匹配《石油工程师协会期刊》,第15卷(2010年),第495-508页。
[44] R.Tavakoli和A.C.Reynolds,RML与EnKF中基于SVD参数化的渗透率场蒙特卡罗模拟和储层动态预测,计算。地质科学。,15(2011年),第99-116页·Zbl 1209.86014号
[45] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher,流数据中正-仲烯矩阵的固定秩近似,在程序中。第31届神经信息处理系统国际会议,加利福尼亚州长滩,2017年,第1225-1234页。
[46] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher,低阶矩阵逼近的实用草图绘制算法,SIAM J.矩阵分析。申请。,38(2017),第1454-1485页,https://doi.org/10.1137/17M1111590。 ·Zbl 1379.65026号
[47] J.A.Tropp、A.Yurtsever、M.Udell和V.Cevher,更实用的低秩矩阵逼近草图算法《ACM报告2018-01》,加州帕萨迪纳加州理工学院,2018年·兹比尔1379.65026
[48] J.Upadhyay,流模型中的快速空间最优低秩因子分解及其在差分隐私中的应用,预打印,https://arxiv.org/abs/1604.01429v1, 2016.
[49] C.R.Vogel和J.G.Wade,大规模反问题的改进Levenberg-Marquardt算法《计算与控制III》,Birkha¨用户波士顿,马萨诸塞州波士顿,1993年,第367-378页·Zbl 0820.93002号
[50] C.R.Vogel和J.G.Wade,基于迭代SVD的不适定问题求解方法,SIAM J.科学。计算。,15(1994年),第736-754页·Zbl 0802.65070号
[51] S.沃罗宁和P.-G.马丁森,RSVDPACK:在多核和GPU体系结构上计算矩阵奇异值、插值和CUR分解的随机算法的实现,预打印,https://arxiv.org/abs/1502.05366v3, 2016.
[52] S.Voronin、D.Mikesell和G.Nolet,大规模反问题线性系统正则解的压缩方法国际数学杂志。,6(2015),第251-294页·Zbl 1338.65110号
[53] S.Wang、L.Luo和Z.Zhang,SPSD矩阵近似与列选择:理论、算法和扩展,J.马赫。学习。决议,17(2016),第1-49页·Zbl 1360.65130号
[54] D.P.半月,草图作为数值线性代数的工具,找到。趋势理论。计算。科学。,10(2014),第1-157页·Zbl 1316.65046号
[55] F.Woolfe、E.Liberty、V.Rokhlin和M.Tygert,矩阵逼近的快速随机化算法,申请。计算。哈蒙。分析。,25(2008),第335-366页·Zbl 1155.65035号
[56] H.Xiang和J.Zou,大规模离散反问题的随机奇异值分解正则化《反问题》,29(2013),085008·Zbl 1286.65053号
[57] 于伟、顾毅、李钧、刘绍和李毅,大型高维数据的单程主成分分析,在程序中。第26届国际人工智能联合会议(IJCAI-17),澳大利亚墨尔本,2017年,第3350-3356页。
[58] 于伟、顾毅和李毅,固定精度低秩矩阵逼近的高效随机算法,SIAM J.矩阵分析。申请。,39(2018),第1339-1359页·Zbl 1405.65063号
[59] A.Yurtsever、M.Udell、J.A.Tropp和V.Cevher,草图决策:具有最优存储的凸低秩矩阵优化,在程序中。第20届国际人工智能与统计大会,2017年·Zbl 1379.65026号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。