×

提高快速矩阵乘法的数值稳定性。 (英语) Zbl 1348.65080号

摘要:矩阵乘法的快速算法,即那些比经典算法执行的标量运算渐近更少的算法,被认为主要具有理论意义。除了Strassen的原始算法外,很少有快速算法被有效地实现或用于实际应用。然而,斯特拉森算法有许多实用的替代方案,其性能和数值特性各不相同。众所周知,快速算法在数值上是稳定的,但由于其误差边界比经典算法略弱,因此即使在提供性能优势的情况下也不使用它们。在本文中,我们认为快速算法的数值牺牲,特别是对于实际算法的典型用例,并不是禁止的,并且我们探索了从理论和经验上提高准确性的方法。快速矩阵乘法的数值精度取决于算法和输入矩阵的特性,我们分别考虑了这两种贡献。我们推广并加强了以往对快速算法的错误分析,并比较了它们的性能。我们从两个角度讨论了改进误差保证的算法技术:操作算法和通过各种形式的对角线缩放减少输入异常。最后,我们对性能进行了基准测试,并展示了我们改进的数值精度。

MSC公司:

65层35 矩阵范数、条件、缩放的数值计算
65克50 舍入误差
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] G.Ballard、J.Demmel、O.Holtz、B.Lipshitz和O.Schwartz,{斯特拉森矩阵乘法的通信优化并行算法},第24届ACM算法与架构并行性研讨会论文集,ACM,纽约,2012年,第193-204页,http://dx.doi.org/10.1145/2312005.2312044doi:10.1145/2312005.2312044·Zbl 1385.68057号
[2] G.Ballard、J.Demmel、O.Holtz和O.Schwartz,《快速矩阵乘法的图扩展和通信成本:定期提交》,发表在第23届美国计算机学会算法与体系结构并行性研讨会论文集上,美国计算机学会,纽约,2011年,第1-12页,http://doi.acm.org/10.1145/1989493.1989495doi:10.1145/1989493.1989495·Zbl 1281.68241号
[3] A.R.Benson和G.Ballard,{实用并行快速矩阵乘法框架},《第20届ACM SIGPLAN并行编程原理与实践研讨会论文集》,ACM,纽约,2015年,第42-53页,http://dx.doi.org/10.1145/2688500.2688513doi:10.1145/2688500.2688513。
[4] D.Bini和G.Lotti,{矩阵乘法快速算法的稳定性},数值。数学。,36(1980),第63-72页,http://dx.doi.org/10.1007/BF01395989doi:10.1007/BF01395989·Zbl 0431.65024号
[5] M.Bla¨ser,{论小格式矩阵乘法的复杂性},《复杂性杂志》,19(2003),第43-60页,http://dx.doi.org/10.1016/S0885-064X(02)00007-9网址:10.1016/S0885-064X(02)000007-9·Zbl 1026.68062号
[6] R.P.Brent,{\it矩阵乘法算法},技术报告,斯坦福大学,加利福尼亚州斯坦福,1970年·Zbl 0193.11902号
[7] R.P.Brent,{\it使用Winograd恒等式的矩阵乘法和三角分解算法的误差分析},Numer。数学。,16(1970年),第145-156页,http://dx.doi.org/10.1007/BF02308867doi:10.1007/BF02308867·Zbl 0193.11902号
[8] R.R.Castrapel和J.L.Gustafson,{斯特拉森/温诺格拉德矩阵乘法的精度改进方法},美国专利7209939,2007年4月24日,http://www.google.com/patents/US7209939。
[9] P.D’Alberto,{《Strassen-Winograd算法的更好精度》(FastMMW)},《高级线性代数矩阵理论》,4(2014),第9-39页,http://dx.doi.org/10.4236/alamt.2014.41002doi:10.4236/alamt.20144.41002。
[10] L.De Moura和N.Björner,{\it Z3:一个有效的SMT求解器},摘自《系统构建和分析的工具和算法》,《计算讲义》。科学。4963,施普林格,柏林,2008年,第337-340页,http://link.springer.com/chapter/10.1007
[11] J.Demmel、I.Dumitriu和O.Holtz,{快速线性代数是稳定的},Numer。数学。,108(2007),第59-91页,http://dx.doi.org/10.1007/s00211-007-0114-xdoi:10.1007/s00211-007-0114-x·Zbl 1133.65015号
[12] J.Demmel、I.Dumitriu、O.Holtz和R.Kleinberg,{快速矩阵乘法是稳定的},Numer。数学。,106(2007),第199-224页,http://dx.doi.org/10.1007/s00211-007-0061-6doi:10.1007/s00211-007-0061-6·Zbl 1134.65030号
[13] B.Dumitrescu,改进和估计Strassen算法的准确性,Numer。数学。,79(1998),第485-499页,http://dx.doi.org/10.1007/s002110050348doi:10.1007/s002110050348·Zbl 0911.65034号
[14] F.Le Gall,{张量的幂与快速矩阵乘法},第39届符号与代数计算国际研讨会论文集,美国计算机学会,纽约,2014年,第296-303页,http://dx.doi.org/10.1145/2608628.2608664doi:10.1145/2608628.2608664·Zbl 1325.65061号
[15] H.V.Henderson和S.R.Searle,《vec-置换矩阵、vec算子和Kronecker积:综述》,《线性多线性代数》,9(1981),第271-288页,http://dx.doi.org/101080/0308108817379doi:10.1080/0308108810817379·Zbl 0458.15006号
[16] N.J.Higham,{数值算法的准确性和稳定性},SIAM,费城,2002,http://dx.doi.org/10.1137/1.9780898718027doi:10.1137/1.9780898718027·Zbl 1011.65010号
[17] R.W.Johnson和A.M.McLoughlin,{(3×3)矩阵乘法的非交换双线性算法},SIAM J.Compute。,15(1986)第595-603页,http://dx.doi.org/10.1137/0215043doi:10.1137/0215043·Zbl 0622.68037号
[18] I.Kaporin,{\it快速矩阵乘法的实用算法},Numer。线性代数应用。,6(1999),第687-700页·Zbl 0982.65048号
[19] I.Kaporin,{\it作为快速矩阵乘法实用工具的聚集和抵消技术},Theoret。计算。科学。,315(2004),第469-510页,http://dx.doi.org/10.1016/j.tcs.2004.01.004doi:10.1016/j.tcs.2004.01.004·Zbl 1057.65020号
[20] J.Laderman,V.Pan,和X.-H.Sha,{关于加速矩阵乘法的实用算法},线性代数应用。,162-164(1992),第557-588页,http://dx.doi.org/10.1016/0024-3795(92)90393-O代码:10.1016/0024-3795(92)90 393-O·Zbl 0748.65043号
[21] J.W.Landsberg,{矩阵乘法秩的新下界},SIAM J.Compute。,43(2014),第144-149页,http://dx.doi.org/10.1137/120880276doi:10.1137/120880276·兹比尔1298.68100
[22] B.Lipshitz、G.Ballard、J.Demmel和O.Schwartz,{通信-避免并行Strassen:实现和性能},《高性能计算、网络、存储和分析国际会议论文集》,IEEE出版社,新泽西州皮斯卡塔韦,2012年,第1-11页,http://dx.doi.org/10.109/SC.2012.33doi:10.1109/SC.2012.33。
[23] W.Miller,{计算复杂性和数值稳定性},SIAM J.Comput。,4(1975年),第97-107页,http://dx.doi.org/10.1137/0204009doi:10.1137/0204009·Zbl 0303.65028号
[24] A.V.Smirnov,{矩阵乘法的双线性复杂性和实用算法},计算。数学。数学。物理。,53(2013),第1781-1795页,http://link.springer.com/article/10.1134/S0965542513120129doi:10.1134/S0965542513120129·Zbl 1313.65094号
[25] V.Strassen,{高斯消去不是最优},Numer。数学。,13(1969年),第354-356页,http://dx.doi.org/10.1007/BF02165411doi:10.1007/BF02165411·Zbl 0185.40101号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。