冯月华;肖建伟;顾,明 触发谱释放QR分解及其在奇异值分解中的应用。 (英语) Zbl 1433.65083号 ETNA,电子。事务处理。数字。分析。 51, 469-494 (2019). 摘要:我们提出了Flip-Flop Spectrum-Revelaling QR(Flip-Flot SRQR)因式分解,这是Stewart的QLP因式分解在低秩矩阵近似下的一个显著更快、更可靠的变体。Flip-Flop SRQR使用SRQR分解来初始化部分列透视QR分解,然后计算部分LQ分解。正如Stewart在其最初的QLP作品中所观察到的,Flip-Flop SRQR以“相当逼真”的方式跟踪精确的奇异值。我们给出了触发器SRQR分解的奇异值下界和剩余误差上界。在输入矩阵奇异值衰减相对较快的情况下,Flip-Flop SRQR计算的低阶近似保证与截断SVD一样准确。我们还进行了复杂性分析,表明Flip-Flop SRQR在逼近奇异值分解时比随机化子空间迭代更快,这是Matlab张量工具箱中使用的标准方法。此外,我们还将翻转SRQR与张量近似和核范数最小化两种应用中的备选方案进行了比较,以证明其效率和有效性。 引用于2文件 MSC公司: 65层55 低阶矩阵逼近的数值方法;矩阵压缩 15甲18 特征值、奇异值和特征向量 15A23型 矩阵的因式分解 关键词:QR分解;随机化算法;低阶近似;近似SVD;高阶奇异值分解;核范数最小化 软件:LAPACK公司;ARPACK公司;PROPACK公司;Tensorlab公司;Eigentaste公司;稀疏矩阵;Matlab语言 PDF格式BibTeX公司 XML格式引用 \textit{Y.Feng}等人,ETNA,Electron。事务处理。数字。分析。51、469--494(2019年;Zbl 1433.65083) 全文: 内政部 arXiv公司 链接 参考文献: [1] O.ALTER、P.O.BROWN和。BOTSTEIN,用于全基因组表达数据处理和建模的奇异值分解,Proc。国家。阿卡德。科学。美国,97(2000),第10101-10106页。 [2] E.安德森、Z·拜、C·比肖夫、L·S·布莱克福德、J·德梅尔、J·东加拉、J·杜克鲁兹、A·格林鲍姆、S·哈马林、A·麦克肯尼和d。SORENSEN,LAPACK用户指南,第3版,SIAM,费城,1999年·兹比尔0934.65030 [3] C.A.安德森·安德尔。BRO,提高多路算法的速度:第一部分,塔克3,化学计量学智能。实验室系统。,42(1998年),第93-103页。 [4] M.W.BERRY、S.T.DUMAIS和ANDG。W.O'BRIEN,《使用线性代数进行智能信息检索》,SIAM Rev.,37(1995),第573-595页·Zbl 0842.68026号 [5] C.比斯科夫和。VANLOAN,Householder矩阵乘积的W Y表示,SIAM J.Sci。欧洲电信协会·Zbl 0628.65033号 [6] P.衬套和。H.GOLUB,线性代数手册系列。Householder变换的线性最小二乘解,Numer。数学。,7(1965年),第269-276页·Zbl 0142.11503号 [7] J.-F.CAI、E.J.CANDÈS、ANDZ。SHEN,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页·Zbl 1201.90155号 [8] E.J.CANDÈS、X.LI、Y.MA和ANDJ。正确,稳健的主成分分析?,J.ACM,58(2011),第11条,37页·Zbl 1327.62369号 [9] E.J.坎德和。RECHT,通过凸优化实现精确矩阵补全。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号 [10] J.D.CARROLL和J-J.CHANG,通过“Eckart-Young”分解的N向泛化分析多维标度中的个体差异,《心理测量学》,35(1970),第283-319页·Zbl 0202.19101号 [11] T.A.戴维斯·安迪。HU,佛罗里达大学稀疏矩阵收集,ACM Trans。数学。《软件》,第38页(2011年),第1、25条·Zbl 1365.65123号 [12] L.DELATHAUWER和B。DEMOR,《从矩阵到张量:多线性代数和信号处理》,《信号处理数学IV》,Inst.Math。申请。Conf.序列号。,牛津大学出版社,牛津,1998年,第1-16页。 [13] L.delathawer、B.DEMOOR和j。VANDEWALE,一种多线性奇异值分解,SIAM J.矩阵分析。申请。,21(2000),第1253-1278页·兹比尔0962.15005 [14] ,关于高阶张量的最佳秩-1和秩-(R1,R2,··,RN)近似,SIAM J.Matrix Anal。申请。,21(2000),第1324-1342页·Zbl 0958.15026号 [15] L.DELATHAUWER和J。VANDEWALLE,高阶信号处理中的降维和多线性代数中的秩-(R1,R2,…,RN)降维,线性代数应用。,391(2004),第31-55页·Zbl 1066.94001号 [16] P.DRINEAS、R.KANNAN、ANDM。W.MAHONEY,矩阵的快速蒙特卡罗算法。二、。计算矩阵的低阶近似,SIAM J.Compute。,36(2006),第158-183页·Zbl 1111.68148号 [17] J.A.DUERSCH ANDM公司。GU,带柱旋转的随机QR,SIAM J.Sci。计算。,39(2017年),第C263-C291页·Zbl 1371.65026号 [18] C.爱卡和。杨,一个矩阵与另一个低阶矩阵的近似,《心理测量学》,1(1936),第211-218页。 [19] L.ELDéN,数据挖掘和模式识别中的矩阵方法,SIAM,费城,2007年·Zbl 1120.68092号 [20] M.FAZEL、H.HINDI和ANDS。P.BOYD,矩阵秩最小化的对数集启发式算法及其在Hankel和Euclidean距离矩阵中的应用,《2003年美国控制会议论文集》,2003年,IEEE会议论文集,IEEE,Piscataway,第2156-2162页。 [21] M.FAZEL、T.K.PONG、D.SUN和ANDP。TSENG,Hankel矩阵秩最小化及其在系统识别和实现中的应用,SIAM J.矩阵分析。申请。,34(2013),第946-977页·Zbl 1302.90127号 [22] C.弗兰克·安德。NÙTH,《利用人脸模板优化特征脸以进行面部表情识别》,载于《图像和模式的计算机分析》,N.Petkov和M.A.Westenberg编辑,第2756卷,《计算机课堂讲稿》。科学。,柏林施普林格出版社,2003年,第646-654页。 [23] G.W.FURNAS、S.DEERWESTER、S.T.DUMAIS、T.K.LANDAUER、R.A.HARSHMAN、L.A.STREETER、ANDK。E.LOCHBAUM,《使用潜在语义结构的奇异值分解模型进行信息检索》,载于《第十一届国际ACM SIGIR信息检索研究与开发会议论文集》,Y.Chiaramella主编,ACM,纽约,1988年,第465-480页。 [24] K.GOLDBERG、T.ROEDER、D.GUPTA和ANDC。佩金斯,《Eigentaste:恒定时间协同过滤算法》,《信息检索》,4(2001),第133-151页·Zbl 0989.68052号 [25] G.GOLUB,解线性最小二乘问题的数值方法,数值。数学。,7(1965),第206-216页·Zbl 0142.11502号 [26] G.H.GOLUB ANDC公司。F.VANLOAN,《矩阵计算》,第4版,约翰·霍普金斯大学出版社,巴尔的摩,2013年·Zbl 1268.65037号 [27] M.GU,子空间迭代随机化和奇异值问题,SIAM J.Sci。计算。,37(2015),第A1139-A1173页·Zbl 1328.65088号 [28] M.GU ANDS先生。C.EISENSTAT,计算强秩揭示QR分解的高效算法,SIAM J.Sci。计算。,17(1996),第848-869页·Zbl 0858.65044号 [29] E.T.HALE、W.YIN和ANDY。张,l1-极小化的定点延拓:方法论与收敛性,SIAM J.Optim。,19(2008),第1107-1130页·Zbl 1180.65076号 [30] N.HALKO、P.G.MARTINSSON、ANDJ。A.TROPP,《发现随机性结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号 [31] R.A.HARSHMAN,PARAFAC程序的基础:“解释性”多模态因子分析的模型和条件,加州大学洛杉矶分校语音学工作论文,16(1970),第1-84页。 [32] J.L.HERLOCKER、J.A.KONSTAN、A.BORCHERS和ANDJ。RIEDL,一种用于执行协同过滤的算法框架,载于《第22届国际ACM SIGIR信息检索研究与开发会议论文集》,F.Gey,M.Heaast,and R.Tong,eds.,ACM,New [33] R.A.HORN和。R.JOHNSON,《矩阵分析专题》,剑桥大学出版社,剑桥,1991年·Zbl 0729.15001号 [34] D.A.哈克比和。F.CHAN,关于逼近奇异值分解的Stewart QLP算法的收敛性,Numer。《算法》,32(2003),第287-316页·Zbl 1035.65034号 [35] ,Stewart的低秩矩阵的枢轴QLP分解,Numer。线性代数应用。,12(2005),第153-159页·Zbl 1164.65372号 [36] W.B.约翰逊和。LINDENSTRAUSS,《Lipschitz映射到Hilbert空间的扩展》,载于《现代分析与概率会议》(康涅狄格州纽黑文,1982年),R.Beals,a.Beck,a.Bellow和a.Hajian,eds.,Contemp第26卷。数学。,阿默尔。数学。《社会学杂志》,普罗维登斯,1984年,第189-206页·Zbl 0539.46017号 [37] I.T.JOLLIFFE,主成分分析,施普林格,纽约,1986年·Zbl 1011.62064号 [38] J.M.KLEINBERG,超链接环境中的权威来源,J.ACM,46(1999),第604-632页·Zbl 1065.68660号 [39] T.G.KOLDA,正交张量分解,SIAM J.矩阵分析。申请。,23(2001),第243-255页·Zbl 1005.15020号 [40] 例如KOLDA和b。W.BADER,张量分解与应用,SIAM Rev.,51(2009),第455-500页·Zbl 1173.65029号 [41] R.M.LARSEN,用于大型和稀疏SVD计算的PROPACK软件,可在http://sun.stanford.edu/rmunk/PROPACK(网址:http://sun.stanford.edu/rmunk/PROPACK)。 [42] 《Lanczos双对角化与部分重方化》,《技术报告》,PB-537,奥胡斯大学计算机科学系,丹麦奥胡斯,1998年。 [43] Y.LECUN、L.BOTTOU、Y.BENGIO和ANDP。HAFFNER,梯度学习在文档识别中的应用,Proc。IEEE,86(1998),第2278-2324页。 [44] R.B.LEHOUCQ、D.C.SORENSEN、ANDC。杨,ARPACK用户指南:用隐式重启Arnoldi方法解决大规模特征值问题,SIAM,费城,1998年·Zbl 0901.65021号 [45] Z.LIN、M.CHEN和ANDY。MA,精确恢复受损低秩矩阵的增广拉格朗日乘子法,arXiv上的预印,https://arxiv.org/abs/1009.5055, 2010. [46] N.LINIAL、E.LONDON、ANDY。RABINOVICH,图的几何及其算法应用,组合数学,15(1995),第215-245页·Zbl 0827.05021号 [47] Z.LIU、A.HANSSON、ANDL。VANDENBERGHE,缺失输入和输出的核规范系统识别,系统控制函。,62(2013),第605-612页·Zbl 1279.93040号 [48] Z.刘安洛。VANDENBERGHE,核范数逼近的内点方法及其在系统辨识中的应用,SIAM J.矩阵分析。申请。,31(2009),第1235-1256页·Zbl 1201.90151号 [49] S.MA、D.GOLDFARB、ANDL。CHEN,矩阵秩最小化的不动点和Bregman迭代方法,数学。程序。,128(2011),第321-353页·Zbl 1221.65146号 [50] C.B.MELGAARD,《数值线性代数中的随机旋转和谱水平边界》,加州大学伯克利分校博士论文,2015年。 [51] M.MESBAHI ANDG先生。P.PAPAVASSILOPOULOS,关于半正定线性矩阵不等式上的秩最小化问题,IEEE Trans。自动化。控制,42(1997),第239-243页·Zbl 0872.93029号 [52] N.MULLER、L.MAGAIA和ANDB。M.HERBST,奇异值分解、特征面和3D重建,SIAM Rev.,46(2004),第518-545页·Zbl 1061.65033号 [53] 纳瓦里亚·安德鲁。LIN,基于SVD的图像和视频质量度量,使用机器学习,IEEE Trans。Syst“Man,and Cybernetics,Part B(控制论),42(2012),第347-364页。 [54] T.-H.OH、Y.MATSUSHITA、Y.-W.TAI、ANDI。SOKWEON,用于核范数最小化的快速随机奇异值阈值,载于2015年IEEE计算机视觉和模式识别会议论文集,IEEE会议论文集,IEEE,洛斯阿拉米托斯,2015,第4484-4493页。 [55] G.五分之一到四分之一,X.太阳,和c。H.BISCHOF,带列旋转的QR因式分解的BLAS-3版本,SIAM J.Sci。计算。,19(1998年),第1486-1494页·Zbl 0912.65034号 [56] B.RECHT、M.FAZEL和ANDP。A.PARRILO,通过核范数最小化保证线性矩阵方程的最小秩解,SIAM Rev.,52(2010),第471-501页·Zbl 1198.90321号 [57] J·D·伦尼·安。SREBRO,《协作预测的快速最大边际矩阵分解》,载《第22届国际机器学习会议论文集》,L.De Raedt和S.Wrobel主编,美国计算机学会出版社,纽约,2005年,第713-719页。 [58] V.ROKHLIN、A.SZLAM、ANDM。TYGERT,《主成分分析的随机算法》,SIAM J.Matrix Ana。申请。,31(2009),第1100-1124页·Zbl 1198.65035号 [59] A.K.SAIBABA,HOID:基于塔克表示的张量高阶插值分解,SIAM J.矩阵分析。申请。,37(2016),第1223-1249页·Zbl 1347.65079号 [60] B.萨瓦斯·安德尔。ELDéN,使用高阶奇异值分解的手写数字分类,模式识别,40(2007),第993-1003页·Zbl 1119.68188号 [61] R.SCHRIEBER ANDC公司。VANLOAN,Householder转换产品的存储效率W Y表示,SIAM J.Sci。统计师。计算。,10(1989年),第53-57页·Zbl 0664.65025号 [62] A.沙舒和。HAZAN,《非负张量因式分解及其在统计和计算机视觉中的应用》,载于《第22届国际机器学习会议论文集》,S.Dzeroski、L.De Raedt和S.Wrobel编辑,美国计算机学会,纽约,2005年,第792-799页。 [63] N.D.SIDIROPOULOS、R.BRO和ANDG。B.GIANNAKIS,传感器阵列处理中的并行因子分析,IEEE Trans。《信号处理》,48(2000),第2377-2388页。 [64] D.C.索伦森·安德姆。EMBREE,DEIM诱导的CUR因子分解,SIAM J.Sci。计算。,38(2016),第A1454-A1482页·Zbl 1382.65121号 [65] N.SREBRO、J.RENNIE和ANDT。S.JAAKKOLA,最大边缘矩阵因式分解,摘自NIPS’04《第17届神经信息处理系统国际会议论文集》,L.K.Saul、Y.Weiss和L.Bottou编辑,麻省理工学院出版社,剑桥,2004年,第1329-1336页。 [66] G.W.STEWART,奇异值分解的QLP近似,SIAM J.Sci。计算。,20(1999),第1336-1348页·兹伯利0939.65062 [67] S.TAHERI、Q.QIU和ANDR。CHELLPPA,用于面部表情分析的结构保持稀疏分解,IEEE Trans。图像处理。,23(2014),第3590-3603页·Zbl 1374.94364号 [68] K.-C.托赫和。YUN,核范数正则化线性最小二乘问题的加速近似梯度算法,Pac。J.Optim。,6(2010年),第615-640页·Zbl 1205.90218号 [69] L.N.TREFETHEN和。BAUIII,《数值线性代数》,SIAM,费城,1997年·Zbl 0874.65013号 [70] L.R.TUCKER,《关于三模式因子分析的一些数学注释》,《心理测量学》,31(1966),第279-311页。 [71] N.Vannieuwenhowen、R.VANDEBRIL、ANDK。MEERBERGEN,高阶奇异值分解的一种新截断策略,SIAM J.Sci。计算。,34(2012年),第A1027-A1052页·Zbl 1247.65055号 [72] M.A.O.VASILESCU和。TERZOPOULOS,《图像集合的多线性分析:张量脸》,2002年欧洲计算机视觉会议,A.Heyden、G.Spar、M.Nielsen和P.Johansen主编,《计算机科学讲义》第2350卷,柏林斯普林格出版社,2002年,第447-460页·Zbl 1034.68693号 [73] N.VERVLIET、O.DEBALS、L.SORBER、M.V.BAREL、ANDL。DELATHAUWER,Tensorlab用户指南,可用网址://www.tensorlab.net。 [74] J.小安。GU,核心方法的谱分辨Cholesky因子分解,摘自《第16届IEEE国际数据挖掘会议(ICDM)论文集》,IEEE会议论文集,Los Alamitos,2016年,第1293-1298页。 [75] 小杰、顾先生、安杰。LANGOU,用于可靠低秩矩阵近似的快速并行随机QR与列旋转算法,载于《第24届IEEE高性能计算国际会议论文集》,IEEE会议论文集,洛斯阿拉米托斯,2017年,第233-242页。 [76] T.ZHANG ANDG(张安杰)。H.GOLUB,高阶张量的秩一近似,SIAM J.矩阵分析。申请。,23(2001),第534-550页·Zbl 1001.65036号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。