×

触发谱释放QR分解及其在奇异值分解中的应用。 (英语) Zbl 1433.65083号

摘要:我们提出了Flip-Flop Spectrum-Revelaling QR(Flip-Flot SRQR)因式分解,这是Stewart的QLP因式分解在低秩矩阵近似下的一个显著更快、更可靠的变体。Flip-Flop SRQR使用SRQR分解来初始化部分列透视QR分解,然后计算部分LQ分解。正如Stewart在其最初的QLP作品中所观察到的,Flip-Flop SRQR以“相当逼真”的方式跟踪精确的奇异值。我们给出了触发器SRQR分解的奇异值下界和剩余误差上界。在输入矩阵奇异值衰减相对较快的情况下,Flip-Flop SRQR计算的低阶近似保证与截断SVD一样准确。我们还进行了复杂性分析,表明Flip-Flop SRQR在逼近奇异值分解时比随机化子空间迭代更快,这是Matlab张量工具箱中使用的标准方法。此外,我们还将翻转SRQR与张量近似和核范数最小化两种应用中的备选方案进行了比较,以证明其效率和有效性。

MSC公司:

65层55 低阶矩阵逼近的数值方法;矩阵压缩
15甲18 特征值、奇异值和特征向量
15A23型 矩阵的因式分解
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] O.ALTER、P.O.BROWN和。BOTSTEIN,用于全基因组表达数据处理和建模的奇异值分解,Proc。国家。阿卡德。科学。美国,97(2000),第10101-10106页。
[2] E.安德森、Z·拜、C·比肖夫、L·S·布莱克福德、J·德梅尔、J·东加拉、J·杜克鲁兹、A·格林鲍姆、S·哈马林、A·麦克肯尼和d。SORENSEN,LAPACK用户指南,第3版,SIAM,费城,1999年·兹比尔0934.65030
[3] C.A.安德森·安德尔。BRO,提高多路算法的速度:第一部分,塔克3,化学计量学智能。实验室系统。,42(1998年),第93-103页。
[4] M.W.BERRY、S.T.DUMAIS和ANDG。W.O'BRIEN,《使用线性代数进行智能信息检索》,SIAM Rev.,37(1995),第573-595页·Zbl 0842.68026号
[5] C.比斯科夫和。VANLOAN,Householder矩阵乘积的W Y表示,SIAM J.Sci。欧洲电信协会·Zbl 0628.65033号
[6] P.衬套和。H.GOLUB,线性代数手册系列。Householder变换的线性最小二乘解,Numer。数学。,7(1965年),第269-276页·Zbl 0142.11503号
[7] J.-F.CAI、E.J.CANDÈS、ANDZ。SHEN,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页·Zbl 1201.90155号
[8] E.J.CANDÈS、X.LI、Y.MA和ANDJ。正确,稳健的主成分分析?,J.ACM,58(2011),第11条,37页·Zbl 1327.62369号
[9] E.J.坎德和。RECHT,通过凸优化实现精确矩阵补全。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号
[10] J.D.CARROLL和J-J.CHANG,通过“Eckart-Young”分解的N向泛化分析多维标度中的个体差异,《心理测量学》,35(1970),第283-319页·Zbl 0202.19101号
[11] T.A.戴维斯·安迪。HU,佛罗里达大学稀疏矩阵收集,ACM Trans。数学。《软件》,第38页(2011年),第1、25条·Zbl 1365.65123号
[12] L.DELATHAUWER和B。DEMOR,《从矩阵到张量:多线性代数和信号处理》,《信号处理数学IV》,Inst.Math。申请。Conf.序列号。,牛津大学出版社,牛津,1998年,第1-16页。
[13] L.delathawer、B.DEMOOR和j。VANDEWALE,一种多线性奇异值分解,SIAM J.矩阵分析。申请。,21(2000),第1253-1278页·兹比尔0962.15005
[14] ,关于高阶张量的最佳秩-1和秩-(R1,R2,··,RN)近似,SIAM J.Matrix Anal。申请。,21(2000),第1324-1342页·Zbl 0958.15026号
[15] L.DELATHAUWER和J。VANDEWALLE,高阶信号处理中的降维和多线性代数中的秩-(R1,R2,…,RN)降维,线性代数应用。,391(2004),第31-55页·Zbl 1066.94001号
[16] P.DRINEAS、R.KANNAN、ANDM。W.MAHONEY,矩阵的快速蒙特卡罗算法。二、。计算矩阵的低阶近似,SIAM J.Compute。,36(2006),第158-183页·Zbl 1111.68148号
[17] J.A.DUERSCH ANDM公司。GU,带柱旋转的随机QR,SIAM J.Sci。计算。,39(2017年),第C263-C291页·Zbl 1371.65026号
[18] C.爱卡和。杨,一个矩阵与另一个低阶矩阵的近似,《心理测量学》,1(1936),第211-218页。
[19] L.ELDéN,数据挖掘和模式识别中的矩阵方法,SIAM,费城,2007年·Zbl 1120.68092号
[20] M.FAZEL、H.HINDI和ANDS。P.BOYD,矩阵秩最小化的对数集启发式算法及其在Hankel和Euclidean距离矩阵中的应用,《2003年美国控制会议论文集》,2003年,IEEE会议论文集,IEEE,Piscataway,第2156-2162页。
[21] M.FAZEL、T.K.PONG、D.SUN和ANDP。TSENG,Hankel矩阵秩最小化及其在系统识别和实现中的应用,SIAM J.矩阵分析。申请。,34(2013),第946-977页·Zbl 1302.90127号
[22] C.弗兰克·安德。NÙTH,《利用人脸模板优化特征脸以进行面部表情识别》,载于《图像和模式的计算机分析》,N.Petkov和M.A.Westenberg编辑,第2756卷,《计算机课堂讲稿》。科学。,柏林施普林格出版社,2003年,第646-654页。
[23] G.W.FURNAS、S.DEERWESTER、S.T.DUMAIS、T.K.LANDAUER、R.A.HARSHMAN、L.A.STREETER、ANDK。E.LOCHBAUM,《使用潜在语义结构的奇异值分解模型进行信息检索》,载于《第十一届国际ACM SIGIR信息检索研究与开发会议论文集》,Y.Chiaramella主编,ACM,纽约,1988年,第465-480页。
[24] K.GOLDBERG、T.ROEDER、D.GUPTA和ANDC。佩金斯,《Eigentaste:恒定时间协同过滤算法》,《信息检索》,4(2001),第133-151页·Zbl 0989.68052号
[25] G.GOLUB,解线性最小二乘问题的数值方法,数值。数学。,7(1965),第206-216页·Zbl 0142.11502号
[26] G.H.GOLUB ANDC公司。F.VANLOAN,《矩阵计算》,第4版,约翰·霍普金斯大学出版社,巴尔的摩,2013年·Zbl 1268.65037号
[27] M.GU,子空间迭代随机化和奇异值问题,SIAM J.Sci。计算。,37(2015),第A1139-A1173页·Zbl 1328.65088号
[28] M.GU ANDS先生。C.EISENSTAT,计算强秩揭示QR分解的高效算法,SIAM J.Sci。计算。,17(1996),第848-869页·Zbl 0858.65044号
[29] E.T.HALE、W.YIN和ANDY。张,l1-极小化的定点延拓:方法论与收敛性,SIAM J.Optim。,19(2008),第1107-1130页·Zbl 1180.65076号
[30] N.HALKO、P.G.MARTINSSON、ANDJ。A.TROPP,《发现随机性结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号
[31] R.A.HARSHMAN,PARAFAC程序的基础:“解释性”多模态因子分析的模型和条件,加州大学洛杉矶分校语音学工作论文,16(1970),第1-84页。
[32] J.L.HERLOCKER、J.A.KONSTAN、A.BORCHERS和ANDJ。RIEDL,一种用于执行协同过滤的算法框架,载于《第22届国际ACM SIGIR信息检索研究与开发会议论文集》,F.Gey,M.Heaast,and R.Tong,eds.,ACM,New
[33] R.A.HORN和。R.JOHNSON,《矩阵分析专题》,剑桥大学出版社,剑桥,1991年·Zbl 0729.15001号
[34] D.A.哈克比和。F.CHAN,关于逼近奇异值分解的Stewart QLP算法的收敛性,Numer。《算法》,32(2003),第287-316页·Zbl 1035.65034号
[35] ,Stewart的低秩矩阵的枢轴QLP分解,Numer。线性代数应用。,12(2005),第153-159页·Zbl 1164.65372号
[36] W.B.约翰逊和。LINDENSTRAUSS,《Lipschitz映射到Hilbert空间的扩展》,载于《现代分析与概率会议》(康涅狄格州纽黑文,1982年),R.Beals,a.Beck,a.Bellow和a.Hajian,eds.,Contemp第26卷。数学。,阿默尔。数学。《社会学杂志》,普罗维登斯,1984年,第189-206页·Zbl 0539.46017号
[37] I.T.JOLLIFFE,主成分分析,施普林格,纽约,1986年·Zbl 1011.62064号
[38] J.M.KLEINBERG,超链接环境中的权威来源,J.ACM,46(1999),第604-632页·Zbl 1065.68660号
[39] T.G.KOLDA,正交张量分解,SIAM J.矩阵分析。申请。,23(2001),第243-255页·Zbl 1005.15020号
[40] 例如KOLDA和b。W.BADER,张量分解与应用,SIAM Rev.,51(2009),第455-500页·Zbl 1173.65029号
[41] R.M.LARSEN,用于大型和稀疏SVD计算的PROPACK软件,可在http://sun.stanford.edu/rmunk/PROPACK(网址:http://sun.stanford.edu/rmunk/PROPACK)。
[42] 《Lanczos双对角化与部分重方化》,《技术报告》,PB-537,奥胡斯大学计算机科学系,丹麦奥胡斯,1998年。
[43] Y.LECUN、L.BOTTOU、Y.BENGIO和ANDP。HAFFNER,梯度学习在文档识别中的应用,Proc。IEEE,86(1998),第2278-2324页。
[44] R.B.LEHOUCQ、D.C.SORENSEN、ANDC。杨,ARPACK用户指南:用隐式重启Arnoldi方法解决大规模特征值问题,SIAM,费城,1998年·Zbl 0901.65021号
[45] Z.LIN、M.CHEN和ANDY。MA,精确恢复受损低秩矩阵的增广拉格朗日乘子法,arXiv上的预印,https://arxiv.org/abs/1009.5055, 2010.
[46] N.LINIAL、E.LONDON、ANDY。RABINOVICH,图的几何及其算法应用,组合数学,15(1995),第215-245页·Zbl 0827.05021号
[47] Z.LIU、A.HANSSON、ANDL。VANDENBERGHE,缺失输入和输出的核规范系统识别,系统控制函。,62(2013),第605-612页·Zbl 1279.93040号
[48] Z.刘安洛。VANDENBERGHE,核范数逼近的内点方法及其在系统辨识中的应用,SIAM J.矩阵分析。申请。,31(2009),第1235-1256页·Zbl 1201.90151号
[49] S.MA、D.GOLDFARB、ANDL。CHEN,矩阵秩最小化的不动点和Bregman迭代方法,数学。程序。,128(2011),第321-353页·Zbl 1221.65146号
[50] C.B.MELGAARD,《数值线性代数中的随机旋转和谱水平边界》,加州大学伯克利分校博士论文,2015年。
[51] M.MESBAHI ANDG先生。P.PAPAVASSILOPOULOS,关于半正定线性矩阵不等式上的秩最小化问题,IEEE Trans。自动化。控制,42(1997),第239-243页·Zbl 0872.93029号
[52] N.MULLER、L.MAGAIA和ANDB。M.HERBST,奇异值分解、特征面和3D重建,SIAM Rev.,46(2004),第518-545页·Zbl 1061.65033号
[53] 纳瓦里亚·安德鲁。LIN,基于SVD的图像和视频质量度量,使用机器学习,IEEE Trans。Syst“Man,and Cybernetics,Part B(控制论),42(2012),第347-364页。
[54] T.-H.OH、Y.MATSUSHITA、Y.-W.TAI、ANDI。SOKWEON,用于核范数最小化的快速随机奇异值阈值,载于2015年IEEE计算机视觉和模式识别会议论文集,IEEE会议论文集,IEEE,洛斯阿拉米托斯,2015,第4484-4493页。
[55] G.五分之一到四分之一,X.太阳,和c。H.BISCHOF,带列旋转的QR因式分解的BLAS-3版本,SIAM J.Sci。计算。,19(1998年),第1486-1494页·Zbl 0912.65034号
[56] B.RECHT、M.FAZEL和ANDP。A.PARRILO,通过核范数最小化保证线性矩阵方程的最小秩解,SIAM Rev.,52(2010),第471-501页·Zbl 1198.90321号
[57] J·D·伦尼·安。SREBRO,《协作预测的快速最大边际矩阵分解》,载《第22届国际机器学习会议论文集》,L.De Raedt和S.Wrobel主编,美国计算机学会出版社,纽约,2005年,第713-719页。
[58] V.ROKHLIN、A.SZLAM、ANDM。TYGERT,《主成分分析的随机算法》,SIAM J.Matrix Ana。申请。,31(2009),第1100-1124页·Zbl 1198.65035号
[59] A.K.SAIBABA,HOID:基于塔克表示的张量高阶插值分解,SIAM J.矩阵分析。申请。,37(2016),第1223-1249页·Zbl 1347.65079号
[60] B.萨瓦斯·安德尔。ELDéN,使用高阶奇异值分解的手写数字分类,模式识别,40(2007),第993-1003页·Zbl 1119.68188号
[61] R.SCHRIEBER ANDC公司。VANLOAN,Householder转换产品的存储效率W Y表示,SIAM J.Sci。统计师。计算。,10(1989年),第53-57页·Zbl 0664.65025号
[62] A.沙舒和。HAZAN,《非负张量因式分解及其在统计和计算机视觉中的应用》,载于《第22届国际机器学习会议论文集》,S.Dzeroski、L.De Raedt和S.Wrobel编辑,美国计算机学会,纽约,2005年,第792-799页。
[63] N.D.SIDIROPOULOS、R.BRO和ANDG。B.GIANNAKIS,传感器阵列处理中的并行因子分析,IEEE Trans。《信号处理》,48(2000),第2377-2388页。
[64] D.C.索伦森·安德姆。EMBREE,DEIM诱导的CUR因子分解,SIAM J.Sci。计算。,38(2016),第A1454-A1482页·Zbl 1382.65121号
[65] N.SREBRO、J.RENNIE和ANDT。S.JAAKKOLA,最大边缘矩阵因式分解,摘自NIPS’04《第17届神经信息处理系统国际会议论文集》,L.K.Saul、Y.Weiss和L.Bottou编辑,麻省理工学院出版社,剑桥,2004年,第1329-1336页。
[66] G.W.STEWART,奇异值分解的QLP近似,SIAM J.Sci。计算。,20(1999),第1336-1348页·兹伯利0939.65062
[67] S.TAHERI、Q.QIU和ANDR。CHELLPPA,用于面部表情分析的结构保持稀疏分解,IEEE Trans。图像处理。,23(2014),第3590-3603页·Zbl 1374.94364号
[68] K.-C.托赫和。YUN,核范数正则化线性最小二乘问题的加速近似梯度算法,Pac。J.Optim。,6(2010年),第615-640页·Zbl 1205.90218号
[69] L.N.TREFETHEN和。BAUIII,《数值线性代数》,SIAM,费城,1997年·Zbl 0874.65013号
[70] L.R.TUCKER,《关于三模式因子分析的一些数学注释》,《心理测量学》,31(1966),第279-311页。
[71] N.Vannieuwenhowen、R.VANDEBRIL、ANDK。MEERBERGEN,高阶奇异值分解的一种新截断策略,SIAM J.Sci。计算。,34(2012年),第A1027-A1052页·Zbl 1247.65055号
[72] M.A.O.VASILESCU和。TERZOPOULOS,《图像集合的多线性分析:张量脸》,2002年欧洲计算机视觉会议,A.Heyden、G.Spar、M.Nielsen和P.Johansen主编,《计算机科学讲义》第2350卷,柏林斯普林格出版社,2002年,第447-460页·Zbl 1034.68693号
[73] N.VERVLIET、O.DEBALS、L.SORBER、M.V.BAREL、ANDL。DELATHAUWER,Tensorlab用户指南,可用网址://www.tensorlab.net。
[74] J.小安。GU,核心方法的谱分辨Cholesky因子分解,摘自《第16届IEEE国际数据挖掘会议(ICDM)论文集》,IEEE会议论文集,Los Alamitos,2016年,第1293-1298页。
[75] 小杰、顾先生、安杰。LANGOU,用于可靠低秩矩阵近似的快速并行随机QR与列旋转算法,载于《第24届IEEE高性能计算国际会议论文集》,IEEE会议论文集,洛斯阿拉米托斯,2017年,第233-242页。
[76] T.ZHANG ANDG(张安杰)。H.GOLUB,高阶张量的秩一近似,SIAM J.矩阵分析。申请。,23(2001),第534-550页·Zbl 1001.65036号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。