×
江汉斯;亚利桑那州乔杜里

一种提高增量奇异值分解效率和精度的新方法。 （英语） Zbl 1526.65012号

电子。J.线性代数 39, 355-378 (2023).
摘要：奇异值分解（SVD）在机器学习中得到了广泛的应用。它是数据分析的基础，为许多数据挖掘技术提供了数学基础。最近，对增量SVD的兴趣一直在上升，因为它非常适合流数据。本文提出了一种新的增量奇异值分解算法，旨在提高计算效率和准确性。更具体地说，我们提出的算法利用了SVD模型更新中涉及到的箭头矩阵和对角线plus-rank-one矩阵的特殊结构来加快更新过程。此外，由于奇异值是独立计算的，因此该方法易于并行化。此外，如本文所示，增加秩可以在更新过程中获得更准确的奇异值。来自合成数据集和实际数据集的实验结果表明，在更新过程中提高了效率和准确性。

MSC公司：

2015财年65 矩阵特征值和特征向量的数值计算
15甲18 特征值、奇异值和特征向量
15A23型 矩阵的因式分解
68瓦27 在线算法；流式算法

关键词：

奇异值分解;在线学习;主成分分析;矩阵分解

软件：

UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{H.Jiang}和\textit{A.Chaudhuri}，电子。J.线性代数39，355——378（2023；Zbl 1526.65012）
全文： DOI程序 链接

参考文献：

[1] C.G.Baker、K.A.Gallivan和P.Van Dooren。计算优势奇异子空间的低秩增量方法。线性代数应用。，436(8):2866-2888, 2012. ·Zbl 1241.65036号
[2] L.Balzano和S.J.Wright。松鸡和增量SVD。2013年，第五届IEEE多传感器自适应处理（CAMSAP）计算进展国际研讨会。IEEE，2013年4月4日。
[3] M.W.Berry和J.Kogan。文本挖掘：应用与理论。威利在线图书馆，2010年。
[4] M.W.Berry、S.T.Dumais和G.W.O'Brien。使用线性代数进行智能信息检索。SIAM版本，37（4）：573-5951995·Zbl 0842.68026号
[5] J.A.Blackard和D.J.Dean。人工神经网络和判别分析在从制图变量预测森林覆盖类型方面的准确性比较。计算。电子。农业。，24 (3):131-151, 1999.
[6] M.品牌。具有缺失值的不确定数据的增量奇异值分解。欧洲计算机视觉会议。斯普林格，707-7202002年·Zbl 1034.68580号
[7] M.品牌。轻量级推荐系统的快速在线SVD修订。2003年SIAM数据挖掘国际会议论文集。SIAM，37-462003年。
[8] M.品牌。薄奇异值分解的快速低阶修改。线性代数应用。，415(1):20-30, 2006. ·Zbl 1088.65037号
[9] J.R.Bunch和C.P.Nielsen。更新奇异值分解。数字。数学。，31(2):111-129, 1978. ·兹比尔0421.65028
[10] L.Cao、M.Wei、D.Yang和E.A.Rundensteiner。大型数据集上的在线离群值搜索。第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集，89-982015。
[11] Y.Chahlaoui、K.Gallivan和P.Van Dooren。优势奇异子空间的递归计算。SIAM J.矩阵分析。申请。，25(2):445-463, 2003. ·兹比尔1051.65047
[12] D.Chapman和A.Jain。UCI机器学习库，1994年。http://archive.ics.uci.edu/ml。
[13] Y.Cheng、J.Zhu和X.Lin。一种用于动态网络中变化点检测的增强增量SVD算法。IEEE接入，6:75442-754511018。
[14] T.-J.Chin、K.Schindler和D.Suter。用于图像集人脸识别的增量内核SVD。第七届自动人脸和手势识别国际会议（FGR06）。IEEE，461-4662006年。
[15] D.Dua和C.Graff。UCI机器学习库，2017年。http://archive.ics.uci.edu/ml。
[16] J.Feng、H.Xu和S.Yan。基于随机优化的在线鲁棒PCA。神经信息处理系统进展。Citeser，404-4122013年。
[17] G.H.Golub和C.F.Van Loan。矩阵计算，第3卷。JHU出版社，2013年·Zbl 1268.65037号
[18] M.Gu和S.C.Eisenstat。对称特征问题秩一修正的一种稳定有效的算法。SIAM J.矩阵分析。申请。，15(4):1266-1276, 1994. ·Zbl 0807.65029号
[19] M.Heath、K.Bowyer、D.Kopans、P.Kegelmeyer、R.Moore、K.Chang和S.Munishkumaran。筛查乳房X射线照相数字数据库的现状。InDigital乳房X光摄影。施普林格，457-4601998年。
[20] S.Hettich和S.D.Bay。UCI KDD档案。欧文：加利福尼亚大学。信息与计算机科学系，1999年。http://kdd.ics.uci.edu。
[21] D.霍恩和I.阿克塞尔。截断SVD空间中微阵列表达数据的新聚类算法。生物信息学，19（9）：1110-11152003。
[22] M.A.Iwen和B.W.Ong。用于大型网络上聚集数据分析的分布式增量SVD算法。SIAM J.矩阵分析。申请。，37(4):1699-1718, 2016. ·兹伯利1349.15041
[23] 姜浩、王浩、胡伟、卡克德和乔杜里。基于高斯核的快速增量SVDD学习算法。《AAAI人工智能会议记录》，第33卷。人工智能促进协会，3991-39982019年。
[24] Y.Li。关于增量和鲁棒子空间学习。模式识别。，37(7):1509-1518, 2004. ·Zbl 1070.68591号
[25] C.D.梅耶。矩阵分析与应用线性代数，第71卷。SIAM，2000年·Zbl 0962.15001号
[26] C.D.梅耶。请给我的更新排名。《美国数学月刊》，125（1）：61-642018·Zbl 1400.15003号
[27] D.P.O'Leary和G.W.Stewart。计算对称箭头矩阵的特征值和特征向量。J.计算机。物理。，90(2):497-505, 1990. ·Zbl 0716.65033号
[28] K.K.Patel、S.M.Patel等，《物联网：定义、特征、架构、使能技术、应用和未来挑战》。国际工程科学杂志。计算。，6(5), 2016.
[29] C.邱和J.Chou。基于奇异值分解的四维数据同化方法：理论方面。理论。申请。气候。，83(1-4):51-57, 2006.
[30] S.Rayana。ODDS图书馆，2016年。http://odds.cs.stonybrook.edu。
[31] P.Rodriguez和B.Wohlberg。视频背景建模的增量主成分追踪。数学杂志。图像。视觉。，55(1):1-18, 2016. ·Zbl 1334.68284号
[32] B.Sarwar、G.Karypis、J.Konstan和J.Riedl。高扩展推荐系统的增量奇异值分解算法。第五届国际计算机和信息科学会议，第1卷。Citeser，27-282002年。
[33] A.斯里尼瓦桑。UCI机器学习知识库，1993年。http://archive.ics.uci.edu/ml。
[34] P.姿态。关于奇异值分解的有效更新。InPAMM：《应用数学与力学学报》，第8卷。威利在线图书馆，10827-108282008·兹比尔1398.65035
[35] G.W.斯图尔特。奇异值分解的摄动理论。技术报告，1998年。
[36] N.J.Stor、I.Slapni’a car和J.L.Barlow。对角矩阵秩一修正的前向稳定特征值分解。线性代数应用。，487:301-315, 2015. ·Zbl 1325.65053号
[37] N.J.Stor、I.Slapni’a car和J.L.Barlow。实对称箭头矩阵的精确特征值分解及其应用。线性代数应用。，464:62-89, 2015. ·Zbl 1302.65087号
[38] N.Vaswani、T.Bouwmans、S.Javed和P.Narayanamurthy。稳健子空间学习：稳健主成分分析、稳健子空间跟踪和稳健子空间恢复。IEEE标准。过程。Mag.，35（4）：32-552018年。
[39] J.H.威尔金森。代数特征值问题。牛津大学出版社，1988年·Zbl 0626.65029号
[40] K.S.Woods、C.C.Doss、K.W.Bowyer、J.L.Solka、C.E.Priebe和W.P.Kegelmeyer Jr.乳腺造影微钙化检测的模式识别技术比较评估。国际J.Patt。认可。Artif公司。整数。，7(06):1417-1436, 1993.
[41] K.Yang和C.Shahabi。基于主成分分析的多元时间序列相似性度量。第二届ACM多媒体数据库国际研讨会论文集。ACM，65-742004年。
[42] H.Zha和H.D.Simon。潜在语义索引中的更新问题。SIAM J.科学。计算。，21(2):782-791, 1999. ·Zbl 0952.65034号
[43] Z.Zhang和H.Zha。列分割矩阵截断奇异值分解的结构和扰动分析。SIAM J.矩阵分析。申请。，22(4):1245-1262, 2001. ·兹伯利0982.65041
[44] X.Zhou、J.He、G.Huang和Y.Zhang。基于SVD的推荐系统增量方法。J.计算。系统。科学。，81(4):717-733, 2015 ·兹比尔1320.68158
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。