×

用于大规模数据降维的增量正则最小二乘法。 (英语) Zbl 1338.65093号

摘要:在过去几十年中,大规模增量数据分析受到了广泛关注,研究人员面临着增量获取的大量高维数据。在这种情况下,每当有新的样本出现时,传统算法都会从头开始计算结果,效率很低。为了解决这个问题,我们提出了一种新的增量算法增量正则最小二乘法(IRLS),该算法增量计算右侧多列正则最小二乘法问题的解。更具体地说,对于右侧有\(c \)(\(c>1 \))列的RLS问题,我们更新了其唯一解决方案,即每当新样本到达时,我们都用右侧的一列来解决RLS问题。作为IRLS的直接应用,我们考虑了大规模数据的有监督降维,并重点研究了线性判别分析(LDA)。我们首先提出了一个与RLS问题密切相关的新的批处理LDA模型,然后应用IRLS开发了一个新的增量LDA算法。在真实数据集上的实验结果证明了我们算法的有效性和效率。

MSC公司:

65层10 线性系统的迭代数值方法
65层22 数值线性代数中的不适定性和正则化问题
65层50 稀疏矩阵的计算方法
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] T.Anderson,《多元统计分析导论》,第3版,Wiley,Hoboken,NJ,2003年·兹比尔1039.62044
[2] H.Avron、P.Maymounkov和S.Toledo,《Blendenpik:增压LAPACK的最小二乘解算器》,SIAM J.Sci。计算。,32(2010年),第1217-1236页·Zbl 1213.65069号
[3] M.Baboulin、L.Giraud、S.Gratton和J.Langou,《求解增量密集最小二乘问题的并行工具》,《空间大地测量应用》,J.算法计算。技术。,31(2009),第117-131页·Zbl 1226.65029号
[4] D.P.Bertsekas,{增量最小二乘法和扩展卡尔曼滤波},SIAM J.Optim。,6(1996),第807-822页·Zbl 0945.93026号
[5] M.Blondel,K.Seki,和K.Uehara,{大规模稀疏多类分类的块坐标下降算法},Mach。学习。,93(2013),第31-52页·Zbl 1293.68216号
[6] C.Burges,《降维:导游》,Found。趋势马赫数。学习。,2(2009年),第275-365页·Zbl 1211.68126号
[7] D.Cai,X.He,和J.Han,{it SRDA:大规模判别分析的有效算法},IEEE Trans。知识数据工程,20(2008),第1-12页。
[8] A.Cassioli、A.Chiavaioli、C.Manes和M.Sciandrone,《大规模线性分类的增量最小二乘算法》,欧洲期刊Oper。研究,224(2013),第560-565页·Zbl 1292.90198号
[9] N.Cesa-Bianchi,{正则最小二乘在模式分类中的应用},理论。计算。科学。,382(2007),第221-231页·Zbl 1127.68095号
[10] 程伟伟,朱德忠,廖立中,王晓霞,{正则化正交线性判别分析},模式识别。,45(2012),第2719-2732页·Zbl 1236.62067号
[11] D.Chu和S.T.Goh,{关于欠采样问题的一种新的快速正交线性判别分析},SIAM J.Sci。计算。,32(2010年),第2274-2297页·Zbl 1215.93024号
[12] D.Chu、S.T.Goh和Y.S.Hung,{\it欠采样不相关线性判别分析问题所有解的表征},SIAM J.矩阵分析。申请。,32(2011年),第820-844页·Zbl 1229.62084号
[13] D.Chu,L.-Z.Liao,M.K.Ng,X.Wang,{增量线性判别分析:一种新的快速算法和比较},IEEE Trans。神经网络。学习。系统。,26(2015),第2716-2735页。
[14] M.Dredze、K.Crammer和F.Pereira,{置信加权线性分类},《第25届机器学习国际会议论文集》,国际机器学习学会,麦迪逊,2008年,第264-271页·Zbl 1432.68382号
[15] R.Duda、P.Hart和D.Stork,《模式分类》,Wiley,纽约,2000年·Zbl 0968.68140号
[16] D.C.-L.Fong和M.Saunders,《LSMR:稀疏最小二乘问题的迭代算法》,SIAM J.Sci。计算。,33(2011年),第2950-2971页·Zbl 1232.65052号
[17] J.Friedman,{正则化判别分析},J.Amer。统计师。协会,84(1989),第165-175页。
[18] G.Golub和C.Van Loan,《矩阵计算》,第三版,约翰霍普金斯大学出版社,马里兰州巴尔的摩,1996年·Zbl 0865.65009号
[19] T.Hastie、R.Tibshirani和J.Friedman,《统计学习的要素:数据挖掘、推断和预测》,第二版,纽约斯普林格出版社,2009年·Zbl 1273.62005年
[20] P.Howland,M.Jeon,and H.Park,{基于广义奇异值分解的聚类文本数据保结构降维},SIAM J.Matrix Anal。申请。,25(2003),第165-179页·Zbl 1061.68135号
[21] T.Kim、B.Stenger、J.Kittler和R.Cipolla,{使用足够生成集的增量线性判别分析及其应用},《国际计算杂志》。视觉。,91(2011),第216-232页·Zbl 1235.68272号
[22] T.Kim、S.Wong、B.Stenger、J.Kittler和R.Cipolla,《使用充分生成集近似的增量线性判别分析》,载于《IEEE计算机视觉和模式识别会议论文集》,IEEE,新泽西州皮斯卡塔韦,2007年,第1-8页。
[23] F.la Torre,《元件分析的最小二乘框架》,IEEE Trans。模式分析。马赫。智力。,34(2012),第1041-1055页。
[24] L.Liu,Y.Jiang,Z.Zhou,{最小二乘增量线性判别分析},第九届IEEE数据挖掘国际会议论文集,IEEE,新泽西州皮斯卡塔韦,2009年,第298-306页。
[25] X.Meng,M.A.Saunders和M.W.Mahoney,{它是LSRN:强超定或欠定系统的并行迭代求解器},SIAM J.Sci。计算。,36(2014年),第C95-C118页·Zbl 1298.65053号
[26] C.Paige和M.Saunders,《稀疏线性方程组和稀疏最小二乘算法》,ACM Trans。数学。《软件》,8(1982),第43-71页·Zbl 0478.65016号
[27] S.Pang、S.Ozawa和N.Kasabov,{数据流分类的增量线性判别分析},IEEE Trans。系统。人类网络。A、 35(2005),第905-914页。
[28] C.H.Park和H.Park,{线性判别分析与广义最小平方误差解之间的关系},SIAM J.矩阵分析。申请。,27(2005),第474-492页·Zbl 1101.65009号
[29] R.Polikar、L.Udpa和V.Honavar,《学习++:监督神经网络的增量学习算法》,IEEE Trans。系统。人类网络。C、 31(2001),第497-508页。
[30] B.S.和A.Smola,《用内核学习:支持向量机、正则化、优化和超越》,麻省理工学院出版社,马萨诸塞州剑桥,2002年。
[31] C.Saunders、A.Gammerman和V.Vovk,《对偶变量中的岭回归学习算法》,载于《第15届国际机器学习会议论文集》,Morgan Kaufmann,旧金山,1998年,第515-521页。
[32] A.Tikhonov和V.Arsenin,《病态问题的解决方案》,V.H.Winston&Sons,华盛顿特区,1977年·Zbl 0354.65028号
[33] TREC,{\t文本检索会议},http://trec.nist.gov (1999).
[34] V.Vovk,{竞争性在线线性回归},《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,1998年,第364-370页。
[35] Ye,{欠采样问题广义判别分析算法族的特征},J.Mach。学习。Res.,6(2005),第483-502页·Zbl 1222.62081号
[36] J.Ye,{最小二乘线性判别分析},《第24届国际机器学习会议论文集》,国际机器学习学会,威斯康星州麦迪逊,2007年,第1087-1094页。
[37] J.Ye,Q.Li,H.Xiong,H.Park,R.Janardan,and V.Kumar,{it IDR/QR:通过QR分解的增量降维算法},IEEE Trans。知识数据工程,17(2005),第1208-1222页。
[38] J.Ye,T.Xiong,Q.Li,R.Janardan,J.Bi,V.Cherkasky,C.Kambhamettu,{正则化线性判别分析的有效模型选择},载《第十五届ACM信息与知识管理国际会议论文集》,ACM,纽约,2006年,第532-539页。
[39] Z.Zhang,G.Dai,C.Xu,和M.Jordan,{it正则化判别分析,岭回归和超越},J.Mach。学习。Res.,11(2010),第2199-2228页·Zbl 1242.62067号
[40] 赵浩,袁平,{人脸识别的增量式线性判别分析},IEEE Trans。系统。人类网络。B、 38(2008),第210-221页。
[41] A.Zouzias和N.M.Freris,{随机扩展Kaczmarz解最小二乘},SIAM J.矩阵分析。申请。,34(2013),第773-793页·Zbl 1273.65053号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。