×

将流形学习假设为对称对角占优线性系统的快速算法。 (英语) Zbl 1376.94008号

总结:我们提出了一种快速流形学习算法,通过构造一个新的线性约束来替换拉普拉斯特征映射中的加权正交约束;一种流行的流形学习算法。因此,我们将二次约束二次优化问题转化为一个更简单的公式,即线性约束二次最优化问题。我们证明,解决该问题相当于解决对称对角占优(SDD)线性系统,该系统可以使用组合多重网格(CMG)求解器快速求解。除此之外,我们还建议了另一种方法,该方法可以通过快速稀疏Cholesky分解来利用图Laplacian矩阵中的任何稀疏性,以产生除基于SDD的方法之外的另一种解决方案。我们将使用基于SDD系统的方法和基于快速稀疏Cholesky分解的方法与众所周知的基于Nystrom方法的快速流形学习在运行时间方面的改进进行了比较,并给出了有竞争力的结果。

理学硕士:

94A08型 信息和通信理论中的图像处理(压缩、重建等)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 科伊夫曼,R.R。;拉丰,S。;Lee,A.B。;Maggioni,M。;纳德勒,B。;华纳,F。;Zucker,S.,《几何扩散作为调和分析和数据结构定义的工具》,Proc。国家。阿卡德。科学。,102, 7426-7431 (2005) ·兹比尔1405.42043
[2] 大卫·多诺霍(David L.Donoho)。;Grimes,Carrie,Hessian特征映射:高维数据的局部线性嵌入技术,Proc。国家。阿卡德。科学。,100, 10, 5591-5596 (2003) ·Zbl 1130.62337号
[3] 米哈伊尔·贝尔金;Niyogi,Partha,用于降维和数据表示的拉普拉斯特征映射,神经计算。,1373-1396年6月15日(2003年6月)
[4] 温伯格,基利安·Q。;Saul,Lawrence K.,《通过半定编程实现图像流形的无监督学习》(IEEE计算机视觉和模式识别会议论文集(2004))
[5] Roweis,S.T。;Saul,L.K.,局部线性嵌入的非线性降维,《科学》,290,2323-2326(2000)
[6] Tenenbaum,J.B。;德席尔瓦,V。;Langford,J.C.,《非线性降维的全球几何框架》,《科学》,22,2319-2323(2000)
[7] 查、宏远;Zhang,Zhenyue,用于流形学习的Continuum isomap,计算。统计师。数据分析。,52, 184-200 (2007) ·Zbl 1452.62144号
[8] 张振月;查洪元,主流形与局部切空间对齐的非线性降维,SIAM J.Sci。计算。,26, 1, 313-338 (2004) ·Zbl 1077.65042号
[9] 温伯格,K.Q。;Saul,L.K.,《通过最大方差展开减少非线性维数的介绍》(2006年),人工智能发展协会,AAAI)
[10] van der Maaten,L.J.P。;Hinton,G.E.,《使用t-SNE可视化高维数据》,J.Mach。学习。研究,92579-2605(2008)·Zbl 1225.68219号
[11] 张凯;Tsang,Ivor W。;Kwok,James T.,《改进的Nystrom低阶近似和误差分析》(第25届机器学习国际会议(2008))
[12] 张凯;Kwok,James T.,用于大规模流形学习和降维的聚类Nystrom方法,IEEE Trans。神经网络。,21, 10, 1576-1587 (2010)
[13] 克里斯托弗·威廉姆斯;Seeger,Matthias,使用Nystrom方法加速内核机,高级神经信息处理。系统。,第13卷,682-688(2001),麻省理工出版社
[14] 阿梅特·塔尔沃卡;桑吉夫·库马尔;Henry Rowley,《大尺度流形学习》(IEEE计算机视觉和模式识别会议(2008))·兹比尔1317.68192
[15] Davis,T.A。;Hager,W.W.,《稀疏Cholesky更新/停机和三角形解算中的动态超节点》,ACM Trans。数学。软件,35,4(2009)
[16] 陈,Y。;Davis,T.A。;哈格,W.W。;Rajamanickam,S.,CHOLMOD,超节点稀疏Cholesky因子分解和更新/停机,ACM Trans。数学。软件,35,3(2009)
[17] Davis,T.A。;Hager,W.W.,稀疏Cholesky因子分解的行修改,SIAM J.矩阵分析。申请。,26, 3, 621-639 (2005) ·Zbl 1077.65026号
[18] Davis,T.A。;Hager,W.W.,稀疏Cholesky因子分解的多秩修改,SIAM J.矩阵分析。申请。,22, 4, 997-1013 (2001) ·Zbl 1049.65021号
[19] Davis,T.A。;Hager,W.W.,修改稀疏Cholesky因子分解,SIAM J.矩阵分析。申请。,2060-627(1999年)·Zbl 0929.65012
[20] Davis,Timothy A.,《CHOLMOD:A Sparse Cholesky Factorization and Modification Package用户指南:稀疏Cholesky-分解与修改包》(2008),佛罗里达大学计算机与信息科学与工程系:美国佛罗里达州盖恩斯维尔大学计算机与信息科学与工程学院
[21] Furrer、Reinhard、SPAM
[22] 莱因哈德·福勒(Reinhard Furrer);Gerber,Florian,CRAN R软件包垃圾邮件:稀疏矩阵代数
[23] 马克·斯特里克特(Marc Strickert);内塞州Sreenivasulu;比约恩·乌萨德尔;Seiffert,Udo,用于可视化挖掘大麦胚乳组织中基因表达模式的相关性最大化替代基因空间,BMC生物信息学,8(2007)
[24] Ioannis Koutis;Miller,Gary L.,《线性工作,求解平面拉普拉斯方程的(O(n^{1/6})时间并行算法》,第18届ACM-SIAM离散算法研讨会论文集,第18次ACM-SIAM离散算法研讨会,SODA(2007))·Zbl 1302.68308号
[25] Ioannis Koutis;Miller,Gary L.,《将图形划分为孤立的高电导簇:预处理的理论、计算和应用》(并行算法和架构研讨会,并行算法和体系结构研讨会,SPAA(2008))
[26] 约阿尼斯,库蒂斯;Miller,Gary,组合多重网格求解器,软件·Zbl 1292.05249号
[27] Ioannis Koutis;加里·米勒(Gary L.Miller)。;Peng,Richard,《求解SDD系统的最优化方法》,(第51届IEEE计算机科学基础年度研讨会论文集。第51届IEEE计算机科学基础年度研讨会论文集,FOCS’10(2010))·Zbl 1310.68274号
[28] Ioannis Koutis;加里·米勒(Gary L.Miller)。;Peng,Richard,《及时求解SDD线性系统》(widetilde{O}(m\log n\log(1/\epsilon))(2011),CoRR·兹比尔1292.05249
[29] Koutis,Ioannis,最优多级算法的组合和代数算法(2007年5月),卡内基梅隆大学:卡内基梅隆大学匹兹堡分校,博士论文
[30] 丹尼尔·斯皮尔曼(Daniel A.Spielman)。;Teng,Shang-Hua,预处理和求解对称对角占优线性系统的近线性时间算法,SIAM J.Matrix Ana。申请。,35, 3, 835-885 (2006) ·Zbl 1311.65031号
[31] Chen,Lisa,非线性降维的局部多维标度,图形布局和邻近性分析(2006),可从ProQuest获得的论文,论文AAI3225439
[32] 迈克尔·科恩(Michael B.Cohen)。;Kyng,Rasmus;加里·米勒(Gary L.Miller)。;雅库布·W·帕切基。;彭理查;Rao,Anup B。;Xu,Shen Chen,在近\(m\log^{1/2}n\)时间内求解SDD线性系统,(第46届ACM计算理论年度研讨会论文集。第46届ACM计算理论年度研讨会论文集,STOC’14(2014))·Zbl 1315.65026号
[33] 丹尼尔·斯皮尔曼(Daniel A.Spielman)。;滕尚华,图的谱稀疏化,SIAM J.Compute。,40, 4, 981-1025 (2011) ·Zbl 1228.68040号
[34] 冯伟成;拉梅什·哈里哈兰;尼古拉斯·哈维(Nicholas J.A.Harvey)。;Panigrahi,Debmalya,《图稀疏化的一般框架》(第四十三届ACM计算理论研讨会论文集(2011))·Zbl 1288.68118号
[35] 丹尼尔·斯皮尔曼(Daniel A.Spielman)。;滕尚华,图的谱稀疏化,SIAM J.Compute。,40, 4, 981-1025 (2011) ·Zbl 1228.68040号
[36] 丹尼尔·斯皮尔曼(Daniel A.Spielman)。;Srivastava,Nikhil,通过有效电阻进行图形稀疏,SIAM J.Compute。,40, 6, 1913-1926 (2011) ·Zbl 1237.05129号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。