×

降维方法中的轨迹优化和特征问题。 (英语) Zbl 1249.65075号

摘要:本文概述了数据挖掘领域中遇到的与降维相关的特征值问题。给定一些输入的高维数据,降维的目的是将它们映射到低维空间,以便保留原始数据的某些属性。在减少的数据中优化这些属性通常可以作为导致特征值问题的跟踪优化问题提出。此类问题种类繁多,本文的目的是揭示它们之间的关系,并讨论有效的解决方法。首先,我们区分了确定从高维空间到低维空间的显式线性映射的投影方法和两者之间的映射是非线性和隐式的非线性方法。然后,我们证明了在显式线性投影下求解的所有特征值问题都可以看作是非线性或隐式投影的投影类似物。我们还讨论了核作为统一线性和非线性方法的一种手段,并重新审视了以这种方式建立的方法之间的一些等价性。最后,我们提供了一些示例来展示各种降维技术在真实数据集上的行为和特定特征。

MSC公司:

2015财年65 矩阵特征值和特征向量的数值计算
90 C90 数学规划的应用

软件:

AR面衍射
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Webb,统计模式识别(2002)·数字对象标识代码:10.1002/0470854774
[2] Koren,LNCS,收录于:COCOON 03第496页–(2003)
[3] Noack,第十一届图形绘制国际研讨会论文集(GD 2003),LNCS 2912 pp 425–(2004)
[4] Curtarolo,用量子计算的数据挖掘预测晶体结构,《物理评论快报》91(13)第135503页–(2003)·doi:10.1103/PhysRevLett.91.135503
[5] Ceder,结构预测的数据驱动量子力学,MRS公告31,第981页–(2006)·doi:10.1557/mrs2006.224
[6] 塞巴斯蒂安,量子临界点的尺寸缩减,《自然》441页617–(2006)·doi:10.1038/nature04732
[7] http://www.cs.toronto.edu/roweis/data.html
[8] 信息科学与统计主教(2006年)
[9] Roweis,通过局部线性嵌入降低非线性维数,《科学》290页2323–(2000)·doi:10.1126/science.290.5500.2323
[10] John Lee,非线性降维。信息科学与统计(2007)
[11] Belkin,用于降维和数据表示的Laplacian特征映射,神经计算15(6)pp 1373–(2003)·Zbl 1085.68119号 ·doi:10.1162/089976603321780317
[12] 张,主流形和通过切线空间对齐的非线性降维,SIAM科学计算杂志26(1),第313页–(2005)·Zbl 1077.65042号 ·doi:10.1137/S1064827502419154
[13] Tenenbaum,《非线性降维的全球几何框架》,《科学》290页2319–(2000)·doi:10.1126/science.290.5500.2319
[14] Weinberger KQ Saul LK用半定规划实现图像流形的无监督学习
[15] 非线性降维谱方法的Sha F Saul LK分析与推广
[16] Kokiopoulou,IEEE第五届数据挖掘国际会议(ICDM05),第234页–(2005)·doi:10.1109/ICDM.2005.113
[17] 哈姆,ICML'04:第21届国际机器学习大会论文集第47页-(2004)
[18] Williams,《关于内核PCA和度量多维缩放之间的联系》,机器学习46(1),第11页–(2002)·Zbl 1052.68118号 ·doi:10.1023/A:1012485807823
[19] Parlett,对称特征值问题。应用数学经典20强(1998)·Zbl 0885.65039号 ·doi:10.1137/1.9781611971163
[20] Saad,大型特征值问题的数值方法(1992)·Zbl 1242.65068号
[21] Guo,基于广义Fisher判别准则的广义Foley-Sammon变换及其在人脸识别中的应用,模式识别字母24(1-3)第147–(2003)页·Zbl 1055.68092号 ·doi:10.1016/S0167-8655(02)00207-6
[22] Wang,用于降维的跟踪比率与比率跟踪,IEEE计算机视觉和模式识别会议第17页–(2007)
[23] Xiang,学习用于数据聚类和分类的mahalanobis距离度量,模式识别41(12)第3600页–(2008)·Zbl 1162.68642号 ·doi:10.1016/j.patcog.2008.05.018
[24] Yan,《计算机科学讲稿》,载于《欧洲计算机视觉会议论文集》第232页–(2006)·doi:10.1007/11744047_18
[25] 聂,通过标记传播进行半监督正交判别分析,模式识别42 pp 2615–(2009)·Zbl 1175.68338号 ·doi:10.1016/j.patcog.2009.04.001
[26] Saul,《全局思考,局部拟合:非线性流形的无监督学习》,《机器学习研究杂志》4,第119页–(2003)·Zbl 1093.68089号 ·数字标识代码:10.1162/153244304322972667
[27] Belkin,《神经信息处理系统进展》,第14页,585页–(2001年)
[28] He X Niyogi P局部保持投影
[29] Kokiopoulou,正交邻域保持投影:一种基于投影的降维技术,IEEE TPAMI 29 pp 2143–(2007)·Zbl 05341079号 ·doi:10.1109/TPAMI.2007.1131
[30] Jolliffe,主成分分析(1986)·doi:10.1007/9781-4757-1904-8
[31] Torgerson,《多维尺度:I.理论与方法》,心理测量学17(4),第401页-(1952)·Zbl 0049.37603号 ·doi:10.1007/BF02288916
[32] 蔡,用于人脸识别的正交拉普拉斯人脸,IEEE图像处理汇刊15(11)第3608页–(2006)·Zbl 05453605号 ·doi:10.1109/TIP.2006.881945
[33] Howland,使用广义奇异值分解的广义判别分析,IEEE模式分析和机器智能汇刊26(8),第995页–(2004)·Zbl 05112007号 ·doi:10.1109/TPAMI.2004.46
[34] Zhang,半监督降维,SIAM数据挖掘第629页–(2007)
[35] 蔡德赫X韩J半监督判别分析
[36] Song,半监督降维的统一框架,模式识别41第2789页–(2008)·兹比尔1154.68501 ·doi:10.1016/j.patcog.2008.01.01
[37] 基于鲁棒路径相似性的Zhang Y Yeung D-Y半监督鉴别分析
[38] 张,通过CCCP进行半监督判别分析,ECML/PKDD pp 644–(2008)
[39] Yang X Fu H Zha H Barlow J半监督非线性降维
[40] 半监督流形学习的Zhang Z Zha H Zhang M谱方法
[41] Shi,标准化切割和图像分割,IEEE模式分析机器智能汇刊22(8),第888页–(2000)·Zbl 05111961号 ·数字对象标识代码:10.1109/34.868688
[42] Ng,《关于谱聚类:分析和算法》,《神经信息处理系统进展》14(2002)
[43] 丁C谱聚类
[44] Luxburg,光谱聚类、统计和计算教程17(4)第395页–(2007)·数字对象标识代码:10.1007/s11222-007-9033-z
[45] Hagen,比率切割分区和聚类的新谱方法,IEEE集成电路系统计算机辅助设计汇刊11(9)pp 1074–(1992)·Zbl 05448238号 ·doi:10.10109/43.159993
[46] 费德勒,图的代数连通性,捷克斯洛伐克数学杂志23页298–(1973)·Zbl 0265.05119号
[47] Fiedler,非负对称矩阵特征向量的一个性质及其在图论中的应用,捷克斯洛伐克数学杂志25 pp 619–(1975)·Zbl 0437.15004号
[48] Müller,《基于内核的学习算法介绍》,IEEE神经网络汇刊12,第181页–(2001)·数字对象标识代码:10.1109/72.914517
[49] Vapnik,统计学习理论(1998)
[50] Schlköpf,《使用内核学习:支持向量机,正则化,优化及超越》(2001)
[51] Shawe-Taylor,模式分析的核方法(2004)·doi:10.1017/CBO9780511809682
[52] Aronszajn,再生核理论,《美国数学学会学报》68页337–(1950)·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7
[53] Schölkopf,作为核特征值问题的非线性分量分析,神经计算10 pp 1299–(1998)·doi:10.1162/08997669830017467
[54] Fouss,图节点间相似性的随机遍历计算及其在协作推荐中的应用,IEEE知识与数据工程学报19(3),第355页–(2007)·兹伯利05340208 ·doi:10.1109/TKDE.2007.46
[55] Bengio,神经信息处理系统进展16(2004)
[56] Boley,主方向分割,数据挖掘和知识发现2(4)pp 325–(1998)·Zbl 05467973号 ·doi:10.1023/A:1009740529316
[57] Schölkopf,《使用内核学习》(2002)
[58] 亚松森·纽曼DJhttp://www.ics.uci.edu/mlearn/MLRepository.html
[59] Graham,《通用人脸识别的虚拟特征签名表征》,《人脸识别:从理论到应用》163页446–(1998)·doi:10.1007/978-3642-72201-125
[60] Samaria F Harter人脸识别随机模型的参数化
[61] Martinez AM Benavente R AR人脸数据库1998
[62] Bennett,《优化与机器学习研究的相互作用》,《机器学习研究杂志》,第7页,第1265页–(2006)·Zbl 1222.68146号
[63] Cortes,支持向量网络,机器学习20(3),第273页–(1995)·Zbl 0831.68098号 ·文件编号:10.1007/BF00994018
[64] Weinberger,通过半定编程实现图像流形的无监督学习,IEEE计算机视觉和模式识别会议论文集(CVPR-04)2 pp 988-(2004)
[65] Weinberger,AAAI'06:第21届全国人工智能会议论文集,第1683页–(2006)
[66] Xu,最大边际聚类,神经信息处理系统进展17(2005)
[67] Xu L Schuurmans D无监督和半监督多类支持向量机
[68] Bach,Diffrac:一个区分性和灵活的聚类框架,《神经信息处理系统的进展》20(2008)
[69] 基于半定规划和核矩阵分解的Weinberger K Packer B Saul L非线性降维
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。