×

利用归一化的局部和全局判别信息进行半监督回归和降维。 (英语) Zbl 1390.68562号

摘要:半监督降维是模式识别和机器学习中的重要课题之一。近十年来,拉普拉斯正则最小二乘法(Laplacian Regularized Least Square,LapRLS)和半监督判别分析(Semi-supervised Discriminant Analysis,SDA)是两种广泛使用的半监督降维方法。本文证明了SDA和LapRLS可以统一为一个约束流形正则化最小二乘框架。然而,流形项不能充分利用潜在的判别信息。因此,我们引入了一种新的有效的半监督降维方法,称为从局部和全局信息中学习(LLGDI)来解决这个问题。提出的LLGDI方法采用一组局部分类函数来保留数据集的局部几何信息和判别信息。它还采用全局分类函数来保留全局判别信息,并采用不相关约束来计算投影矩阵,以同时解决回归和降维问题。因此,LLGDI方法能够保留局部判别信息、流形信息以及全局判别信息。理论分析和大量仿真结果表明了LLGDI算法的有效性。结果还表明,与其他现有方法相比,LLGDI可以获得优越的性能。

MSC公司:

68T05年 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Belhumeur,P.N。;赫斯帕尼亚,J.P。;Kriegman,D.J.,《特征脸vs.Fisherfaces:使用类特定线性投影进行识别》,IEEE Trans。模式分析。机器。智力。,19, 7, 711-720 (1997)
[2] 贝尔金,M。;Niyogi,P。;Sindhwani,V.,《流形正则化:从标记和未标记示例学习的几何框架》,J.Mach。学习。第7号决议,2399-2434(2006)·Zbl 1222.68144号
[3] 蔡,D。;何,X。;Han,J.,半监督判别分析,(IEEE国际计算机视觉会议(ICCV)(2007)),1-7
[4] Fukunaga,K.,《统计模式分类导论》(1990),学术出版社·Zbl 0711.62052号
[5] Graham,D.B。;Allinson,N.M.,《表征人脸识别中通用人脸识别的虚拟特征签名:从理论到应用》,北约ASI Ser。F、 计算。系统。科学。,163, 446-456 (1998)
[6] 何,X。;Yan,S。;胡,Y。;Niyogi,P。;张,H.,使用拉普拉斯人脸进行人脸识别,IEEE Trans。模式分析。机器。智力。,27, 3, 328-340 (2005)
[7] 霍恩,R.A。;Johnson,C.R.,矩阵分析(1990),剑桥大学出版社:剑桥大学出版社·Zbl 0704.15002号
[8] Hull,J.,《手写文本识别研究数据库》,IEEE Trans。模式分析。机器。智力。,16, 5, 550-554 (1994)
[9] Lee,K.C。;Ho,J。;Kriegman,D.,获取可变光照下人脸识别的线性子空间,IEEE Trans。模式分析。机器。智力。,27, 5, 947-963 (2005)
[10] Leibe,B。;Schiele,B.,《分析基于外观和轮廓的对象分类方法》(IEEE计算机学会计算机视觉和模式识别会议,2(2003)),409-415
[11] Nene,S.A。;Nayar,S.K。;Murase,H.,哥伦比亚物体图像库(COIL-100)(1996),哥伦比亚大学,技术报告CUCS-005-96
[12] 聂,F。;向,S。;刘,Y。;Zhang,C.,一种基于图形的半监督学习,具有新颖的类发现,神经计算。申请。,19, 4, 549-555 (2010)
[13] 聂,F。;徐,D。;Tsang,I.W.H。;Zhang,C.,《柔性流形嵌入:半监督和非监督降维框架》,IEEE Trans。图像处理。,19, 7, 1921-1932 (2010) ·Zbl 1371.94276号
[15] 聂,F。;曾,Z。;Tsang,I.W。;徐,D。;Zhang,C.,Spectral嵌入式聚类:样本内和样本外光谱聚类的框架,IEEE Trans。神经网络学习。系统。,22, 11, 1796-1808 (2011)
[16] 罗维斯,S。;Saul,L.,通过局部线性嵌入降低非线性维数,《科学》,2902323-2326(2000)
[17] Sun,L。;Ceran,B。;Ye,J.,一类降维技术的可扩展两阶段方法,(ACM SIGKDD知识发现和数据挖掘国际会议(KDD)(2010)),313-322
[18] Tenenbaum,J.B。;德席尔瓦,V。;Langford,J.C.,《非线性降维的全球几何框架》,《科学》,290,2319-2323(2000)
[19] 特克,M。;Pentland,A.,使用特征脸的人脸识别,(IEEE计算机学会计算机视觉和模式识别会议(CVPR)(1991)),586-591
[20] 王,D。;聂,F。;Huang,H.,通过统一归纳和转导模型进行大规模自适应半监督学习,(ACM SIGKDD国际知识发现和数据挖掘会议(KDD)(2014)),482-491
[21] Wang,F.,使用局部和全局正则化的通用学习框架,模式识别。,43, 9, 3120-3129 (2010) ·Zbl 1207.68252号
[22] Wang,F。;Zhang,C.,线性邻域中的标签传播,IEEE Trans。知识。数据工程,20,1,55-67(2008)
[23] Wang,J。;Wang,F。;张,C。;沈海川。;Quan,L.,线性邻域传播及其应用,IEEE Trans。模式分析。机器。智力。,31, 9, 1600-1615 (2009)
[24] 韦洛赫,B。;黄,J。;海塞尔,B。;Branz,V.,《利用3D可变形模型进行基于组件的人脸识别》,(第一届IEEE视频人脸处理研讨会,IEEE计算机学会计算机视觉和模式识别会议(2004)),85
[25] 项,S。;潘,C。;聂,F。;Zhang,C.,使用特征图像的TurboPixel分割,IEEE Trans。图像处理。,2010年1月19日,3024-3034·兹比尔1371.94413
[26] 项,S。;聂,F。;Zhang,C.,通过局部样条回归进行半监督分类,IEEE Trans。模式分析。机器。智力。,32, 11, 2039-2053 (2010)
[27] 项,S。;聂,F。;Zhang,C.,局部样条嵌入的非线性降维,IEEE Trans。知识。数据工程,21,9,1285-1298(2009)
[28] Yan,S。;徐,D。;张,B。;张,H。;杨琼。;Lin,S.,《图嵌入和扩展:降维的一般框架》,IEEE Trans。模式分析。机器。智力。,29, 1, 40-51 (2007)
[29] 杨,J。;Frangi,A.F。;杨,J。;张,D。;Jin,Z.,KPCA plus LDA:用于特征提取和识别的完整核Fisher判别框架,IEEE Trans。模式分析。机器。智力。,27, 2, 230-244 (2005)
[30] Yang,Y。;徐,D。;聂,F。;罗,J。;庄毅,基于局部回归和全局对齐的跨媒体检索排名,(ACM国际多媒体会议(MM)(2009)),175-184
[31] Yang,Y。;聂,F。;徐,D。;罗,J。;庄,Y。;Pan,Y.,基于半监督排序和相关反馈的多媒体检索框架,IEEE Trans。模式分析。机器。智力。,34, 5, 723-742 (2012)
[32] Yang,Y。;徐,D。;聂,F。;Yan,S。;庄,Y.,使用局部判别模型和全局集成的图像聚类,IEEE Trans。图像处理。,19, 10, 2761-2773 (2010) ·Zbl 1371.94434号
[33] Ye,J.,欠采样问题广义判别分析算法族的特征,J.Mach。学习。第6483-502号决议(2005年)·Zbl 1222.62081号
[34] Ye,J.,最小二乘线性判别分析,(IEEE国际机器学习会议(ICML)(2007)),1087-1093
[35] 张,C。;聂,F。;Xiang,S.,基于核PCA的学习算法的通用核化框架,神经计算,73,4-6,959-967(2010)
[36] 张,T。;陶,D。;李,X。;Yang,J.,用于降维的补丁对齐,IEEE Trans。知识。数据工程,21,9,1299-1313(2009)
[37] 张,Z。;戴,G。;徐,C。;Jordan,M.I.,正则化判别分析,岭回归及超越,J.Mach。学习。第11号决议,2199-2228(2010年)·Zbl 1242.62067号
[38] 张,Z。;周,T.W.S。;Zhao,M.,用于边缘流形可视化的基于跟踪比优化的半监督非线性降维,IEEE Trans。知识。数据工程,2013年5月5日,1148-1161
[39] 张,Z。;赵,M。;Chow,T.W.S.,具有降维和识别信息约束的边际半监督子流形投影,神经网络,3697-111(2012)·Zbl 1258.68132号
[40] 赵,M。;张,Z。;Chow,T.W.S.,基于迹比准则的广义判别学习在半监督降维中的应用,模式识别。,45, 4, 1482-1499 (2012) ·Zbl 1231.68226号
[41] 赵,M。;张,Z。;Zhang,H.,从局部和全局差异信息中学习半监督降维,(国际神经网络联合会议(IJCNN)(2013)),1-8
[42] 赵,M。;张,Z。;周,T.W.S。;Li,B.,基于软标记的线性判别分析在图像识别和检索中的应用,计算机。视觉图像理解,12186-99(2014)
[43] 赵,M。;张,Z。;周,T.W.S。;Li,B.,基于软标记的半监督降维线性判别分析,神经网络,55,83-97(2014)·Zbl 1308.68105号
[44] 周,D。;O.布斯克。;Lal,T.N。;韦斯顿,J。;Scholkopf,B.,《局部和全局一致性学习》,(神经信息处理系统(NIPS)进展(2004)),321-328
[45] 朱,X。;加赫拉马尼,Z。;Lafferty,J.D.,使用高斯场和调和函数的半监督学习,(IEEE机器学习国际会议(ICML)(2003)),912-919
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。