×

多模态降维的约束大边界局部投影算法和扩展。 (英语) Zbl 1248.68426号

摘要:提出了一种用于多模态降维的约束大边缘局部投影(CMLP)技术。我们从两两约束边际的角度阐述了CMLP的准则。提出了四种有效的CMLP求解方案,并进行了相应的比较分析。还详细介绍了CMLP的等效加权最小二乘公式。CMLP起源于局部保持投影(LPP)准则,但CMLP与LPP相比具有许多吸引人的优点。为了保持类间和类内相似对的内在邻近关系,应用局部成对cannot-link和must-link约束来指定这些相邻对的类型。通过利用CMLP标准,类间集群和类内集群之间的差距显著扩大。因此,有效地保持了多峰分布。为了进一步优化CMLP准则,描述了一种可行的改进策略。通过核方法,我们给出了方法的核化扩展。文中还对本工作与相关工作进行了详细的数学比较和分析。在基准UCL、ORL、YALE、UMIST、MIT CBCL和USPS数据集上进行了广泛的仿真,包括多元流形可视化和分类,以验证我们的技术的效率。结果表明,我们的方法与一些广泛使用的最新算法具有很强的竞争力,甚至优于这些算法。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

KPCA加LDA
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 何,X。;Yan,S。;胡,Y。;Niyogi,P.等人。;张,H.,使用拉普拉斯人脸进行人脸识别,IEEE模式分析和机器智能汇刊,27,3,228-340(2005)
[2] D.Q.Zhang,Z.H.Zhou,S.C.Chen,半监督降维,载于:第七届SIAM国际数据挖掘会议论文集(SDM’07),明尼苏达州明尼阿波利斯,2007年,第629-634页。;D.Q.Zhang,ZH.Zhou,S.C.Chen,半监督降维,摘自:《第七届SIAM国际数据挖掘会议论文集》(SDM'07),明尼苏达州明尼阿波利斯,2007年,第629-634页。
[3] Baghshah,M.S。;Shouraki,S.B.,使用两两相似性和差异性约束以及数据几何结构的非线性度量学习,模式识别,432982-1992(2010)·Zbl 1207.68261号
[4] Roweis,S。;Saul,L.,通过局部线性嵌入降低非线性维数,《科学》,290,5500,2323-2326(2000)
[5] 贝尔金,M。;Niyogi,P.,用于降维和数据表示的拉普拉斯特征映射,神经计算,15,6,1373-1396(2003)·Zbl 1085.68119号
[6] M.A.Turk,A.P.Pentland,使用特征脸进行人脸识别,收录于:IEEE计算机学会计算机视觉和模式识别会议论文集,1991年。;M.A.Turk,A.P.Pentland,使用特征脸进行人脸识别,收录于:IEEE计算机学会计算机视觉和模式识别会议论文集,1991年。
[7] 胡海峰,人脸识别中的正交邻域保持判别分析,模式识别,412045-2054(2008)·Zbl 1132.68637号
[8] 马丁内斯,A.M。;Kak,A.C.,PCA与LDA,IEEE模式分析与机器智能汇刊,23,2,228-233(2001)
[9] Sugiyama,M.,通过局部Fisher判别分析对多模态标记数据进行降维,机器学习研究杂志,81027-1061(2007)·Zbl 1222.68312号
[10] 赵,M.B。;张,Z。;Chow,W.S.,基于迹比准则的广义判别学习用于半监督降维,模式识别,45,4,1482-1499(2012)·兹比尔1231.68226
[11] 张立明。;乔·L·S。;Chen,S.C.,图优化局部保持投影,模式识别,43,6,1993-2002(2010)·Zbl 1191.68611号
[12] T.Jebara,J.Wang,S.F.Chang,《半监督学习中的图形构建和b匹配》,载《第26届机器学习国际年会论文集》,纽约,纽约,美国。;T.Jebara,J.Wang,S.F.Chang,《半监督学习的图形构建和b匹配》,载于:《第26届机器学习国际年会论文集》,纽约,纽约,美国,2009年。
[13] 刘彦、荣建中,《远程计量学习:综合调查》,2006年。;刘彦、荣建中,《远程计量学习:综合调查》,2006年。
[14] L.Maaten,E.Postma,J.Herik,《降维:比较综述》,蒂尔堡大学技术报告,TiCC TR 2009-0052009。;L.Maaten,E.Postma,J.Herik,《维度缩减:比较评论》,蒂尔堡大学技术报告,TiCC-TR 2009-0052009年。
[15] X.He,D.Cai,S.Yan,H.Zhang,邻里保护嵌入,《IEEE计算机视觉国际会议论文集》,中国北京,2005年,第1208-1213页。;X.He,D.Cai,S.Yan,H.Zhang,邻里保护嵌入,《IEEE计算机视觉国际会议论文集》,中国北京,2005年,第1208-1213页。
[16] 杨,J。;Frangi,A.F。;Yang,J.Y。;张博士。;Jin,Z.,KPCA plus LDA:用于特征提取和识别的完整核fisher判别框架,IEEE模式分析和机器智能学报,27,2,234-244(2005)
[17] Sun博士。;张德清,带成对约束的特征选择的Bagging约束分数,模式识别,43,6,2106-2118(2010)·Zbl 1192.68611号
[18] 张德清。;陈S.C。;Zhou,Z.H.,约束得分:一种新的两两约束特征选择过滤方法,模式识别,41,5,1440-1451(2008)·Zbl 1140.68490号
[19] M.S.Baghshah,S.B.Shouraki,使用两两约束的半监督度量学习,摘自:《国际人工智能联合会议论文集》,2009年,第1217-1222页。;M.S.Baghshah,S.B.Shouraki,《使用成对约束的半监督度量学习》,载于《国际人工智能联合会议论文集》,2009年,第1217-1222页。
[20] Y.Bengio,J.F.Paiement,P.Vincent,O.Delalleau,N.L.Roux,M.Ouimet,LLE、ISOMAP、MDS、Laplacian特征映射和谱聚类的样本外扩展,收录于《神经信息处理系统进展学报》,第16卷,2004年,第177-184页。;Y.Bengio,J.F.Paiement,P.Vincent,O.Delalleau,N.L.Roux,M.Ouimet,LLE、ISOMAP、MDS、Laplacian特征映射和谱聚类的样本外扩展,收录于:《神经信息处理系统进展学报》,第16卷,2004年,第177-184页。
[21] Fukunaga,K.,《统计模式识别导论》(1990),学术出版社:纽约学术出版社·Zbl 0711.62052号
[22] Xu,Y。;Zhong,A.N。;杨,J。;Zhang,D.,用于人脸识别的LPP解决方案,模式识别,43,12,4165-4176(2010)·Zbl 1207.68329号
[23] 郭毅。;李,S。;杨,J。;舒,T。;Wu,L.,基于广义fisher判别准则的广义Foley-Samon变换及其在人脸识别中的应用,模式识别字母,24,1-3,147-158(2003)·Zbl 1055.68092号
[24] H.Wang,S.Yan,D.Xu,X.Tang,T.Huang,用于降维的跟踪比率与比率跟踪,摘自:IEEE计算机视觉和模式识别会议论文集,明尼阿波利斯,明尼苏达州,2007年,第1-8页。;H.Wang,S.Yan,D.Xu,X.Tang,T.Huang,用于降维的跟踪比率与比率跟踪,摘自:IEEE计算机视觉和模式识别会议论文集,明尼阿波利斯,明尼苏达州,2007年,第1-8页。
[25] 贾毅。;聂,F。;Zhang,C.S.,《跟踪比问题再探讨》,IEEE神经网络汇刊,20,4,729-735(2009)
[26] 孙,T。;Chen,S.,类标签与基于样本标签的CCA,应用数学与计算,185,1,272-283(2007)·Zbl 1109.62053号
[27] 乔·L·S。;陈S.C。;Tan,X.Y.,稀疏保持投影及其在人脸识别中的应用,模式识别,43,1,331-341(2010)·Zbl 1186.68421号
[28] Strutz,T.,数据拟合和不确定性:加权最小二乘法及其后的实用介绍(2010),Vieweg+Teubner Verlag
[29] B.Weyrauch,J.Huang,B.Heisele,V.Blanz,基于组件的3D变形模型人脸识别,摘自:IEEE第一届视频人脸处理研讨会论文集,华盛顿特区,2004年。;B.Weyrauch,J.Huang,B.Heisele,V.Blanz,基于组件的3D变形模型人脸识别,摘自:IEEE第一届视频人脸处理研讨会论文集,华盛顿特区,2004年·Zbl 1050.68756号
[30] L.Sun,S.W.Ji,J.P.Ye,典型相关分析的最小二乘公式,载于:《第25届机器学习国际会议论文集》,芬兰赫尔辛基,2008年,第1024-1031页。;L.Sun,S.W.Ji,J.P.Ye,《典型相关分析的最小二乘公式》,载于《第25届机器学习国际会议论文集》,芬兰赫尔辛基,2008年,第1024-1031页。
[31] 杨,B。;Chen,S.C.,样本依赖图构造及其在降维中的应用,神经计算,74,1-3,301-314(2010)
[32] L.Sun,B.Ceran,J.P.Ye,一类降维技术的可扩展两阶段方法,载于《第16届ACM SIGKDD国际知识发现和数据挖掘会议论文集》,2010年,第313-322页。;L.Sun,B.Ceran,J.P.Ye,一类降维技术的可扩展两阶段方法,载于:第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集,2010年,第313-322页。
[33] L.Sun,S.W.Ji,J.P.Ye,用于多标签分类的超图谱学习,载于《第14届ACM SIGKDD国际知识发现和数据挖掘会议论文集》,2008年,第668-676页。;L.Sun,S.W.Ji,J.P.Ye,用于多标签分类的超图谱学习,载于《第14届ACM SIGKDD国际知识发现和数据挖掘会议论文集》,2008年,第668-676页。
[34] Kokiopoulou,E。;Saad,Y.,《正交邻域保持投影:一种基于投影的降维技术》,IEEE模式分析与机器智能学报,29,12,2143-2156(2007)
[35] Schölkopf,B。;Smola,A.,《用内核学习》(2002年),麻省理工学院出版社:麻省理学院出版社,马萨诸塞州剑桥,第25-55页
[36] Yan,S。;徐,D。;张,B。;张,H。;杨琼。;Lin,S.,图嵌入与扩展:降维的一般框架,IEEE模式分析与机器智能学报,29,1,40-51(2007)
[37] H.Chen,H.Chang,T.Liu,局部判别嵌入及其变体,载《IEEE计算机学会计算机视觉和模式识别会议论文集》,2005年,第846-853页。;H.Chen,H.Chang,T.Liu,局部判别嵌入及其变体,载《IEEE计算机学会计算机视觉和模式识别会议论文集》,2005年,第846-853页。
[38] D.Cai,X.He,K.Zhou,J.Han,H.Bao,位置敏感判别分析,摘自:《国际人工智能联合会议论文集》,印度海得拉巴,2007年,第708-713页。;D.Cai,X.He,K.Zhou,J.Han,H.Bao,对位置敏感的判别分析,摘自:《国际人工智能联合会议论文集》,印度海得拉巴,2007年,第708-713页。
[39] D.B.Graham,N.M.Allinson,《通用人脸识别的虚拟特征特征表征》,《人脸识别:从理论到应用》,北约ASI系列F第163卷,计算机与系统科学,1998年,第446-456页。;D.B.Graham,N.M.Allinson,《通用人脸识别的虚拟特征信号特征化》,《人脸识别:从理论到应用》,北约ASI F系列第163卷,计算机与系统科学,1998年,第446-456页。
[40] 哈登,D.R。;塞德马克,S。;Shawe-Taylor,J.,典型相关分析:学习方法应用概述,神经计算,16,12,2639-2664(2004)·Zbl 1062.68134号
[41] Hull,J.,手写文本识别研究数据库,IEEE模式分析和机器智能汇刊,16,5,550-554(1994)
[42] Zelnik-Manor,L。;Perona,P.,自校正谱聚类,(Saul,L.K.;Weiss,Y.;Bottou,L..,《神经信息处理系统的进展》,第17卷(2005年),麻省理工学院出版社:麻省理学院出版社剑桥,1601-1608
[43] 乔·L·S。;陈S.C。;Tan,X.Y.,单训练图像人脸识别的稀疏性保持判别分析,《模式识别快报》,31,5,422-429(2010)
[44] 李,H。;姜涛(Jiang,T.)。;Zhang,K.,基于最大裕度准则的高效稳健特征提取,IEEE神经网络汇刊,17,1,157-165(2006)
[45] 宋,F。;张博士。;梅,D。;Guo,Z.,面部特征提取的多重最大散射差判别准则,IEEE系统、人与控制论汇刊B部分:控制论,37,6,1599-1606(2007)
[46] 郭毅。;高杰。;Kwan,P.,双内核嵌入,IEEE模式分析和机器智能汇刊,30,81490-1495(2008)
[47] S.I.Daitch,J.A.Kelner,D.A.Apielman,将图形拟合到矢量数据,摘自:《第26届机器学习国际年会论文集》,纽约,纽约,美国,2009年。;S.I.Daitch,J.A.Kelner,D.A.Apielman,将图形拟合到向量数据,载于:《第26届国际机器学习年会论文集》,美国纽约州纽约市,2009年。
[48] 张立明。;陈S.C。;乔L.S.,稀疏约束下降维的图形优化,模式识别,451205-1210(2012)·Zbl 1227.68097号
[49] Yu,W.W。;Teng,X.L。;刘春秋,利用判别局部保持投影进行人脸识别,图像与视觉计算,24,239-248(2006)
[50] 卢,G.F。;林,Z。;Jin,Z.,使用基于最大裕度准则的判别式局部保留投影的人脸识别,模式识别,433572-3579(2010)·Zbl 1209.68469号
[51] 艾哈迈德,N。;Natarajan,T。;Rao,K.R.,离散余弦变换,IEEE计算机汇刊,90-93(1974)·Zbl 0273.65097号
[52] Faundez-Zanuy,M。;Roure,J。;埃斯皮诺萨·杜罗,V。;Ortega,J.A.,《变换域中的有效人脸验证方法》,《模式识别字母》,28854-858(2007)
[53] Wong,W.K。;赵洪涛,监督最优局部保持投影,模式识别,45186-197(2012)·Zbl 1225.68261号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。