×
范明玉;顾，南南;乔红;张波

降维：从流形正则化的角度进行解释。 （英语） Zbl 1354.68222号

信息科学。 277, 694-714 (2014).
摘要：在本文中，我们建议通过以一种新的方式解释流形正则化（MR）框架来统一各种降维算法。虽然MR框架最初是为学习而提出的，但我们利用它对许多降维算法进行统一处理，从线性到非线性，从监督到无监督，以及从单类到多类的方法。此外，该框架可以为设计新的降维算法提供通用平台。该框架以再现核希尔伯特空间中正则化拟合问题的形式表示。它由一个误差部分和两个正则化项组成：复杂性项和平滑项。误差部分测量估计的（低维）数据分布和真实的（高维）数据分配之间的差异，或估计的数据和目标的低维表示之间的差异。复杂性项是测量用于降维的特征映射的复杂性，平滑项反映了数据的内在结构。基于该框架，我们提出了一种流形正则核最小二乘（MR-KLS）方法，该方法可以有效地学习显式特征映射（在半监督意义上）。实验表明，该方法对样本外推算是有效的。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

降维;流形正则化;特征映射;流形学习;样本外插

软件：

t-SNE公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Fan}等人，《信息科学》。277694-714（2014年；Zbl 1354.68222）
全文： 内政部

参考文献：

[1] 贝尔金，M。；Niyogi，P.，用于降维和数据表示的拉普拉斯特征映射，神经计算。，15, 6, 1373-1396 (2003) ·Zbl 1085.68119号
[2] 贝尔金，M。；Niyogi，P。；Sindhwani，V.，《流形正则化：从标记和未标记示例学习的几何框架》，J.Mach。学习。第7号决议，2399-2434（2006）·Zbl 1222.68144号
[4] 邦特，K。；贝尔，M。；Hammer，B.，降维数据可视化映射的通用框架，神经计算。，24, 3, 771-804 (2012) ·Zbl 1238.68117号
[5] 蔡，D。；何，X。；Han，J.，使用局部保持索引的文档聚类，IEEE Trans。知识。数据工程，17，12，1624-1637（2005）
[7] 蔡，D。；何，X。；Han，J.，SRDA：一种用于大规模判别分析的有效算法，IEEE Trans。知识。数据工程，20，1，1-12（2008）
[8] Chin，T。；Suter，D.，学习流形的样本外推算，IEEE Trans。模式分析。机器。智力。，30, 9, 1547-1556 (2008)
[9] 考克斯·T。；Cox，M.，多维尺度（1994），查普曼和霍尔：查普曼&霍尔伦敦·Zbl 0853.62047号
[10] 多诺霍，D。；Grimes，C.，Hessian本征映射，用于高维数据的新的局部线性嵌入技术，Proc。美国国家科学院。科学。，100,5551-5596（2003年）·Zbl 1130.62337号
[12] Fukunnaga，K.，《统计模式识别导论》（1990），学术出版社·Zbl 0711.62052号
[13] Fukumizu，K。；巴赫，F。；Jordan，M.，《回归中的核维数缩减》，《Ann.Stat.》，37，4，1871-1905（2009）·Zbl 1168.62049号
[15] 顾，N。；范，M。；乔·H。；Zhang，B.，用于半监督降维的保稀疏判别投影，IEEE信号处理。莱特。，19391-394（2012年）
[18] 何，X。；蔡，D。；Han，J.，学习图像检索的最大边缘子空间，IEEE Trans。知识。数据工程，20，2，189-201（2008）
[20] 何，X。；Yan，S。；胡，Y。；Niyogi，P。；张，H.，使用拉普拉斯人脸进行人脸识别，IEEE Trans。模式分析。机器。智力。，27, 3, 328-340 (2005)
[22] 辛顿，G。；Roweis，S.，随机邻域嵌入，（神经信息处理系统进展，第15卷（2003），麻省理工学院出版社），833-840
[23] Jolliffe，I.T.，主成分分析（2002），Springer·Zbl 1011.62064号
[24] Kim，T.K。；Kittler，J.，用单一模型图像进行人脸识别的多模式分布类的局部线性判别分析，IEEE Trans。模式分析。机器。智力。，27, 3, 318-327 (2005)
[25] Kokiopoulou，E。；Saad，Y.，《正交邻域保持投影：基于投影的降维技术》，IEEE Trans。模式分析。机器。智力。，29, 12, 2143-2156 (2007)
[26] Kruskal，J.B.，通过优化非计量假设的拟合优度实现多维标度，《心理测量学》，29，1，1-27（1964）·Zbl 0123.36803号
[27] 拉丰，S。；Lee，A.B.，《扩散映射和粗粒度：降维、图分区和数据集参数化的统一框架》，IEEE Trans。模式分析。机器。智力。，28, 9, 1393-1403 (2006)
[28] Lee，J。；张春生，基因表达数据的分类：基于流形的度量学习方法，模式识别。，39, 1, 2450-2463 (2006) ·兹比尔1103.68769
[29] Lee，J.A。；Verleysen，M.，《降维质量评估：基于等级的标准》，神经计算，72，7-9，1431-1443（2009）
[30] Lee，J.A。；Verleysen，M.，《降维的非标度质量标准》，模式识别。莱特。，31, 14, 2248-2257 (2010)
[31] 孟，D。；梁，Y。；冯，T。；Xu，Z.B.，多簇流形上数据的非线性降维，Man，Cybernet。B部分，38，4，1111-1122（2008）
[32] 孟，D。；梁，Y。；Xu，Z.B.多簇流形上数据非线性降维的Passage方法，模式识别。，46, 8, 2175-2186 (2013)
[33] Musa，A.B.，《逻辑回归中降维的（l_1）正则化、PCA、KPCA和ICA的比较》，国际J.Mach。学习。网络。(2013)
[34] 纳德勒，B。；拉丰，S。；科伊夫曼，R.R。；Kevrekidis，I.G.，扩散图，光谱聚类和动力学系统的反应坐标，应用。计算。哈蒙。分析。，21, 1, 113-127 (2006) ·Zbl 1103.60069号
[35] Orsenigo，C。；Vercellis，C.，监督流形学习中样本外映射的核岭回归，专家系统。申请。，39, 9, 7757-7762 (2012)
[36] 罗维斯，S.T。；Saul，L.K.，通过局部线性嵌入降低非线性维数，《科学》，290，2323-2326（2000）
[37] Sharma，A。；Paliwal，K.K。；Imoto，S。；Miyano，S.，使用QR分解的主成分分析，Int.J.Mach。学习。网络。，4, 6, 679-683 (2013)
[38] 陶，D。；李，X。；吴，X。；Maybank，S.J.，步态识别的通用张量判别分析和Gabor特征，IEEE Trans。模式分析。机器。智力。，29, 10, 1700-1715 (2007)
[39] Tenenbaum，J.B。；斯利瓦，V。；Landford，J.C.，《非线性降维的全球几何框架》，《科学》，290，2319-2323（2000）
[40] 曾荫权，E.C.C。；陈，D。；Yeung，D.S。；王，X。；Lee，J.，使用模糊粗糙集的属性约简，IEEE Trans。模糊系统。，16, 5, 1130-1141 (2008)
[41] 范德马滕，L.J.P。；Hinton，G.，《使用t-SNE可视化数据》，J.Mach。学习。研究，92579-2605（2008）·Zbl 1225.68219号
[42] 文纳，J。；Peltonen，J。；Nybo，K。；艾多斯，H。；Kaski，S.，《数据可视化中非线性降维的信息检索视角》，J.Mach。学习。第11号决议，第451-490页（2010年）·Zbl 1242.62006年
[43] Wasserman，P.D.，《神经计算中的高级方法》（1993），Van Nostrand Reinhold：Van Nostrand Reinho尔德，纽约，第155-161页·Zbl 0842.68062号
[44] 王，J.M。；弗利特，D.J。；Hertzmann，A.，人类运动的高斯过程动力学模型，IEEE Trans。模式分析。机器。智力。，30, 2, 283-298 (2008)
[47] 温伯格，K.Q。；Saul，L.K.，《通过半定编程实现图像流形的无监督学习》，国际计算机杂志。视觉。，70, 1, 77-90 (2006)
[49] 项，S。；聂，F。；张，C。；Zhang，C.，局部样条嵌入的非线性降维，IEEE Trans。知识。数据工程，212285-1298（2009）
[50] Yan，S。；徐，D。；张，B。；张，H。；杨琼。；Lin，S.，《图嵌入和扩展：降维的一般框架》，IEEE Trans。模式分析。机器。智力。，29, 1, 40-51 (2007)
[51] Yang，L.，用于多维缩放和降维的重叠局部缩放补丁对齐，IEEE Trans。模式分析。机器。智力。，30, 3, 438-450 (2008)
[54] 张，T。；李，X。；陶，D。；Yang，J.，使用几何保持投影的多模态生物特征，模式识别。，41, 3, 805-813 (2008) ·Zbl 1132.68670号
[56] 张，T。；陶，D。；李，X。；Yang，J.，用于降维的补丁对齐，IEEE Trans。知识。数据工程，21，9，1299-1313（2009）
[57] 张，Z。；Zha，H.，通过切线空间对齐的主流形和非线性降维，SIAM J.Sci。计算。，26, 1, 313-338 (2005) ·Zbl 1077.65042号
[58] 张，T。；杨，J。；赵，D。；Ge，X.，线性局部切线空间对齐及其在人脸识别中的应用，神经计算，701547-1553（2007）
[60] 周，T。；陶，D。；Wu，X.，《流形弹性网：稀疏降维的统一框架》，Data Min.Knowl。发现。，22340-371（2011年）·Zbl 1235.62097号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。