×

样本外扩展的数学分析。 (英语) Zbl 1403.68216号

小结:设\(X=\mathbf X\cup\mathbf-Z\)为\(\mathbb R^D\)中的数据集,其中\(\mathbf X\)是训练集,\(\mathbf Z\)是测试集。许多基于核方法的无监督学习算法已经被开发出来,用于为给定的训练集(Phi:mathbf X\rightarrow\mathbb R^d)((d\ll d))提供降维(DR)嵌入,该训练集将高维数据(mathbf X)映射到其低维特征表示(mathbfY=\Phi(mathbf-X))。然而,这些算法不会直接生成测试集的DR(mathbf Z)。样本外扩展方法使用现有嵌入的扩展提供\(\mathbf Z\)的DR,而不是重新计算整个集合的DR嵌入。在各种样本外DR扩展方法中,基于Nyström近似的方法非常有吸引力。许多论文发展了这种超延算法,并通过数值实验证明了其有效性。然而,DR扩展的数学理论仍需进一步考虑。利用再生核希尔伯特空间(RKHS)理论,对样本外DR扩展算子进行了初步的数学分析。它将样本外DR扩展操作符视为在\(\mathbf X\)上定义的RKHS上标识的扩展。然后,Nyström型DR扩展结果是一个正交投影。本文还给出了精确DR延拓的条件,并给出了延拓误差的估计。

MSC公司:

68T05型 人工智能中的学习和自适应系统
46 E22型 具有再生核的希尔伯特空间(=(适当的)函数希尔伯特空间,包括de Branges-Rovnyak和其他结构空间)

软件:

等距映射
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Y.Aizenbud、A.Bermanis和A.Averbuch,基于PCA的降维样本外扩展,预印本(2015),arXiv:1511.00831。
[2] Aronszajn,N.,《再生核理论》,译。阿默尔。数学。社会学,68,337-404,(1950)·Zbl 0037.20701号
[3] Balasubramanian,M。;施瓦茨,E。;Tenenbaum,J。;德席尔瓦,V。;Langford,J.,等距图算法和拓扑稳定性,《科学》,295,7,(2002)
[4] 贝尔金,M。;Niyogi,P.,用于降维和数据表示的拉普拉斯特征映射,神经计算。,15, 6, 1373-1396, (2003) ·Zbl 1085.68119号
[5] Bellman,R.,《自适应控制过程:导览》(1961),普林斯顿大学出版社,普林斯顿·Zbl 0103.12901号
[6] 本吉奥,Y。;派门特,J。;文森特,P。;俄勒冈州德拉鲁。;Le Roux,N。;Ouimet,M.,高级神经信息。过程。系统。,16,LLE、isomap、MDS、特征映射和谱聚类的样本外扩展,177-184,(2004),麻省理工学院出版社
[7] 科伊夫曼,R.R。;Lafon,S.,扩散图,应用。计算。哈蒙。分析。,21, 5-30, (2006) ·Zbl 1095.68094号
[8] R.R.Coifman和S.Lafon,《几何谐波:经验函数多尺度样本外扩展的新工具》,申请。计算。谐波分析。2(21)(2006)31-52,扩散图和小波专题·Zbl 1095.68095号
[9] 多诺霍,D.L。;Grimes,C.,Hessian特征映射:高维数据的新局部线性嵌入技术,Proc。国家。阿卡德。科学。美国,1005591-5596,(2003)·兹比尔1130.62337
[10] Jolliffe,I.T.,主成分分析,(1986),柏林施普林格-弗拉格出版社·Zbl 1011.62064号
[11] Lee,J.A。;Verleysen,M.,《非线性降维》(2007),施普林格出版社·Zbl 1128.68024号
[12] Ng,A。;乔丹,M。;Weiss,Y.,高级神经信息。过程。系统。,14,关于光谱聚类:分析和算法,(2001年)
[13] Roweis,S.T。;Saul,L.K.,局部线性嵌入的非线性降维,《科学》,290,5500,2323-2326,(2000)
[14] Schölkopf,B。;Smola,A。;Müller,K.-R.,作为核特征值问题的非线性分量分析,神经计算。,10, 5, 1299-1319, (1998)
[15] 斯科特·D·W。;汤普森,J.R。;Gentle,J.E.,《高维概率密度估计》,Proc。第十五交响曲。《接口计算机科学与统计》,173-179,(1983),北荷兰埃尔塞维尔科学出版社
[16] 史J。;Malik,J.,标准化切割和图像分割,IEEE Trans。模式分析。机器。智力。,2008年8月22日至905日,(2000年)
[17] Shmueli,Y。;西波拉,T。;沙巴特,G。;Averbuch,A.,《使用亲和力扰动检测网络流量异常》,第11届国际抽样理论与应用会议,(2013年)
[18] Shmueli,Y。;沃尔夫,G。;Averbuch,A.,用亲和扰动更新谱分解中的核方法,线性代数应用。,437, 6, 1356-1365, (2012) ·Zbl 1243.68250号
[19] Wang,J.Z.,高维数据的几何结构与降维,(2012),高等教育出版社和施普林格出版社·Zbl 1250.68010号
[20] 张志勇。;Zha,H.Y.,通过局部切线空间对齐的主流形和非线性降维,SIAM J.Sci。计算。,2631-338,(2004年)·Zbl 1077.65042号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。