米歇尔·法努埃尔;安托万·阿斯佩尔;Jean-Charles Delvenne公司;约翰·苏肯斯。 用于降维和样本外扩展的正半定嵌入。 （英语） Zbl 07493841号 SIAM J.数学。数据科学。 4，第1期，153-178（2022）. 摘要：在机器学习或统计学中，通常需要降低高维空间（mathbb{R}^d）中数据点样本的维数。本文介绍了一种降维方法，其中嵌入坐标是半正定核的特征向量，该核是作为半定程序的无限维模拟解而获得的。这种嵌入是自适应的和非线性的。我们用关于学习核的弱光滑性和强光滑性假设来讨论这个问题。我们方法的一个主要特点是在这两种情况下都存在嵌入坐标的样本外扩展公式。此外推公式将核矩阵扩展为数据相关的Mercer核函数。我们的实验结果表明，与谱嵌入方法相比，该嵌入方法对异常值的影响更为稳健。 引用于1文件 MSC公司： 62至XX 统计 47号30 算子理论在概率论和统计学中的应用 42B35型 调和分析中的函数空间 47A58型 线性算子逼近理论 30立方厘米 一个复变量的核函数及其应用 90C22型 半定规划 关键词：扩散贴图;内核方法;降维;半定程序 软件：t-SNE公司;UMAP公司;SDPLR公司 PDF格式BibTeX公司 XML格式引用 \textit{M.Fanuel}等人，SIAM J.数学。数据科学。4，编号1，153--178（2022；Zbl 07493841） 全文： 内政部 arXiv公司 参考文献： [1] A.Aspeel，《大尺度时变网络中的社区检测，一种基于模块的方法》，硕士论文，比利时卢瓦因天主教大学，2017年。 [2] A.S.Bandeira、N.Boumal和A.Singer，角同步最大似然半定松弛的紧性，数学。程序。，163（2017年），第145-167页·Zbl 1365.90188号 [3] N.Boumal，非凸相位同步，SIAM J.Optim。，26（2016），第2355-2377页，https://doi.org/10.1137/16M105808X。 ·Zbl 1356.90111号 [4] C.Brislawn，跟踪类操作符的内核，Proc。阿默尔。数学。Soc.，104（1988），第1181-1190页·Zbl 0695.47017号 [5] S.Burer和R.Monteiro，通过低秩因式分解求解半定规划的非线性规划算法，数学。程序。，95（2003），第329-357页·Zbl 1030.90077号 [6] S.Chreítien、M.Cucuringu、G.Lecueí和L.Neirac，《半定规划学习：基于不动点分析和超额风险曲率的统计界限》，J.Mach。学习。决议，22（2021），第1-64页，https://jmlr.org/papers/v22/21-0021.html。 ·Zbl 07626745号 [7] R.R.Coifman和S.Lafon，扩散图，应用。计算。哈蒙。分析。，21（2006），第5-30页·Zbl 1095.68094号 [8] R.R.Coifman和S.Lafon，《几何谐波：经验函数多尺度样本外扩展的新工具》，应用。计算。哈蒙。分析。，21（2006），第31-52页·Zbl 1095.68095号 [9] R.R.Coifman、S.Lafon、A.B.Lee、M.Maggioni、F.Warner和S.Zucker，《几何扩散作为调和分析和数据结构定义的工具：扩散图》，Proc。国家。阿卡德。科学。美国，102（2005），第7426-7431页·Zbl 1405.42043号 [10] M.Fanuel和R.Bardenet，核方法下连续DPP的非参数估计，《神经信息处理系统进展》34（虚拟事件），NeurIPS，2021年，https://proceedings.neurips.cc/paper/2021/hash/ca8a2d76a5bcc212226417361a5f0740-Abstract.html。 [11] A.Javanmard、A.Montanari和F.Ricci-Tersenghi，半定松弛中的相变，Proc。国家。阿卡德。科学。美国，113（2016），第E2218-E2223页·Zbl 1359.62188号 [12] U.Marteau-Ferey、F.R.Bach和A.Rudi，非负函数的非参数模型，摘自《神经信息处理系统进展》33（加拿大温哥华），NeurIPS，加利福尼亚州圣地亚哥，2020年，https://proceedings.neurips.cc/paper/2020/file/968b15768f3d19770471e9436d97913c-paper.pdf。 [13] L.McInnes J.Healy和J.Melville，UMAP:降维的均匀流形近似和投影，预印本，https://arxiv.org/abs/1802.03426, 2018. [14] C.Michelli、M.Pontil、Q.Wu和D.-X.Zhou，学习内核的误差界限，Anal。申请。（新加坡），14（2016），第849-868页·Zbl 1392.68357号 [15] C.A.Michelli和M.Pontil，通过正则化学习核函数，J.Mach。学习。Res.，6（2005），第1099-1125页·Zbl 1222.68265号 [16] B.Nadler、S.Lafon、R.R.Coifman和I.G.Kevrekidis，《Fokker-Planck算子的扩散图、谱聚类和本征函数》，第18届神经信息处理系统国际会议论文集，NeurIPS，加利福尼亚州圣地亚哥，2005年，第955-962页。 [17] T.Qin和K.Rohe，度校正随机块模型下的正则谱聚类，摘自《第26届神经信息处理系统国际会议论文集》，NIPS 2013，第2卷，Curran Associates，Red Hook，NY，2013年，第3120-3128页。 [18] L.Rosasco、M.Belkin和E.D.Vito，《关于积分算子的学习》，J.Mach。学习。第11号决议（2010年），第905-934页，https://jmlr.org/papers/v11/rosasco10a.html。 ·Zbl 1242.62059号 [19] A.Rudi、R.Camoriano和L.Rosasco，《少即是多：Nystrom计算正则化》，摘自《神经信息处理系统进展》28，C.Cortes、N.D.Lawrence、D.D.Lee、m.Sugiyama和R.Garnett编辑，Curran Associates，Red Hook，NY，2015年，第1657-1665页，http://papers.nips.cc/paper/5936-less-is-more-nystrom-computational-regulation.pdf。 [20] A.Rudi、E.De Vito、A.Verri和F.Odone，支持估计的正则化内核算法，Front。申请。数学。统计人员。，3 (2017), 23, https://doi.org/10.3389/fams.2017.00023。 [21] A.Rudi、U.Marteau-Ferey和F.Bach，通过核近似找到全局极小值，预印本，https://arxiv.org/abs/2012.11978, 2020. [22] I.Steinwart和C.Scovel，关于一般域的Mercer定理：关于测度、核和RKHS之间的相互作用，Constr。大约，35（2012），第363-417页·Zbl 1252.46018号 [23] L.van der Maaten和G.Hinton，使用t-SNE可视化数据，J.Mach。学习。Res.，9（2008），第2579-2605页，https://www.jmlr.org/papers/v9/vandermaaten08a.html。 ·Zbl 1225.68219号 [24] A.M.Vershik、P.B.Zatitskiy和F.V.Petrov，多变量可测函数的虚拟连续性和嵌入定理，Funct。分析。申请。，47（2013），第165-173页·Zbl 1305.28004号 [25] A.M.Vershik、P.B.Zatitskiy和F.V.Petrov，双随机测度上虚拟连续函数的积分和核算子的迹公式，圣彼得堡数学。J.，27（2016），第393-398页·Zbl 1345.28001号 [26] K.Weinberger和L.Saul，通过半定编程实现图像流形的无监督学习，载于2004年IEEE计算机学会计算机视觉和模式识别会议论文集，CVPR 2004，第2卷，IEEE，华盛顿特区，2004，第II页，https://doi.org/10.109/CVPR.2004.1315272。 [27] K.Q.Weinberger、F.Sha和L.K.Saul，《学习非线性降维的核矩阵》，载于《第二十届第一届机器学习国际会议论文集》，ICML'04，美国计算机学会，纽约，2004年，第106页，https://doi.org/10.1145/1015330.1015345。 [28] H.Wendland，分散数据近似，剑桥大学。申请。计算。数学。17，剑桥大学出版社，英国剑桥，2004年，https://doi.org/10.1017/CBO9780511617539。 ·Zbl 1185.65022号 [29] C.K.I.Williams和M.Seeger，《使用Nystrom方法加速内核机器》，载于《神经信息处理系统进展》第13期，NeurIPS，加利福尼亚州圣地亚哥，2001年，第682-688页。 [30] A.Yurtsever、J.A.Tropp、O.Fercoq、M.Udell和V.Cevher，可伸缩半定编程，SIAM J.Math。数据科学。，3（2021年），第171-200页，https://doi.org/10.1137/19M1305045。 ·Zbl 1470.90068号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。