×
蒂姆·塞恩堡；麦克尼斯，利兰；Timothy Q，Gentner先生。

用于表示和半监督学习的参数化UMAP嵌入。 （英语） Zbl 1522.68480号

神经计算。 33，第11号，2881-2907（2021）.
摘要：UMAP是一种基于非参数图形的降维算法，使用应用黎曼几何和代数拓扑来查找结构化数据的低维嵌入。UMAP算法包括两个步骤：（1）计算数据集的图形表示（模糊单纯形复数）和（2）通过随机梯度下降，优化图的低维嵌入。在这里，我们将UMAP的第二步扩展到神经网络权重的参数优化，学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP的性能与非参数UMAP相当，同时赋予了学习参数映射的好处（例如，新数据的快速在线嵌入）。然后，我们将UMAP作为正则化，约束自编码器的潜在分布，参数变化的全局结构保持，并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。

MSC公司：

68T05型 人工智能中的学习和自适应系统

软件：

Scikit公司；大Vis；单词2vec；UMAP公司；t-SNE公司；FIt序列号；oocPCA公司；修复匹配；DeepView（深度视图）；重新混合匹配；达奇；TriMap地图；openTSNE（打开TSNE）；大型Vis
PDF格式BibTeX公司 XML格式引用
\textit{T.Sainburg}等人，《神经计算》。33，第11号，2881-2907（2021年；兹bl 1522.68480）
全文： 内政部 arXiv公司

参考文献：

[1] Amid，E.和Warmuth，M.K.（2019年）。Trimap：使用三元组的大尺度维度缩减。arXiv:1910.00204。
[2] Becht，E.，McInnes，L.，Healy，J.，Dutertre，C.-A.，Kwok，I.W.，Ng，L.G.，…Newell，E.W.（2019年）。使用UMAP可视化单单元格数据的降维。《自然生物技术》，37（1），38-44。
[3] Berthelot，D.、Carlini，N.、Cubuk，E.D.、Kurakin，A.、Sohn，K.、Zhang，H.和Raffel，C.（2020年）。Remixmatch：具有分布匹配和增强锚定的半监督学习。《学习代表国际会议论文集》。
[4] Brown，A.E.和De Bivort，B.（2018年）。行为学是一门物理科学。《自然物理学》，14（7），653-657。
[5] Bunte，K.、Biehl，M.和Hammer，B.（2012年）。降维数据可视化映射的通用框架。神经计算，24（3），771-804·Zbl 1238.68117号
[6] Carter，S.、Armstrong，Z.、Schubert，L.、Johnson，I.和Olah，C.（2019年）。激活图谱。蒸馏，4（3），e15。
[7] De Silva，V.和Tenenbaum，J.B.（2003）。非线性降维中的全局与局部方法。S.Becker、S.Thrun和K.Overmayer（编辑），《神经信息处理系统的进展》，15（第721-728页）。纽约州红钩市：Curran。
[8] Ding，J.、Condon，A.和Shah，S.P.（2018年）。利用深度生成模型对单细胞转录组数据进行可解释的降维。《自然通讯》，9（1），1-13。[]
[9] Ding，J.和Regev，A.（2019年）。超球面和双曲空间上单细胞RNA-Seq剖面的深度生成模型嵌入。生物Rxiv:853457。
[10] Dong，W.、Moses，C.和Li，K.（2011年）。通用相似度量的高效k-最近邻图构造。《第20届万维网国际会议论文集》（第577-586页）。纽约：ACM。
[11] Duque，A.F.、Morin，S.、Wolf，G.和Moon，K.R.（2020年）。具有几何正则化自编码器的可扩展和可逆流形学习。arXiv:2007.07142。
[12] Gisbrecht，A.、Lueks，W.、Mokbel，B.和Hammer，B.（2012年）。非参数降维的样本外核扩展。《欧洲人工神经网络、计算智能和机器学习研讨会论文集》。
[13] Gisbrecht，A.、Schulz，A.和Hammer，B.（2015）。基于核t-SNE的参数化非线性降维。神经计算，14771-82。
[14] Graving，J.M.和Couzin，I.D.（2020年）。Vae-SNE：同时降维和聚类的深度生成模型。bioRxiv。
[15] Hedley，R.W.（2016年a）。卡辛（Vireo cassinii）歌曲中句法的复杂性、可预测性和时间同质性。PLOS One，11（4），e0150822。[]
[16] Hedley，R.W.（2016年b）。卡辛的《Vireo》（Vireo cassinii）中歌曲曲目的组成和顺序组织。鸟类学杂志，157（1），13-22。
[17] Hinton，G.E.和Salakhutdinov，R.R.（2006）。利用神经网络降低数据的维数。《科学》，313（5786），504-507。[]·Zbl 1226.68083号
[18] Hofer，C.、Kwitt，R.、Niethammer，M.和Dixit，M.（2019年）。基于持久同源性的连接优化表示学习。《机器学习国际会议论文集》（第2751-2760页）。柏林：斯普林格。
[19] Huang，X.，Liu，M.-Y.，Belongie，S.，&Kautz，J.（2018）。多模式无监督图像到图像转换。《欧洲计算机视觉会议记录》（第172-189页）。柏林：斯普林格。
[20] Jia，K.，Sun，L.，Gao，S.，Song，Z.，&Shi，B.E.（2015）。拉普拉斯自动编码器：非线性数据流形的显式学习。神经计算，160250-260。
[21] Kingma，D.P.和Welling，M.（2013年）。自动编码变分贝叶斯。arXiv:1312.6114。
[22] 克鲁格实验室（2020）。开源调查，提交=4f57d6a0e4c030202a07a60bc1bb1ed1544bf679。
[23] Kobak，D.和Linderman，G.C.（2021年）。初始化对于保存t-SNE和UMAP中的全局数据结构至关重要。《自然生物技术》，1-2。
[24] Lee，J.A.、Peluffo-Ordóñez，D.H.和Verleysen，M.（2015）。随机邻域嵌入中的多尺度相似性：降低维数同时保持局部和全局结构。神经计算，169246-261。
[25] Linderman，G.C.、Rachh，M.、Hoskins，J.G.、Steinerberger，S.和Kluger，Y.（2017年）。t分布随机邻域嵌入的有效算法。arXiv:1712.09005。
[26] Linderman，G.C.、Rachh，M.、Hoskins，J.G.、Steinerberger，S.和Kluger，Y.（2019年）。基于快速插值的t-SNE用于改进单细胞RNA-Seq数据的可视化。《自然方法》，16（3），243-245。
[27] Macosko，E.Z.，Basu，A.，Satija，R.，Nemesh，J.，Shekhar，K.，Goldman，M.，…McCarroll，S.A.（2015）。使用纳米液滴对单个细胞进行高度并行的全基因组表达谱分析。单元格，161（5），1202-1214。[]
[28] McInnes，L.、Healy，J.和Melville，J.（2018）。统一流形近似和投影，用于降维。arXiv:1802.03426。
[29] Mikolov，T.、Sutskever，I.、Chen，K.、Corrado，G.S.和Dean，J.（2013）。单词和短语的分布式表示及其组成。C.J.C.Burges、L.Bottou、M.Welling、Z.Ghahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第3111-3119页）。纽约州红钩市：Curran。
[30] Mishne，G.、Shaham，U.、Cloninger，A.和Cohen，I.（2019年）。扩散网。应用和计算谐波分析，47（2），259-285·Zbl 1430.68278号
[31] Moon，K.R.，van Dijk，D.，Wang，Z.，Gigante，S.，Burkhardt，D.B.，Chen，W.S.，…Krishnaswamy（2019）。可视化高维生物数据中的结构和转换。《自然生物技术》，37（12），1482-1492。
[32] Moor，M.、Horn，M.，Rieck，B.和Borgwardt，K.（2020年）。拓扑自动编码器。机器学习国际会议论文集。
[33] Oliver，A.、Odena，A.、Raffel，C.A.、Cubuk，E.D.和Goodfellow，I.（2018年）。深度半监督学习算法的实际评估。S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa-Bianchi和R.Garnett（编辑），《神经信息处理系统的进展》，31（第3235-3246页）。纽约州红钩市：Curran。
[34] Pai，G.、Talmon，R.、Bronstein，A.和Kimmel，R.（2019年）。DIMAL：使用稀疏测地线采样的深度等距流形学习。2019年IEEE计算机视觉应用冬季会议记录（第819-828页）。新泽西州皮斯卡塔韦：IEEE。
[35] Pandarinath，C.、O'Shea，D.J.、Collins，J.、Jozefowicz，R.、Stavisky，S.D.、Kao，J.C.、…Sussilo，D.（2018）。使用顺序自动编码器推断单次试验的神经种群动力学。自然方法，15（10），805-815。
[36] 佩德雷戈萨（Pedregosa，F.）、瓦罗佐（Varoquaux，G.）、格兰福特（Gramfort，A.）、米歇尔（Michel，V.）、蒂里昂（Thirion，B.）、格里塞尔（Grisel，O.）、…库纳波（Cournapeau，D.）（2011年）。Scikit-learn：Python中的机器学习。机器学习研究杂志，12，2825-2830·Zbl 1280.68189号
[37] Poličar，P.G.、Straíar，M.和Zupan，B.（2019年）。openTSNE：用于t-SNE降维和嵌入的模块化Python库。生物Rxiv。
[38] Radford，A.、Metz，L.和Chintala，S.（2015）。深度卷积生成对抗网络的无监督表示学习。arXiv:1511.06434。
[39] Robinson，I.（2020年）。具有差异化嵌入网络的可解释可视化。arXiv:2006.06640。
[40] Sainburg，T.、Thielk，M.和Gentner，T.Q.（2019年）。潜在空间可视化、表征和生成各种声音通信信号。doi（操作界面）：
[41] Sainburg，T.、Thielk，M.、Theilman，B.、Migliori，B.和Gentner，T.（2018）。生成性对抗性内插自动编码：潜在空间内插的对抗性训练鼓励凸潜在分布。arXiv:1807.06650。
[42] Sajjadi，M.、Javanmardi，M和Tasdizen，T.（2016）。带随机变换和扰动的正则化用于深度半监督学习。D.Lee、M.Sugiyama、U.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第1163-1171页）。纽约州红钩市：Curran。
[43] Schulz，A.、Hinder，F.和Hammer，B.（2019年）。Deepview：使用区分性降维将深层神经网络的分类边界可视化为散点图。arXiv:1909.09154。
[44] Sohn，K.，Berthelot，D.，Li，C.-L.，Z.，Carlini，N.，Cubuk，E.D.，…Raffel，C.（2020）。Fixmatch：以一致性和信心简化半监督学习。arXiv:2001.07685。
[45] Szubert，B.、Cole，J.E.、Monaco，C.和Drozdov，I.（2019年）。高维单细胞数据集的结构保持可视化。科学报告，9（1），1-10。
[46] Tang，J.，Liu，J.、Zhang，M.和Mei，Q.（2016）。可视化大规模和高维数据。第25届万维网国际会议记录（第287-297页）。纽约：ACM。
[47] van der Maaten，L.（2009）。通过保持局部结构学习参数嵌入。第十二届国际人工智能与统计会议论文集（第384-391页）。
[48] van der Maaten，L.（2014）。使用基于树的算法加速t-SNE。机器学习研究杂志，15（1），3221-3245·兹比尔1319.62134
[49] van der Maaten，L.和Hinton，G.（2008）。使用t-SNE可视化数据。机器学习研究杂志，92579-2605·兹比尔1225.68219
[50] Venna，J.和Kaski，S.（2006年）。局部多维缩放。神经网络，19（6-7），889-899·Zbl 1102.68601号
[51] White，T.（2016）。采样生成网络。arXiv:1609.04468。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。