×
杰夫·考尔德;德扬·斯莱普切夫;马修·索普

低标记率拉普拉斯半监督学习的收敛速度。 （英语） Zbl 07653091号

Res.数学。科学。 10，第1号，第10号论文，42页（2023年）.
总结：我们研究了低水平下基于图形的拉普拉斯半监督学习标记率（标记的数据点与总数据点的比率），并为学习建立一个良好的阈值。拉普拉斯学习使用图上的调和扩展来传播标签。众所周知，当标记数据点的数量有限而未标记数据点数量趋于无穷大时，拉普拉斯学习变得退化，解变得大致恒定，每个标记数据点处都有一个尖峰。在这项工作中，我们允许标记数据点的数量随着数据点总数的增长而增长到无穷大。我们证明了对于长度标度为（varepsilon>0）的随机几何图，如果标记率为（beta\ll\varepsilon^2），则解退化并形成尖峰。另一方面，如果为（beta \gg\varepsilon^ 2），那么拉普拉斯学习是适定的，并且符合连续拉普拉斯方程。此外，在适当的设置下，我们证明了离散问题和连续PDE的解之间的差异的\（O（\varepsilon\beta^{-1/2}）\）的定量误差估计，直到对数因子。我们还研究了（p\）-Laplacian正则化，并在（beta\ll\varepsilon^p\）时显示了相同的简并结果。我们适定性结果的证明使用了拉普拉斯学习和PDE参数的随机游走解释，而适定性结果证明使用了变分法中的伽马收敛工具。我们还提供了合成数据和实际数据的数值结果来说明我们的结果。

引用于5文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
05C81号 图上的随机游动
35J20型 二阶椭圆方程的变分方法
49J55型 随机性问题最优解的存在性
60克50 独立随机变量之和；随机行走
60J20型 马尔可夫链和离散时间马尔可夫过程在一般状态空间（社会流动、学习理论、工业过程等）上的应用
6220国集团 非参数推理的渐近性质

关键词：

半监督学习;回归，回归;渐近一致性;伽马收敛;图上的PDE;非局部变分问题;图上的随机游动

软件：

图形学习
PDF格式BibTeX公司 XML格式引用
\textit{J.Calder}等人，《研究数学》。科学。10，第1号，第10号论文，第42页（2023年；Zbl 07653091）
全文： 内政部 arXiv公司

参考文献：

[1] 贝尔金，M。；Niyogi，P.，黎曼流形上的半监督学习，马赫。学习。，56, 1-3, 209-239 (2004) ·Zbl 1089.68086号 ·doi:10.1023/B:MACH.0000033120.25363.1e
[2] 贝尔金，M。；Niyogi，P.等人。；Sindhwani，V.，《流形正则化：从标记和未标记示例学习的几何框架》，J.Mach。学习。第7239-2434号决议（2006年）·Zbl 1222.68144号
[3] Bercu，B。；Delyon，B。；Rio，E.，《和和和鞅的集中不等式》（2015），纽约：Springer，纽约·Zbl 1337.60002号 ·doi:10.1007/978-3-319-22099-4
[4] Boucheron，S。；卢戈西，G。；Massart，P.，《集中不等式：独立性的非渐近理论》（2013），牛津：牛津大学出版社，牛津·Zbl 1279.60005号 ·doi:10.1093/acprof:oso/9780199535255.001.0001
[5] Calder，J.：博弈论——拉普拉斯和半监督学习，几乎没有标签。非线性（2018）·Zbl 1408.35048号
[6] Calder，J.，Lipschitz学习与无限未标记数据和有限标记数据的一致性，SIAM J.数学。数据科学。，1, 4, 780-812 (2019) ·Zbl 1499.35598号 ·doi:10.1137/18M1199241
[7] Calder，J.：图形学习Python包（2022）。doi:10.5281/zenodo.5850940
[8] Calder，J。；GarcíaTrillos，N.，《（varepsilon）-图和k-NN图上拉普拉斯算子的改进谱收敛速度》，应用。计算。哈蒙。分析。，60, 123-175 (2022) ·Zbl 07557811号 ·doi:10.1016/j.acha.2022.02.004
[9] Calder，J.，Slepčev，D.：半监督学习的适当加权图Laplacian。申请。数学。最佳方案：规范发布选项。数据科学。1-49 (2019)
[10] Caroccia，M。；Chambolle，A。；Slepčev，D.，图上的Mumford-Shah泛函及其渐近性，非线性，33，8，3846-3888（2020）·Zbl 1442.49020号 ·doi:10.1088/1361-6544/ab81ee
[11] 夏贝尔，O。；肖尔科夫，B。；Zien，A.，《半监督学习》（2006），伦敦：麻省理工学院，伦敦·doi:10.7551/mitpress/9780262033589.001.0001
[12] Cristoferi，R.，Thorpe，M.：点云上具有拉普拉斯算子的相变模型的大数据限制。发表在《欧洲应用数学杂志》（2018）上。arXiv预打印arXiv:1802.08703v2·Zbl 1503.49021号
[13] 戴维斯，E。；Sethuraman，S.，随机几何图上模块聚类的一致性，Ann.Appl。概率。，28, 4, 2003-2062 (2018) ·Zbl 1402.60016号 ·doi:10.1214/17-AAP1313
[14] 邓洛普，MM；斯莱普切夫，D。；斯图亚特，AM；Thorpe，M.，基于图形的半监督学习算法的大数据和零噪声极限，应用。计算。哈蒙。分析。，49, 2, 655-697 (2020) ·Zbl 1442.62768号 ·doi:10.1016/j.acha.2019.03.005
[15] El Alaoui，A.，Cheng，X.，Ramdas，A.，Wainwright，M.J.，Jordan，M.I.：半监督学习中基于（ell_p）的拉普拉斯正则化的渐近行为。摘自：学习理论会议，第879-906页（2016年）
[16] Evans，L.C.：偏微分方程，第19卷。美国数学学会（2010）·Zbl 1194.35001号
[17] Fitschen，J.H.，Laus，F.，Schmitzer，B.：流形值图像的最佳传输。In:计算机视觉中的尺度空间和变分方法，第460-472页（2017）·Zbl 1489.65039号
[18] 弗洛雷斯，M。；Calder，J。；Lerman，G.，图上基于Lp的半监督学习的分析和算法，应用。计算。哈蒙。分析。，60, 77-122 (2022) ·Zbl 07557810号 ·doi:10.1016/j.acha.2022.01.004
[19] 北卡罗来纳州加西亚·特里洛斯。；Gerlach，M。；海因，M。；Slepčev，D.，随机几何图上的图Laplacian向Laplace-Beltrami算子的谱收敛的误差估计，Found。计算。数学。，20, 4, 827-887 (2020) ·兹比尔1447.62141 ·文件编号：10.1007/s10208-019-09436-w
[20] García Trillos，N.、Kaplan，Z.、Samakhoana，T.、Sanz-Alonso，D.：关于基于图形的贝叶斯学习的一致性和采样算法的可扩展性（2017）。arXiv：1710.07702·Zbl 1498.68269号
[21] GarciaTrillos，北卡罗来纳州。；Murray，RW，图拉普拉斯回归元一致收敛的最大原理论证，SIAM J.Math。数据科学。，2, 3, 705-739 (2020) ·Zbl 1485.35137号 ·doi:10.1137/19M1245372
[22] García Trillos，N.，Sanz-Alonso，D.：图贝叶斯反问题中后验函数的连续极限。SIAM J.数学。分析。(2018) ·Zbl 1416.28003号
[23] 北卡罗来纳州加西亚·特里洛斯。；Slepčev，D.，点云总变差的连续极限，Arch。定额。机械。分析。，220, 1, 193-241 (2016) ·Zbl 1336.68215号 ·doi:10.1007/s00205-015-0929-z
[24] 北卡罗来纳州加西亚·特里洛斯。；Slepčev，D.，谱聚类一致性的变分方法，应用。计算。哈蒙。分析。，45, 2, 239-381 (2018) ·Zbl 1396.49013号 ·doi:10.1016/j.acha.2016.09.003
[25] 北卡罗来纳州加西亚·特里洛斯。；斯莱普切夫，D。；von Brecht，J.，使用图形切割估算周长，高级应用。概率。，49, 4, 1067-1090 (2017) ·Zbl 1425.60014号 ·doi:10.1017/apr.2017.34
[26] 北卡罗来纳州加西亚·特里洛斯。；斯莱普切夫，D。；冯·布莱希特，J。；Laurent，T。；Bresson，X.，Cheeger和比率图切割的一致性，J.Mach。学习。研究，17，1，6268-6313（2016）·Zbl 1392.62180号
[27] Gilbarg，D.，Trudinger，N.S.：二阶椭圆偏微分方程。数学经典。Springer-Verlag，柏林（2001年）。1998年版重印·Zbl 1042.35002号
[28] Green，A.，Balakrishnan，S.，Tibshirani，R.：通过邻域图上的拉普拉斯正则化在sobolev空间上的Minimax最优回归。收录于：Banerjee，A.，Fukumizu，K.（编辑）《第24届国际人工智能与统计会议论文集》，《机器学习研究论文集》第130卷，第2602-2610页。PMLR（2021）
[29] Hein，M.，Audibert，J.-Y.，von Luxburg，U.：从图到流形——图Laplacians的弱和强逐点一致性。摘自：学习理论会议，第470-485页（2005年）·Zbl 1095.68097号
[30] 劳勒，GF；Limic，V.，《随机行走：现代导论》（2010），剑桥：剑桥大学出版社，剑桥·兹比尔1210.60002 ·doi:10.1017/CBO9780511750854
[31] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[32] Leoni，G.：索波列夫空间第一课程，第105卷。美国数学学会（2009）·Zbl 1180.46001号
[33] 米勒，T。；Penrose，MD，《随机几何图的最优切和二分法》，Ann.Appl。概率。，30, 3, 1458-1483 (2020) ·Zbl 1459.05306号 ·doi:10.1214/19-AAP1534
[34] Nadler，B.，Srebro，N.，Zhou，X.：半监督学习的统计分析：无限未标记数据的极限。摘自：《神经信息处理系统进展》，第1330-1338页（2009年）
[35] 奥斯汀，B。；Reeb，T.，Dirichlet分区的一致性，SIAM J.Math。分析。，49, 5, 4251-4274 (2017) ·Zbl 1381.62192号 ·doi:10.1137/16M1098309
[36] 彭罗斯，M.，《随机几何图》（2003），牛津：牛津大学出版社，牛津·Zbl 1029.60007号 ·doi:10.1093/acprof:oso/9780198506263.001.0001
[37] 施，Z。；Osher，S。；Zhu，W.，基于稀疏数据插值的加权非局部Laplacian，J.Sci。计算。，73, 2-3, 1164-1177 (2017) ·Zbl 1381.65007号 ·doi:10.1007/s10915-017-0421-z
[38] Shi，Z.，Wang，B.，Osher，S.J.：随机点云上加权非局部Laplacian的误差估计（2018）。arXiv:1809.08622
[39] Singer，A.，《从图到流形Laplacian：收敛速度》，应用。计算。哈蒙。分析。，21, 1, 128-134 (2006) ·兹比尔1095.68102 ·doi:10.1016/j.acha.2006.03.004
[40] 斯莱普切夫，D。；Thorpe，M.，半监督学习中的拉普拉斯正则化分析，SIAM J.数学。分析。，51, 3, 2085-2120 (2019) ·兹比尔1422.49020 ·doi:10.1137/17M115222X
[41] 索普，M。；帕克，S。；科洛里，S。；罗德，GK；Slepčev，D.，信号分析的运输距离，J.Math。成像视觉。，59, 2, 187-210 (2017) ·Zbl 1391.94415号 ·doi:10.1007/s10851-017-0726-4
[42] 索普，M。；Theil，F.，点云上Ginzburg-Landau泛函的渐近分析，Proc。R.Soc.爱丁堡。第节。A： 数学。，149, 2, 387-427 (2019) ·Zbl 1417.49013号 ·doi:10.1017/prm.2018.32
[43] Thorpe，M.，van Gennip，Y.：剩余神经网络的深度极限（2018）。arXiv:1810.11741年·Zbl 07643751号
[44] Yuan，A.，Calder，J.，Osting，B.：PageRank算法的连续极限。Eur.J.应用。数学。(2021) ·Zbl 1505.35124号
[45] Zhou，D.，Bousquet，O.，Lal，T.，Weston，J.，Schölkopf，B.：通过最大化平滑度实现半监督学习。J.马赫。学习。研究（2004）
[46] Zhou，D.，Bousquet，O.，Lal，T.N.，Weston，J.，Schölkopf，B.：学习与本地和全球一致性。摘自：《神经信息处理系统进展》，第321-328页（2004年）
[47] Zhou，D.，Huang，J.，Schölkopf，B.：从有向图上的标记和未标记数据中学习。摘自：《第22届机器学习国际会议论文集》，第1036-1043页。ACM（2005）
[48] Zhou，D.，Schölkopf，B.：离散空间上的正则化。摘自：第27届DAGM模式识别会议，第361-368页（2005）
[49] Zhu，X.，Ghahramani，Z.，Lafferty，J.D.：使用高斯场和调和函数的半监督学习。《第20届机器学习国际会议论文集》，第912-919页（2003）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。