×

图上半监督学习算法的一致性:probit和one-hot方法。 (英语) Zbl 1527.68179号

摘要:基于图的半监督学习是将标签从少量标记数据点传播到较大的未标记数据集的问题。本文关注基于优化的技术在标签噪声较小且底层未标记数据聚类良好的情况下解决此类问题的一致性。我们研究了基于图的二进制分类问题,并将该方法自然推广到使用单热点编码的多类分类。得到的待优化目标函数包括通过拉普拉斯图有理函数定义的二次型之和,该有理函数仅涉及未标记数据,保真度项仅涉及标记数据。一致性分析有助于选择定义优化的有理函数。

MSC公司:

68T05型 人工智能中的学习和自适应系统
05元50分 图和线性代数(矩阵、特征值等)
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] Mark Bagnoli和Ted Bergstrom。对数压缩概率及其应用。经济理论,26(2):445-4692005·Zbl 1077.60012号
[2] 米哈伊尔·贝尔金和帕塔·尼约吉。用于嵌入和聚类的拉普拉斯特征映射和光谱技术。第14届神经信息处理系统国际会议论文集:自然和合成,第585-5912001页·Zbl 1085.68119号
[3] 米哈伊尔·贝尔金和帕塔·尼约吉。拉普拉斯特征映射的收敛性。《第19届神经信息处理系统国际会议论文集:天然和合成》,第129-136页,2007年。
[4] 米哈伊尔·贝尔金(Mikhail Belkin)、伊琳娜·马特维娃(Irina Matveeva)和帕塔·尼约吉(Partha Niyogi)。大型图的正则化和半监督学习。《计算学习理论国际会议论文集》,第624-638页,2004年·Zbl 1078.68685号
[5] 米哈伊尔·贝尔金(Mikhail Belkin)、帕塔·尼约吉(Partha Niyogi)和维卡斯·辛德瓦尼(Vikas Sindhwani)。流形正则化:从标记和未标记的例子中学习的几何框架。机器学习研究杂志,7:2399-24342006·Zbl 1222.68144号
[6] 安德烈亚·贝尔托齐(Andrea L Bertozzi)和阿朱娜·弗伦纳(Arjuna Flenner)。用于高维数据分类的图上的扩散接口模型。多尺度建模与仿真,10(3):1090-11182012·Zbl 1259.68215号
[7] 安德烈亚·贝尔托齐(Andrea L Bertozzi)、罗西阳(Xiyang Luo)、安德鲁·斯图亚特(Andrew M Stuart)和康斯坦蒂诺斯·齐加拉基斯(Konstantinos C Zygalakis)。基于图形的高维数据分类中的不确定性量化。SIAM/ASA《不确定性量化杂志》,6(2):568-5952018年·Zbl 1394.62083号
[8] 安德烈亚·贝尔托齐(Andrea L Bertozzi)、班达德·侯赛尼(Bamdad Hosseini)、郝丽(Hao Li)、凯文·米勒(Kevin Miller)和安德鲁·斯图亚特(Andrew M Stuart)。图上半监督回归的后验一致性。arXiv预印本:2007.128092020。
[9] Avrim Blum和Shuchi Chawla。使用图形切割从标记和未标记数据中学习。《第18届机器学习国际会议论文集》,第19-26页,2001年。
[10] 弗拉基米尔·博加乔夫。《可微测度与Malliavin演算》,《数学保证与专著》第164卷。AMS,普罗维登斯,2010年·Zbl 1247.28001号
[11] Emmanuel J Cand’es和Pragya Sur。高维logistic回归中最大似然估计存在的相变。《统计年鉴》,48(1):27-422020·Zbl 1439.62171号
[12] Victor Chen、Matthew M Dunlop、Omiros Papaspiliopoulos和Andrew M Stuart。贝叶斯反问题中的维数鲁棒mcmc。arXiv预印本:1803.033442018。
[13] 范瑞忠。谱图理论。CBMS数学区域会议系列第92位。AMS,普罗维登斯,1997年。
[14] 罗纳德·科伊夫曼(Ronald R.Coifman)和圣伊凡·拉丰(St´ephane Lafon)。扩散贴图。应用和计算谐波分析,21(1):5-30,2006·Zbl 1095.68094号
[15] 托马斯·科尔曼(Thomas H Cormen)、查尔斯·雷瑟森(Charles E Leiserson)、罗纳德·里维斯特(Ronald L Rivest)和克利福德·斯坦(Clifford Stein)。算法简介。麻省理工学院出版社,剑桥,第三版,2009年·Zbl 1187.68679号
[16] 马修·邓洛普(Matthew M Dunlop)、德扬·斯莱普切夫(Dejan Slepécev)、安德鲁·斯图亚特(Andrew M Stuart)和马修·索普(Mathew Thorpe)。基于图形的半监督学习算法的大数据和零噪声限制。应用和计算谐波分析,49(2):655-6972020·Zbl 1442.62768号
[17] 尼科尔饰演加尔科·阿特里洛斯和德扬·斯莱普·切夫。光谱聚类一致性的变分方法。应用和计算谐波分析,45(2):239-2812008·Zbl 1396.49013号
[18] 尼科尔饰演加尔科·阿特里洛斯、莫里茨·格拉赫、马蒂亚斯·海因和德扬·斯莱普·切夫。随机几何图上的图Laplacian向Laplace-Beltrami算子谱收敛的误差估计。《计算数学基础》,2019年第1-61页。
[19] Gene H Golub和Charles F Van Loan。矩阵计算。约翰·霍普金斯大学出版社,巴尔的摩,第三版,1996年·Zbl 0865.65009号
[20] 弗朗卡·霍夫曼(Franca Hoffmann)、巴姆达德·侯赛尼(Bamdad Hosseini)、阿萨德·奥贝拉伊(Assad A Oberai)和安德鲁·斯图亚特(Andrew M Stuart)。数据聚类中加权拉普拉斯算子的光谱分析。arXiv预印本:1909.063892020a。
[21] 弗朗卡·霍夫曼(Franca Hoffmann)、巴姆达德·侯赛尼(Bamdad Hosseini)、阿萨德·奥贝拉伊(Assad A Oberai)和安德鲁·斯图亚特(Andrew M Stuart)。连续极限下图形半监督学习算法的一致性:probit方法。编制中,2020b。
[22] 乔治奥斯·科斯托普洛斯(Georgios Kostopoulos)、斯塔马蒂斯·卡洛斯(Stamatis Karlos)、索蒂里斯·科齐安提斯(Sotiris Kotsiantis)和奥米罗斯·拉戈斯(Omiros Ragos)。半监督回归:最新综述。智能与模糊系统杂志,35(2):1483-15002018。
[23] 井磊和亚历山德罗·里纳尔多。随机块模型中谱聚类的一致性。《统计年鉴》,43(1):215-2372015·Zbl 1308.62041号
[24] Finn Lindgren、H˚avard Rue和Johan Lindstr–om。高斯场和高斯-马尔可夫随机场之间的明确联系:随机偏微分方程方法。《皇家统计学会杂志:B辑(统计方法)》,73(4):423-4982011年·Zbl 1274.62360号
[25] Andrew Y Ng、Michael I Jordan和Yair Weiss。关于谱聚类:分析和算法。《第14届神经信息处理系统国际会议论文集:天然和合成》,第849-856页,2001年。
[26] 安德烈斯·普雷科帕。对数凹测度及相关主题。《随机编程》,第63-82页,1980年·Zbl 0459.90056号
[27] 乔一玲(Yiling Qiao)、常石(Chang Shi)、王晨健(Chenjian Wang)、郝丽(Hao Li)、马特·哈伯兰(Matt Haberland)、罗西阳(Xiyang Luo)、安德鲁·斯图亚特(Andrew M Stuart)和安德烈亚·贝尔托齐。图像处理中半监督多类分类的不确定性量化和车载视频的自我运动分析。电子成像,2019(11):264-12019。
[28] 卡尔·拉斯穆森(Carl E Rasmussen)和克里斯托弗·基·威廉姆斯(Christopher KI Williams)。机器学习的高斯过程。麻省理工学院出版社,剑桥,2006年·Zbl 1177.68165号
[29] 阿德里安·索马尔(Adrien Saumard)和乔恩·威尔纳(Jon A Wellner)。对数凹度和强对数凹度:综述。统计调查,2014年8月45日·Zbl 1360.62055号
[30] Bernhard Sch¨olkopf和Alexander J Smola。使用内核学习:支持向量机、正则化、优化及其他。麻省理工学院出版社,剑桥,2002年。
[31] 史建波(Jianbo Shi)和马利克(Jitendra Malik)。标准化切割和图像分割。IEEE模式分析和机器智能汇刊,22(8):888-9052000。
[32] 德扬·斯莱普·切夫和马修·索普。半监督学习中p-Laplacian正则化的分析。SIAM数学分析杂志,51(3):2085-21202019·Zbl 1422.49020号
[33] Alex J Smola和Bernhard Sch¨olkopf。基于核的模式识别、回归、近似和算子反演方法。《算法》,22(1-2):211-2311998·Zbl 0910.68189号
[34] 丹尼尔·斯皮尔曼和尚华腾。谱划分工作:平面图和有限元网格。《第37届计算机科学基础会议论文集》,第96-105页,1996年·Zbl 1122.05062号
[35] 丹尼尔·斯皮尔曼和尚华腾。谱划分工作:平面图和有限元网格。线性代数及其应用,421(2-3):284-305,2007·Zbl 1122.05062号
[36] 英戈·斯坦瓦特(Ingo Steinwart)。关于核对支持向量机一致性的影响。机器学习研究杂志,2:67-932001·Zbl 1009.68143号
[37] 英戈·斯坦瓦特(Ingo Steinwart)。支持向量机和其他正则化核分类器的一致性。IEEE信息理论汇刊,51(1):128-1422005·Zbl 1304.62090号
[38] Pragya Sur和Emmanuel J Cand’es。高维逻辑回归的现代极大似然理论。《美国国家科学院院刊》,116(29):14516-1452019·Zbl 1431.62084号
[39] Ambuj Tewari和Peter L Bartlett。关于多类分类方法的一致性。机器学习研究杂志,8:1007-10252007·Zbl 1222.62079号
[40] 弗拉基米尔·纳瓦普尼克。统计学习理论。施普林格,纽约,1995年·Zbl 0833.62008号
[41] Ulrike Von Luxburg.光谱聚类教程.统计与计算,17(4):395-4162007。
[42] Ulrike Von Luxburg、Mikhail Belkin和Olivier Bousquet。光谱聚类的一致性。《统计年鉴》,36(2):555-5862008·Zbl 1133.62045号
[43] 吴明瑞和Bernhard Sch¨olkopf。通过局部学习正则化的传递性分类。《第十一届国际人工智能与统计会议论文集》,第628-6352007页。
[44] 吴强和周丁轩。支持向量机分类分析。计算分析与应用杂志,8(2),2006年·Zbl 1098.68680号
[45] 许欢、君士坦丁·卡拉马尼斯和谢曼诺。支持向量机的鲁棒性和正则化。《机器学习研究杂志》,10:1485-15102009年·Zbl 1235.68209号
[46] 朱晓金(Xiaojin Zhu)、Zoubin Ghahramani和John D Lafferty。使用高斯场和调和函数的半监督学习。第20届机器学习国际会议论文集,第912-9192003a页。
[47] 朱晓金、约翰·拉弗蒂和邹宾·加拉马尼。使用高斯场和调和函数将主动学习和半监督学习相结合。InICML研讨会,机器学习和数据挖掘中从标记数据到未标记数据的连续性,2003b。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。