×
科琳·琼斯;文森特·鲁莱特;扎伊德·哈查伊

具有表示学习的判别聚类，具有任意比率的标记数据和未标记数据。 （英文） Zbl 1481.62003年

统计计算。 32，第1号，第17号论文，24页（2022年）.
摘要：我们提出了一种判别聚类方法，在该方法中，可以从数据中学习特征表示，并利用标记数据。表示学习可以为基于相似性的聚类方法提供自动适应潜在但隐藏的数据几何结构的能力。该方法使用基于梯度的随机训练算法和带熵正则化的最优传输算法来执行簇分配步骤，从而增强了DIFFRAC方法的表示学习能力。当改变标记数据与未标记数据的比率，从而在完全无监督状态和完全监督状态之间进行插值时，在几个实际数据集上对所得方法进行评估。实验结果表明，即使在完全无监督的情况下，该方法也可以学习强大的特征表示，并且可以利用即使是少量的标记数据来改进特征表示，并获得复杂数据集的更好聚类。

MSC公司：

62-08 统计问题的计算方法
62H30型 分类和区分；聚类分析（统计方面）

关键词：

判别聚类;无监督学习;半监督学习;表征学习

软件：

伦敦银行支持向量机;衍射;MBC手册;PyTorch公司;CIFAR公司;梅格曼;科学Py;MixMatch（混合匹配）;蟒蛇;t-SNE公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Jones}等人，《统计计算》。32，第1号，第17号论文，24页（2022；Zbl 1481.62003）
全文： 内政部 arXiv公司

参考文献：

[1] Alayrac，J.B.，Bojanowski，P.，Agrawal，N.，Sivic，J.，Laptev，I.，Lacoste-Julien，S.：无监督学习叙事教学视频。摘自：计算机视觉和模式识别会议，第4575-4583页（2016年）
[2] Ardila，D。；阿联酋基拉利；巴拉德瓦吉，S。；Choi，B。；Reicher，JJ；彭，L。；谢，D。；埃特马迪，M。；Ye，W。；Corrado，G。；奈迪奇，民主党人；Shetty，S.，低剂量胸部计算机断层扫描三维深度学习的端到端肺癌筛查，《国家医学》，25，6，954-961（2019）·doi:10.1038/s41591-019-0447-x
[3] Asano，Y.M.，Rupprecht，C.，Vedaldi，A.：通过同时聚类和表征学习进行自我标记。参加：国际学习代表大会（2020年）
[4] Bach，F.R.，Harchaoui，Z.：DIFFRAC：一种区分性和灵活的聚类框架。《神经信息处理系统进展》，第49-56页，（2007）
[5] 巴赫，法国；Jordan，MI，《学习频谱聚类及其在语音分离中的应用》，J.Mach。学习。1963-2001年第7号决议（2006年）·Zbl 1222.68138号
[6] 巴赫曼，P.，阿尔沙里夫，O.，普雷库普，D.：用假装配学习。摘自：《神经信息处理系统进展》，第3365-3373页，（2014年）
[7] Bachman，P.，Hjelm，R.D.，Buchwalter，W.：通过最大化视图之间的相互信息来学习表示。摘自：《神经信息处理系统进展》，第15509-15519页，（2019）
[8] Basu，S.、Banerjee，A.、Mooney，R.：通过播种实现半监督聚类。摘自：机器学习国际会议，第27-34页，（2002年）
[9] 贝尔金，M。；Niyogi，P。；Sindhwani，V.，《流形正则化：从标记和未标记示例学习的几何框架》，J.Mach。学习。第7号决议，2399-2434（2006）·Zbl 1222.68144号
[10] Belkin，M.，Ma，S.，Mandal，S.：为了理解深度学习，我们需要理解内核学习。摘自：机器学习国际会议，第540-548页（2018年）
[11] Berthelot，D.、Carlini，N.、Goodfellow，I.、Papernot，N.，Oliver，A.、Raffel，C.：MixMatch：半监督学习的整体方法。主题：神经信息处理系统进展，第5050-5060页（2019年）
[12] Bertsekas，DP，非线性规划（2016），Belmont:Athena Scientific，Belmon·Zbl 1360.90236号
[13] Beyer，L.，Zhai，X.，Oliver，A.，Kolesnikov，A.：S4L：自我监督半监督学习。摘自：计算机视觉国际会议，第1476-1485页（2019年）
[14] Bilenko，M.，Basu，S.，Mooney，R.J.：在半监督聚类中集成约束和度量学习。摘自：机器学习国际会议（2004）
[15] Bo，L.，Lai，K.，Ren，X.，Fox，D.：使用层次化核描述符进行对象识别。在：计算机视觉和模式识别会议，第1729-1736页（2011年）
[16] 博克·R。；Chilingarian，A。；高格，M。；Hakl，F。；亨斯特贝克，T。；吉里娜，M。；克拉什卡，J。；Kotrc，E。；Savicky，P。；塔，S。；Vaicilius，A。；Wittek，W.，《多维事件分类方法：使用切伦科夫伽马射线望远镜图像的案例研究》，Nucl。仪器。方法物理学。决议A，516，2，511-528（2004）·doi:10.1016/j.nima.2003.08.157
[17] Bojanowski，P.，Joulin，A.：通过预测噪声进行无监督学习。In:机器学习国际会议，pp 517-526（2017）
[18] Bojanowski，P.、Lajugie，R.、Bach，F.、Laptev，I.、Ponce，J.、Schmid，C.、Sivic，J.：排序约束下视频中的弱监督动作标记。摘自：欧洲计算机视觉会议，第628-643页（2014年）
[19] Bojanowski，P.，Lajugie，R.，Grave，E.，Bach，F.，Laptev，I.，Ponce，J.，Schmid，C.：视频与文本的弱监督对齐。In:计算机视觉国际会议，pp 4462-4470（2015）
[20] Bouveyron，C。；Celeux，G。；墨菲，TB；Raftery，AE，基于模型的数据科学聚类和分类。R（2019）中的申请，剑桥：剑桥大学出版社，剑桥·Zbl 1436.62006年 ·doi:10.1017/9781108644181
[21] Byerly，A.，Kalganova，T.，Dear，I.：分支和合并卷积网络与均匀滤膜。CoRR abs/2001.09136（2020）
[22] Caron，M.，Bojanowski，P.，Joulin，A.，Douze，M.：用于视觉特征的无监督学习的深度聚类。摘自：欧洲计算机视觉会议，第139-156页（2018年）
[23] Chang，CC；Lin，CJ，LIBSVM：支持向量机库，ACM Trans。智力。系统。技术。，2, 1-27 (2011) ·数字对象标识代码：10.1145/1961189.1961199
[24] 沙佩尔，O。；Schlkopf，B。；Zien，A.，《半监督学习》（2010），伦敦：麻省理工学院出版社，伦敦
[25] Daniely，A.，Frostig，R.，Singer，Y.：深入理解神经网络：初始化的力量和表达的双重观点。摘自：《神经信息处理系统进展》，第2253-2261页（2016年）
[26] Daniely，A.，Frostig，R.，Gupta，V.，Singer，Y.：组成内核的随机特征。CoRR abs/1703.07872（2017）
[27] Doersch，C.，Gupta，A.，Efros，A.A.：通过上下文预测进行无监督视觉表征学习。在：国际计算机视觉会议，第1422-1430页（2015）
[28] Dosovitskiy，A。；菲舍尔，P。；施普林伯格，JT；马萨诸塞州里德米勒；Brox，T.，用样本卷积神经网络进行判别式无监督特征学习，IEEE Trans。模式分析。机器。智力。，38, 9, 1734-1747 (2016) ·doi:10.1109/TPAMI.2015.2496141
[29] van Engelen，JE；Hoos，HH，半监督学习调查，马赫。学习。，109, 2, 373-440 (2020) ·Zbl 1441.68215号 ·doi:10.1007/s10994-019-05855-6
[30] 北弗拉姆马里恩。；Palaniappan，B。；Bach，F.，《带稀疏正则化子的稳健鉴别聚类》，J.Mach。学习。决议，18，1-50（2017）·Zbl 1440.62243号
[31] Fukumizu，K.，Gretton，A.，Lanckriet，G.，Schölkopf，B.，Sriperumbudur，B.K.：概率分布rkhs嵌入的核选择和可分类性。In:神经信息处理系统进展，第22卷（2009年）
[32] Ghasedi Dizaji，K.，Herandi，A.，Deng，C.，Cai，W.，Huang，H.：通过联合卷积自动编码器嵌入和相对熵最小化进行深度聚类。摘自：计算机视觉国际会议，第5747-5756页（2017年）
[33] 古德费罗，IJ；Y.本吉奥。；Courville，AC，深度学习，自适应计算和机器学习（2016），伦敦：麻省理工学院出版社，伦敦·Zbl 1373.68009号
[34] Grandvalet，Y.，Bengio，Y.：通过熵最小化的半监督学习。《神经信息处理系统进展》，第529-536页（2004年）
[35] Guyon，I.、Gunn，S.R.、Ben-Hur，A.、Dror，G.：NIPS 2003特征选择挑战的结果分析。《神经信息处理系统进展》，第545-552页（2004年）
[36] 哈根，LW；Kahng，AB，比率分割和聚类的新谱方法，IEEE Trans。计算。辅助设计。集成。电路系统。，1074-1085年9月11日（1992年）·doi:10.1109/43.159993年
[37] Häusser，P.，Mordvintsev，A.，Cremers，D.：关联学习——一种用于神经网络的通用半监督训练方法。In:计算机视觉和模式识别会议，第626-635页（2017）
[38] Hennig，C。；梅拉，M。；Murtagh，F。；Rocci，R.，《聚类分析手册》（2015），美国：CRC出版社，美国·Zbl 1331.68001号 ·doi:10.1201/b19706
[39] Hyvärinen，A.，Morioka，H.：通过时间对比学习和非线性ICA进行无监督特征提取。摘自：神经信息处理系统进展，第3765-3773页（2016年）
[40] Ischen，A.、Tolias，G.、Avrithis，Y.、Chum，O.：深度半监督学习的标签传播。在：计算机视觉和模式识别会议，第5070-5079页（2019）
[41] Jalali，A.，Han，Q.，Dumitriu，I.，Fazel，M.：在异质随机块模型中利用权衡实现精确恢复。摘自：神经信息处理系统进展，第4871-4879页（2016年）
[42] 约翰逊，J。；Douze，M。；Jégou，H.，使用GPU进行十亿级相似性搜索，IEEE Trans Big Data，7，3，535-547（2021）·doi:10.1109/TBDATA.2019.2921572
[43] Jones，C.：分区问题的表示学习。华盛顿大学博士论文（2020年）
[44] Joulin，A.，Bach，F.R.：弱监督分类器的凸松弛。参加：机器学习国际会议（2012）
[45] Joulin，A.，Bach，F.R.，Ponce，J.：图像联合分割的判别聚类。在：计算机视觉和模式识别会议，第1943-1950页（2010年）
[46] Kamnitsas，K.，Castro，D.C.，Folgoc，L.L.，Walker，I.，Tanno，R.，Rueckert，D.，Glocker，B.，Criminisi，A.，Nori，A.V.：通过紧凑潜在空间聚类实现半监督学习。摘自：国际机器学习会议，第2464-2473页（2018）
[47] Karp，R.M.：组合问题中的可约性。摘自：计算机计算的复杂性（第85-103页）。马萨诸塞州波士顿斯普林格（1975）·Zbl 1467.68065号
[48] Krizhevsky，A.，Hinton，G.：从微小图像中学习多层特征。多伦多大学（2009）
[49] Law，M.T.、Urtasun，R.、Zemel，R.S.：深谱聚类学习。参加：机器学习国际会议，第1985-1994页（2017年）
[50] LeCun，Y.：模型连接专家。居里大学（巴黎第六大学）博士论文（1987年）
[51] LeCun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.：基于梯度的学习应用于文档识别。In:智能信号处理，IEEE出版社，第306-351页（2001）
[52] Lee，D.H.：伪拉贝尔：深度神经网络的简单有效的半监督学习方法。参加：关于表征学习挑战的机器学习国际会议研讨会（2013年）
[53] Lee，J.、Bahri，Y.、Novak，R.、Schoenholz，S.S.、Pennington，J.和Sohl-Dickstein，J.：作为高斯过程的深层神经网络。在：国际学习代表大会（2018）·Zbl 07330523号
[54] Li，Y.、Wang，G.、Ji，X.、Xiang，Y.和Fox，D.：DeepIM：用于6D姿势估计的深度迭代匹配。摘自：欧洲计算机视觉会议，第695-711页（2018年）
[55] Löwe，S.，O’Connor，P.，Veeling，B.：结束端到端：表征的梯度隔离学习。摘自：神经信息处理系统进展，第3033-3045页（2019年）
[56] Lütkepohl，H.，矩阵手册（1996），奇切斯特：威利·Zbl 0856.15001号
[57] von Luxburg，U.，《光谱聚类教程》，《统计计算》。，17, 4, 395-416 (2007) ·数字对象标识代码：10.1007/s11222-007-9033-z
[58] MacQueen，J.：多元观测分类和分析的一些方法。摘自：伯克利数理统计与概率研讨会（1967年）·Zbl 0214.46201号
[59] Mairal，J.：带监督卷积核网络的端到端核学习。In：《神经信息处理系统的进展》，第1399-1407页（2016）
[60] Mairal，J.、Koniusz，P.、Harchaoui，Z.、Schmid，C.：卷积核网络。《神经信息处理系统进展》，第2627-2635页（2014年）
[61] Matthews，A.、Hron，J.、Rowland，M.、Turner，R.E.、Ghahramani，Z.：广深神经网络中的高斯过程行为。参加：学习代表国际会议（2018年）
[62] McQueen，J。；梅勒，M。；范德普拉斯，J。；Zhang，Megaman：《Python中的可伸缩流形学习》，J.Mach。学习。决议，17，148，1-5（2016）·Zbl 1393.68155号
[63] Meila，M.：光谱聚类。摘自：聚类分析手册。博卡拉顿，第125-141页。佛罗里达州CRC出版社（2016）·兹比尔1396.62149
[64] Meila，M.、Shortreed，S.M.、Xu，L.：正则化谱学习。参加：人工智能和统计讲习班（2005年）
[65] 莫赫里，M。；Rostamizadeh，A。；Talwalkar，A.，《机器学习、自适应计算和机器学习基础》（2012），伦敦：麻省理工学院出版社，伦敦·Zbl 1318.68003号
[66] Nesterov，Y.，凸优化讲座（2018），Cham:Springer，Cham·Zbl 1427.90003号 ·doi:10.1007/978-3-319-91578-4
[67] Noroozi，M.，Favaro，P.：通过解决拼图难题实现视觉表征的无监督学习。摘自：欧洲计算机视觉会议，第69-84页（2016年）
[68] Oglic，D.，Gärtner，T.：以核k-means++样本为标志的Nyström方法。In:机器学习国际会议，pp 2652-2660（2017）
[69] Oliver，A.、Odena，A.、Raffel，C.A.、Cubuk，E.D.、Goodfellow，I.J.：深度半监督学习算法的现实评估。主题：神经信息处理系统进展，pp 3239-3250（2018）
[70] Paszke，A.、Gross，S.、Massa，F.、Lerer，A.、Bradbury，J.、Chanan，G.、Killeen，T.、Lin，Z.、Gimelshein，N.、Antiga，L.、Desmaison，A.、Kopf，A.，Yang，E.、DeVito，Z.，Raison，M.、Tejani，A.、Chilamkurthy，S.，Steiner，B.、Fang，L.，Bai，J.，Chintala，S.：PyTorch：命令式，高性能深度学习库。主题：神经信息处理系统进展，第8024-8035页（2019年）
[71] 佩雷斯·克鲁兹，F。；Bousquet，O.，《内核方法及其在信号处理中的潜在应用》，IEEE信号处理。Mag.，21，3，57-65（2004）·doi:10.1109/MSP.2004.1296543
[72] 佩雷，G。；Cuturi，M.，《计算最优运输》，Found。趋势马赫数。学习。，11, 5-6, 355-607 (2019) ·Zbl 1475.68011号 ·doi:10.1561/2200000073
[73] Rahimi，A.，Recht，B.：大型内核机器的随机特性。摘自：《神经信息处理系统进展》，第1177-1184页（2007年）
[74] Schölkopf，B。；Smola，A。；Müller，KR，作为核特征值问题的非线性分量分析，神经计算。，10, 5, 1299-1319 (1998) ·doi:10.11162/08997698300017467
[75] Schrijver，A.，《组合优化：多面体和效率》（2003），柏林：施普林格出版社，柏林·Zbl 1041.90001号
[76] Sermanet，P.、Lynch，C.、Chebotar，Y.、Hsu，J.、Jang，E.、Schaal，S.、Levine，S.：时间控制网络：视频自我监督学习。In:机器人与自动化国际会议，pp 1134-1141（2018）
[77] 史J。；Malik，J.，标准化切割和图像分割，IEEE Trans。模式分析。机器。智力。，22, 8, 888-905 (2000) ·数字对象标识代码：10.1109/34.868688
[78] R.Sinkhorn。；Knopp，P.，关于非负矩阵和双随机矩阵，Pac。数学杂志。，21, 343-348 (1967) ·Zbl 0152.01403号 ·doi:10.2140/pjm.1967.21.343
[79] Swamy，C.：相关性聚类：通过半定规划最大化协议。摘自：ACM-SIAM离散算法研讨会，第526-527页（2004年）·Zbl 1318.68197号
[80] Thickstun，J.，Harchaoui，Z.，Foster，D.P.，Kakade，S.M.：监督音乐转录的不变性和数据增强。摘自：国际声学、语音和信号处理会议，第2241-2245页（2018年）
[81] Van Der Maaten，L。；Hinton，G.，《使用t-SNE可视化数据》，J.Mach。学习。研究，92579-2605（2008）·Zbl 1225.68219号
[82] Virtanen，P。；Gommers，R。；奥列芬特，TE；哈伯兰，M。；Reddy，T。；库纳波，D。；Burovski，E。；彼得森，P。；韦克瑟，W。；Bright，J。；范德沃尔特，SJ；布雷特，M。；Wilson，J。；KJ Millman；北马约罗夫。；纳尔逊，ARJ；琼斯，E。；科恩，R。；Larson，E。；Vázquez Baeza，Y.，Scipy 1.0：Python科学计算的基本算法，自然方法，17，36261-272（2020）·doi:10.1038/s41592-019-0686-2
[83] 弗瑞克，I。；McNicholas，PD，分数监督分类，J.Classif。，32, 3, 359-381 (2015) ·Zbl 1331.62319号 ·doi:10.1007/s00357-015-9188-9
[84] Wang，X.，Gupta，A.：使用视频进行视觉表征的无监督学习。In:计算机视觉国际会议，pp 2794-2802（2015）
[85] White，M.，Schuurmans，D.：广义最优反向预测。摘自：国际人工智能与统计会议，第1305-1313页（2012年）
[86] Williams，C.K.I.，Seeger，M.W.：使用NyströM方法加速内核机器。In：《神经信息处理系统的进展》，第682-688页（2000年）
[87] Wu，Z。；Leahy，RM，《数据聚类的最优图论方法：理论及其在图像分割中的应用》，IEEE Trans。模式分析。机器。智力。，15, 11, 1101-1113 (1993) ·数字对象标识代码：10.1109/34.244673
[88] Wu，Z.，Xiong，Y.，Yu，S.X.，Lin，D.：通过非参数实例判别进行无监督特征学习。In:计算机视觉和模式识别会议，pp 3733-3742（2018）
[89] Xie，J.，Girshick，R.B.，Farhadi，A.：聚类分析的无监督深度嵌入。In:机器学习国际会议，pp 478-487（2016）
[90] Xing，E.P.，Jordan，M.I.关于归一化k-cut的半定松弛和与谱聚类的联系。技术代表UCB/CSD-03-1265，加州大学伯克利分校EECS系（2003）
[91] Xu，L.，White，M.，Schuurmans，D.：最优反向预测：有监督、无监督和半监督学习的统一观点。In:机器学习国际会议，pp 1137-1144（2009）
[92] Yang，J.，Parikh，D.，Batra，D.：深度表征和图像簇的联合无监督学习。In:计算机视觉和模式识别会议，pp 5147-5156（2016）
[93] 约德，J。；Priebe，CE，Semi-supervised\（k\）-means\（++\），J.Stat.Compute。模拟。，87, 13, 2597-2608 (2017) ·兹比尔07192083
[94] Zass，R.，Shashua，A.：谱聚类的双重随机归一化。In：神经信息处理系统的进展，pp 1569-1576（2006）
[95] Zha，H.，He，X.，Ding，C.H.Q.，Gu，M.，Simon，H.D.：k-means聚类的谱松弛。In：神经信息处理系统的进展，pp 1057-1064（2001）
[96] Zhang，R.，Isola，P.，Efros，A.A.：彩色图像着色。摘自：欧洲计算机视觉会议，第649-666页（2016年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。