×

稳健半监督分类的预测估计。 (英语) Zbl 1455.68172号

总结:为了在实践中安全地应用半监督技术,我们至少希望这些方法能优于其监督技术。我们使用著名的二次代理损失函数来研究这个分类问题。与其他半监督学习方法不同,本文提出的过程不依赖于现有分类器不固有的假设。通过将监督估计投影到未标记数据施加的一组约束上,我们发现我们可以在这种二次损失方面安全地改进监督解。更具体地说,我们证明了,在标记和未标记的训练数据上进行测量,这种半监督程序的二次损失永远不会低于监督方案。据我们所知,这是第一种为改进受监督的解决方案提供强大但保守的保证的方法。使用基准数据集解释了我们方法的特点,以进一步了解理论结果中使用的二次损失准则与实践中通常考虑的分类精度之间的异同。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

UCI-毫升
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Aubin,J.P.(2000)。应用功能分析(第二版)。霍博肯:威利。为9780471179764英镑·Zbl 0946.46001号 ·doi:10.1002/9781118032725
[2] Bartlett、Peter L.、Jordan、Michael I.和McAuliffe、Jon D.(2006年)。凸性、分类和风险边界。《美国统计协会杂志》,101(473),138-156。ISSN 0162-1459·兹比尔1118.62330 ·doi:10.1198/01621450000000907
[3] Ben-David,S.、Loker,D.、Srebro,N.和Sridharan,K.(2012年)。使用替代凸损失最小化误分类率。《第29届机器学习国际会议论文集》(第1863-1870页)。
[4] 沙佩尔、奥利维尔、舍尔科夫、伯恩哈德和齐恩、亚历山大。(2006). 半监督学习。剑桥:麻省理工学院出版社。国际标准图书编号9780262033589·doi:10.7551/mitpress/9780262033589.001.0001
[5] 科洛伯特、罗南、辛兹、费边、韦斯顿、杰森和波图、利昂。(2006). 大规模传导性SVM。机器学习研究杂志,71687-1712·Zbl 1222.68173号
[6] Cozman,F。;科恩,I。;Chapelle,O.(编辑);Schölkopf,B.(编辑);Zien,A.(编辑),半监督学习的风险,56-72(2006),剑桥
[7] Goldberg,A.B.和Zhu,X.(2009年)。保持真实:半监督学习和现实调整。NAACL HLT 2009自然语言处理半监督学习研讨会。
[8] Grandvalet,Y。;Y.本吉奥。;Saul,LK(编辑);Weiss,Y.(编辑);Bottou,L.(编辑),《熵最小化半监督学习》,529-536(2005),剑桥
[9] Hastie,T.、Tibshirani,R.和Friedman,J.(2009年)。统计学习的要素(第二版)。纽约:斯宾格。国际标准图书编号0387848576·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7
[10] Joachims,T.(1999)。使用支持向量机进行文本分类的传导性推理。《第16届机器学习国际会议论文集》(第200-209页)。伯灵顿:摩根考夫曼出版社。
[11] Krijthe,J.H.&Loog,M.(2015)。隐式约束半监督最小二乘分类。在Fromont,E.、De Bie,T.和van Leeuwen,M.(编辑),第14届智能数据分析进展国际研讨会XIV(计算机科学讲稿第9385卷),(第158-169页),圣埃蒂安。法国。
[12] John D.Lafferty和Larry Wasserman。(2007). 半监督回归的统计分析。神经信息处理系统进展,20,801-808。
[13] 劳伦斯,N.D.和乔丹,M.I.(2004)。通过高斯过程的半监督学习。《神经信息处理系统进展》,(第753-760页)·Zbl 1317.68178号
[14] Li,YF.和周,ZH。(2011). 让未标记的数据永不受损。第28届国际机器学习会议论文集,(第1081-1088页)。
[15] Lichman,M.(2013)。UCI机器学习库。统一资源定位地址http://archive.ics.uci.edu/ml。
[16] Loog,M.(2010年)。半监督学习的约束参数估计:最近均值分类器的情况。《2010年欧洲数据库机器学习和知识发现会议论文集》(第291-304页)。
[17] 马可·卢格。(2014). 通过力矩约束参数估计进行半监督线性判别分析。模式识别字母,37,24-31·doi:10.1016/j.patrec.2013.03.004
[18] 马可·卢格。(2016). 半监督分类的对比悲观似然估计。IEEE模式分析和机器智能汇刊,38(3),462-475·doi:10.1109/TPAMI.2015.2452921
[19] McLachlan,G.J.(1975)。判别分析中构造渐近最优分配规则的迭代重分类过程。《美国统计协会杂志》,70(350),365-369·Zbl 0319.62038号 ·doi:10.1080/016214591975.10479874
[20] 尼加姆、卡马尔、麦卡勒姆、安德鲁、K。特伦、塞巴斯蒂安和米切尔,汤姆。(2000). 使用EM.机器学习从标记和未标记文档中进行文本分类,34,1-34·Zbl 0949.68162号
[21] 帕塔·尼约吉。(2013). 流形正则化和半监督学习:一些理论分析。《机器学习研究杂志》,第14期,1229-1250页·Zbl 1317.68178号
[22] 奥珀,M。;Kinzel,W。;Domany,E.(编辑);Hemmen,JL(编辑);Schulten,K.(编辑),通用统计力学,151-209(1996),纽约·doi:10.1007/978-1-4612-0723-85
[23] Poggio,T.和Smale,S.(2003年)。学习的数学:处理数据。AMS通知,50(5),537-544·Zbl 1083.68100号
[24] Rasmussen,C.E.和Williams,C.K.I.(2005)。机器学习的高斯过程。麻省理工学院出版社·Zbl 1177.68165号
[25] Raudys、Sarunas和Duin,Robert P.W.(1998年)。具有伪逆协方差矩阵的Fisher线性分类器的预期分类误差。模式识别快报,19(5-6),385-392·Zbl 0907.68171号 ·doi:10.1016/S0167-8655(98)00016-6
[26] Schuurmans,Dale和Southey,Finnegan。(2002). 基于度量的自适应模型选择和正则化方法。机器学习,48,51-84·Zbl 0998.68116号 ·doi:10.1023/A:1013947519741
[27] Sindhwani,V.和Keerthi,S.S.(2006年)。大规模半监督线性SVM。《第29届ACM SIGIR国际信息检索研究与开发会议论文集》(第477页),纽约,ACM出版社。国际标准图书编号1595933697。
[28] Singh,A.、Nowak,R.和Zhu,X.(2008)。无标签数据:现在有帮助,但现在没有。《神经信息处理系统进展》(第1513-1520页)·Zbl 0319.62038号
[29] Zhu,X.、Ghahramani,Z.和Lafferty,J.(2003)。使用高斯场和调和函数的半监督学习。《第20届机器学习国际会议论文集》(第912-919页)。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。