×

兹马思-数学第一资源

基于加权积分概率度量的正向无标记学习的原理分析分类器。(英语) Zbl 07205219
摘要:我们考虑的问题是只从正的和未标记的观测值学习二元分类器(称为PU学习)。近年来在PU学习方面的研究在理论和实践上都显示出了优越的性能。然而,现有的大多数算法可能不适用于大规模数据集,因为它们面临着大规模Gram矩阵的重复计算或需要大量的超参数优化。在这篇文章中,我们提出一个计算效率高且理论上有根据的PU学习算法。当假设空间是再生核Hilbert空间中的一个闭球时,提出的PU学习算法产生一个闭式分类器。此外,我们还建立了估计误差和超额风险的上界。得到的估计误差界比已有的结果更为尖锐,导出的超额风险界具有显式形式,且随样本量的增大而消失。最后,我们使用合成数据集和真实数据集进行了大量的数值实验,证明了所提算法的准确性、可扩展性和鲁棒性。
理学硕士:
68T05型 人工智能中的学习与自适应系统
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] Arjovsky,M.,Chintala,S.和Bottou,L.(2017年)。瓦瑟斯坦生成对抗网络。国际机器学习会议,第214-223页。
[2] 巴特利特,波兰;密歇根州约旦;McAuliffe,JD,《凸性、分类和风险边界》,美国统计协会杂志,101473138-156(2006)·Zbl 1118.62330
[3] 巴特利特,波兰;Mendelson,S.,Rademacher和gaussian复杂性:风险边界和结构结果,机器学习研究杂志,3,11月,463-482(2002)·Zbl 1084.68549
[4] Bekker,J.和Davis,J.(2018年)。通过决策树归纳法估计正、无标记数据的类先验。第32届人工智能大会论文集。
[5] 布兰查德,G。;烧瓶,M。;汉迪,G。;火山灰。;Scott,C.,非对称标签噪声分类:一致性和最大去噪,电子统计杂志,10,2,2780-2824(2016)·Zbl 1347.62106
[6] 布兰查德,G。;李,G。;Scott,C.,半监督新颖性检测,机器学习研究杂志,11月,2973-3009(2010)·Zbl 1242.68205
[7] 张,C-C;Lin,C-J,Libsvm:支持向量机库,智能系统与技术ACM交易(TIST),2,3,27(2011)
[8] 小教堂。;舍尔科夫,B。;Zien,A.,半监督学习(2006),剑桥:麻省理工学院出版社,剑桥
[9] Collobert,R.,Sinz,F.,Weston,J.和Bottou,L.(2006年)。用凸性换取可伸缩性。第23届机器学习国际会议论文集,ACM,第201-208页。
[10] 丹尼斯,F。;吉列隆。;Letouzey,F.,《从正面和未标记的例子中学习》,理论计算机科学,348,1,70-83(2005)·Zbl 1081.68081
[11] Du Plessis,M.C.,Niu,G.和Sugiyama,M.(2014年)。从正数据和未标记数据中学习的分析。神经信息处理系统进展,第703-711页。
[12] Du Plessis,M.C.,Niu,G.和Sugiyama,M.(2015年)。从正数据和未标记数据学习的凸公式。国际机器学习会议,1386-1394页。
[13] Elkan,C.和Noto,K.(2008年)。只从正数据和未标记数据学习分类器。第14届ACM-SIGGDD国际知识发现与数据挖掘会议论文集,ACM,第213-220页。
[14] Gong,T.,Wang,G.,Ye,J.,Xu,Z.,和Lin,M.(2018年)。基于边缘的pu学习。在AAAI人工智能会议上。
[15] 格雷顿,A。;博尔瓦特,公里;拉什,MJ;舍尔科夫,B。;Smola,A.,核心双样本测试,机器学习研究杂志,13日,723-773(2012)·Zbl 1283.62095
[16] Gretton,A.,Smola,A.J.,Huang,J.,Schmittfull,M.,Borgwardt,K.M.,Schölkopf,B.,Candela,Q.,Sugiyama,M.,Schwaighofer,A.,Lawrence,N.D.等人(2009年)。基于核均值匹配的协变量移位。在机器学习中的数据集转移,麻省理工学院出版社,第131-160页。
[17] Huang,J.,Gretton,A.,Borgwardt,K.M.,Schölkopf,B.,和Smola,A.J.(2007年)。用未标记数据校正样本选择偏差。神经信息处理系统进展,第601-608页。
[18] Kato,M.,Teshima,T.和Honda,J.(2019年)。从有选择偏差的阳性和未标记数据中学习。在学习表征国际会议上。网址https://openreview.net/forum?id=rJzLciCqKm。
[19] Kiryo,R.,Niu,G.,Plessis,Du Marthinus C.,和Sugiyama,M.(2017年)。非负风险估计的正无标记学习。神经信息处理系统进展,1675-1685页。
[20] Li,X.和Liu,B.(2003年)。学习使用正数据和未标记数据对文本进行分类。《第18届人工智能国际联席会议论文集》,摩根考夫曼出版社,第587-592页。
[21] Li,X.-L.和Liu,B.(2005年)。从具有不同数据分布的正例和未标例中学习。欧洲机器学习会议,第218-229页。
[22] 林勇,分类、数据挖掘与知识发现中的支持向量机与贝叶斯规则,6,3,259-275(2002)
[23] Liu,B.,Dai,Y.,Li,X.,Lee,W.S.和Yu,P.S.(2003年)。使用正面和未标记的示例构建文本分类器。在2003年第三届IEEE国际数据挖掘会议上,ICDM 2003,IEEE,第179-186页。
[24] Liu,B.,Lee,W.S.,Yu,P.S.和Li,X.(2002年)。文本文档的部分监督分类。在国际机器学习会议,第2卷,城市,第387-394页。
[25] Müller,A.,积分概率度量及其生成函数类,应用概率进展,29,2429-443(1997)·Zbl 0890.60011
[26] Natarajan,N.,Dhillon,I.S.,Ravikumar,P.K.和Tewari,A.(2013年)。用嘈杂的标签学习。神经信息处理系统进展,1196-1204页·Zbl 1467.68151号
[27] Niu,G.,Du Plessis,M.C.,Sakai,T.,Ma,Y.和Sugiyama,M.(2016年)。积极无标记学习与积极消极学习的理论比较。神经信息处理系统进展,1199-1207页。
[28] Oh,C.Y.,Gavves,E.和Welling,M.(2018年)。博克:圆柱核贝叶斯优化。arXiv预印本第十四卷:1806.01619。
[29] Patrini,G.,Nielsen,F.,Nock,R.和Caronin,M.(2016年)。损失分解,弱监督学习和标签噪声鲁棒性。国际机器学习会议,第708-717页。
[30] 佩德雷戈萨,F。;瓦罗魁克。;格拉姆波特,A。;米歇尔,V。;蒂里翁,B。;格里塞尔,O。;布朗德,L。;普雷滕霍夫。;韦斯,R。;杜博格,V。;范德普拉斯,J。;帕索斯,A。;库纳佩乌,D。;布鲁彻,M。;佩罗特,M。;Duchesnay,E.,Scikit learn:python中的机器学习,机器学习研究杂志,122825-2830(2011)·Zbl 1280.68189
[31] Ramaswamy,H.,Scott,C.和Tewari,A.(2016年)。基于分布核嵌入的混合比例估计。国际机器学习会议,第2052-2060页。
[32] Sakai,T.,Du Plessis,M.C.,Niu,G.,和Sugiyama,M.(2017年)。基于正数据和未标记数据分类的半监督分类。国际机器学习会议,2998-3006页。
[33] 桑松,E。;德纳塔莱,FGB;Zhou,Z.,正向无标记学习的有效培训,IEEE模式分析与机器智能汇刊,41,11,2584-2598(2019)
[34] Scott,C.和Blanchard,G.(2009年)。新颖性检测:未标记的数据绝对有帮助。人工智能与统计学,第464-471页。
[35] 斯梅尔,S。;周德X,学习理论中的近似误差估计,分析与应用,1,1,17-41(2003)·Zbl 1079.68089
[36] 斯里普鲁姆布杜,BK;福米苏,英国。;格雷顿,A。;舍尔科夫,B。;Lanckriet,GRG,关于积分概率度量的经验估计,电子统计杂志,6155-1599(2012)·Zbl 1295.62035
[37] Sriperumbudur,B.K.,Fukumizu,K.和Lanckriet,G.(2010a)。关于测度的普适性、特征核与rkhs嵌入的关系。《第十三届国际人工智能与统计会议论文集》,第773-780页。
[38] 斯里普鲁姆布杜,BK;格雷顿,A。;福米苏,英国。;舍尔科夫,B。;Lanckriet,GRG,Hilbert空间嵌入和概率度量,机器学习研究杂志,11,4月1517-1561(2010)·Zbl 1242.60005
[39] 斯坦瓦特,I。;Christmann,A.,支持向量机(2008),柏林:斯普林格,柏林
[40] Tolstikhin,I.,Bousquet,O.,Gelly,S.和Schoelkopf,B.(2018年)。瓦瑟斯坦自动编码器。在学习表征国际会议上。
[41] 沃德,G。;黑斯蒂,T。;巴里,S。;Elith,J。;Leathwick,JR.,《仅存在数据和EM算法》,生物识别,65254-563(2009)·Zbl 1167.62098
[42] Xiao,Y.,Liu,B.,Yin,J.,Cao,L.,Zhang,C.,和Hao,Z.(2011年)。基于相似性的正向和无标记学习方法。在第二十二届国际人工智能联席会议上。
[43] Yan,H.,Ding,Y.,Li,P.,Wang,Q.,Xu,Y.和左,W.(2017年)。注意类权重偏差:无监督域自适应的加权最大平均偏差。2017年IEEE计算机视觉和模式识别会议(CVPR),IEEE,第945-954页。
[44] 杨,P。;李,X。;蔡美儿,H-N;Kwoh,C-K;Ng,S-K,疾病基因识别的集成阳性无标记学习,公共科学图书馆,9,5,e97079(2014)
[45] 杨,P。;Li,X-L;梅,J-P;Kwoh,C-K;Ng,S-K,疾病基因识别的正向无标记学习,生物信息学,28,20,2640-2647(2012)
[46] Zhang,J.,Wang,Z.,Yuan,J.,Tan,Y.-P.(2017年)。多特征异常检测的正学习和无标记学习。2017年ACM多媒体会议论文集,ACM,第854-862页。
[47] 张T,基于凸风险最小化的分类方法的统计行为与一致性,统计年鉴,32,56-85(2004)·11062ZB323.5升
[48] 德尔克霍姆霍尔克(2011)。仅从阳性和未标记数据中学习,以检测血管ct图像中的病变。医学图像计算和计算机辅助干预国际会议,斯普林格,第9-16页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。