×

基于正标记学习的半监督AUC优化。 (英语) Zbl 1458.68178号

机器。学习。 107,第4期,767-794(2018)更正同上107,No.4,795(2018)。
摘要:最大化接收机工作特性曲线(AUC)下的面积是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并将其扩展到半监督场景以处理小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,这在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,该方法不需要此类限制性假设。我们首先开发了一种仅基于正数据和未标记数据的AUC优化方法,然后将其与有监督AUC优化法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们演示了通过实验验证了所提方法的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Amini,M.R.、Truong,T.V.和Goutte,C.(2008)。一种学习带有部分标记数据的二部排序函数的增强算法。第31届ACM SIGIR信息检索研究与开发国际年会会议记录(第99-106页)。
[2] 巴特利特,PL;密歇根州约旦;McAuliffe,JD,凸性、分类和风险边界,美国统计协会杂志,101,138-156,(2006)·Zbl 1118.62330号 ·doi:10.1198/01621450000000907
[3] 布隆德尔,M;塞基,K;Uehara,K,大规模稀疏多类分类的块坐标下降算法,机器学习,93,31-52,(2013)·Zbl 1293.68216号 ·doi:10.1007/s10994-013-5367-2
[4] Chang,CC;Lin,CJ,LIBSVM:支持向量机库,ACM智能系统与技术汇刊,2,27,(2011)·数字对象标识代码:10.1145/1961189.1961199
[5] Chapelle,O.、Schölkopf,B.和Zien,A.(编辑)。(2006).半监督学习剑桥:麻省理工学院出版社。
[6] 科尔特斯,C;Mohri,M,AUC优化与错误率最小化,神经信息处理系统进展,16,313-320,(2004)
[7] Cozman,F.G.、Cohen,I.和Cirelo,M.C.(2003年)。混合模型的半监督学习。第20届机器学习国际会议论文集(第99-106页)。
[8] Dredze,M.、Crammer,K.和Pereira,F.(2008年)。置信度加权线性分类。第25届机器学习国际会议论文集(第264-271页)·Zbl 1432.68382号
[9] 普莱西斯,MC;牛,G;Sugiyama,M,从阳性和未标记数据中学习的分析,神经信息处理系统的进展,27,703-711,(2014)
[10] 普莱西斯,MC;牛,G;Sugiyama,M,从正数据和未标记数据中学习的类-前验估计,机器学习,106,463-492,(2017)·Zbl 1412.68181号 ·doi:10.1007/s10994-016-5604-6
[11] du Plessis,M.C.、Niu,G.和Sugiyama,M.(2015)。用于从正数据和未标记数据中学习的凸公式。第32届机器学习国际会议、JMLR研讨会和会议记录(第37卷,第1386-1394页)。
[12] Fujino,A.,Ueda,N.(2016年)。一种带生成模型的半监督AUC优化方法。IEEE第16届数据挖掘国际会议(第883-888页)。
[13] Gao,W.,&Zhou,Z.H.(2015)。AUC成对优化的一致性。国际人工智能联合会议(第939-945页)·Zbl 1412.68181号
[14] 高,W;王,L;金,R;朱,S;周,ZH,单向AUC优化,人工智能,2361-29,(2016)·Zbl 1357.68168号 ·doi:10.1016/j.artint.2016.03.003
[15] JA Hanley;麦克尼尔,BJ,接收器工作特性(ROC)曲线下面积的含义和使用,放射学,143,29-36,(1982)·doi:10.1148/放射学.143.1.7063747
[16] Herschtal,A.和Raskutti,B.(2004年)。使用梯度下降优化ROC曲线下的面积。第21届机器学习国际会议论文集.
[17] Joachims,T.(2002年)。使用点击数据优化搜索引擎。第八届ACM SIGKDD知识发现和数据挖掘国际会议记录(第133-142页)。
[18] 川库博,H;MC杜普莱西斯;Sugiyama,M,使用能量距离进行类平衡变化下的计算有效类前验估计,IEICE信息与系统交易,E99-D,176-186,(2016)·doi:10.1587/transinf.2015EDP7212
[19] Kotlowski,W.、Dembczynski,K.J和Huellermeier,E.(2011)。通过最小化单变量损失进行二元排序。第28届机器学习国际会议论文集(第1113-1120页)·Zbl 1357.68168号
[20] 克里杰,JH;Loog,M,通过隐式约束进行鲁棒半监督最小二乘分类,模式识别,63,115-126,(2017)·Zbl 1455.68172号 ·doi:10.1016/j.patcog.2016.09.009
[21] Lang,K.(1995)。Newsweeder:学习过滤网络新闻。第十二届国际机器学习会议记录.
[22] 刘易斯,DD;杨,Y;罗斯,TG;Li,F,RCV1:文本分类研究的新基准集合,《机器学习研究杂志》,5361-397,(2004)
[23] 李,YF;Zhou,ZH,《努力使未标记数据永不受损》,IEEE模式分析和机器智能汇刊,37175-188,(2015)·doi:10.1109/TPAMI.2014.2299812
[24] Lichman,M.(2013)。UCI机器学习库。http://archive.ics.uci.edu/ml。
[25] Mendelson,S,经验最小化算法的下限,IEEE信息理论汇刊,54,3797-3803,(2008)·Zbl 1328.68332号 ·doi:10.1109/TIT.2008.926323
[26] Niu,G.、du Plessis,M.C.、Sakai,T.、Ma Y.和Sugiyama,M.(2016)。正标记学习与正标记学习的理论比较。Lee,D.D.,Sugiyama,M.,Luxburg,U.V.,Guyon,I.,&Garnett,R.(编辑)神经信息处理系统研究进展(第29卷,第1199-1207页)
[27] Rakhlin,A.、Shamir,O.和Sridharan,K.(2012)。使强凸随机优化的梯度下降最优。第29届机器学习国际会议记录(第449-456页)。
[28] Rätsch,G;Onoda,T;Müller,KR,adaboost的软利润,机器学习,42,287-320,(2001)·Zbl 0969.68128号 ·doi:10.1023/A:1007618119488
[29] Sakai,T.、du Plessis,M.C.、Niu,G.和Sugiyama,M.(2017年)。基于阳性和未标记数据分类的半监督分类。第34届机器学习国际会议论文集. ·Zbl 1118.62330号
[30] Sokolovska,N.、Cappé,O.和Yvon,F.(2008)。判别概率模型中半监督学习的渐近性。第25届机器学习国际会议论文集(第984-991页)。
[31] Sundararajan,S.、Priyanka,G.和Selvaraj,S.S.K.(2011年)。基于成对排序的学习方法,使用正面和未标记的示例。第20届ACM信息和知识管理国际会议记录(第663-672页)。
[32] Usunier,N.、Amini,M.和Patrick,G.(2006年)。用相互依赖的数据训练分类器的泛化误差界。收件人:Weiss,Y.、Schölkopf,P.B.和Platt J.C.(编辑)神经信息处理系统研究进展(第18卷,第1369-1376页)。加利福尼亚州拉荷亚:神经信息处理系统基金会。
[33] Vapnik,V.N.(1998)。统计学习理论伦敦:威利·Zbl 0935.62007号
[34] Ying,Y.、Wen,L.和Lyu,S.(2016)。随机在线AUC最大化。Lee,D.D.,Sugiyama,M.,Luxburg,U.V.,Guyon,I.,&Garnett,R.(编辑)神经信息处理系统研究进展(第29卷,第451-459页)。加利福尼亚州拉荷亚:神经信息处理系统基金会。
[35] Zhao,P.、Jin,R.、Yang,T.和Hoi,S.C.(2011年)。在线AUC最大化。第28届机器学习国际会议论文集(第233-240页)。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。