×

用于二进制分类的在线AUC公式。 (英语) Zbl 1234.68342号

摘要:ROC曲线下的面积(AUC)提供了一个良好的分级性能标量度量,无需为分类器之间的性能比较设置特定的阈值。AUC对于不精确的环境非常有用,因为它在类分布和错误分类成本方面独立运行。因此,直接优化AUC准则成为二进制分类器设计的自然选择。然而,由于输入对特征急剧增加,基于AUC准则的直接公式需要较高的计算成本。在本文中,我们提出了一种在线学习算法来解决二进制分类的计算问题。与传统的递归公式不同,该公式包含一个成对代价函数,该函数将新到达的数据点与存储数据中相反类的数据点配对。此外,将稀疏学习纳入在线公式中,可以显著减少计算工作量。我们在三个不同规模的公共数据库上的实证结果显示,在分类AUC、准确性和计算效率方面具有潜在的潜力。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bradley,A.P.,《ROC曲线下面积在机器学习算法评估中的使用》,模式识别,30,7,1145-1159(1997)
[2] Fawcett,T.,ROC分析简介,模式识别快报,27,8,861-874(2006)
[3] Goin,J.E.,ROC曲线估计和假设检验:在乳腺癌检测中的应用,模式识别,15,3,263-269(1982)·Zbl 0483.62094号
[4] Provost,F。;Fawcett,T.,《不精确环境下的稳健分类》,机器学习,42,3,203-231(2001)·Zbl 0969.68126号
[5] 阿尔辛,S.G。;Miller,K.W.B.J.O.,评估模式识别算法的多项式选择程序,模式识别,35,11,2397-2412(2002)·Zbl 1006.68901号
[6] Pattichis,M。;Cacoullos,T。;Soliz,P.,胸片感兴趣区域读者分类分析的新模型,模式识别,42,6,1058-1066(2009)
[7] 刘,Z。;Liu,C.,人脸识别中颜色、局部空间和全局频率信息的融合,模式识别,43,8,2882-2890(2010)·Zbl 1213.68540号
[8] Khreich,W。;格兰杰,E。;Miri,A。;Sabourin,R.,ROC空间中分类器的迭代布尔组合:HMM在异常检测中的应用,模式识别,43,827732-2752(2010)·Zbl 1213.68533号
[9] Khreich,W。;格兰杰,E。;Miri,A。;Sabourin,R.,应用于异常检测的基于ROC的HMM自适应集成,模式识别,45,1,208-230(2012)
[10] 查特兰,C。;亚当·S。;Lecourtier,Y。;Heutte,L。;Paquet,T.,未知和/或演化错误分类成本问题的多模型选择框架,模式识别,43,3,815-823(2010)·Zbl 1187.68434号
[11] Wu,J.C。;Wilson,C.L.,大数据集上指纹数据的非参数分析,模式识别,40,9,2574-2584(2007)·Zbl 1118.68644号
[12] Marrocco,C.公司。;Duin,R。;Tortorella,F.,通过两两特征组合最大化ROC曲线下的面积,模式识别,41,6,1961-1974(2008)·Zbl 1132.68647号
[13] 麻省理工学院里卡马托。;Tortorella,F.,在二分法线性组合中的部分AUC最大化,模式识别,44,10-11,2669-2677(2011)·Zbl 1218.68153号
[14] Toh,K.-A。;Kim,J。;Lee,S.,生物特征分数融合ROC曲线下最大区域,模式识别,41,11,3373-3392(2008)·Zbl 1154.68502号
[15] Rakotomamonjy,A.,使用SVM优化ROC曲线下的区域,(AI中ROC分析第一次研讨会论文集(2004))
[16] 科尔特斯,C。;Mohri,M.,AUC优化与错误率最小化,(神经信息处理系统进展:2003年会议论文集,第16卷(2004),麻省理工学院出版社),313
[17] Landgrebe,T。;Duin,R.,通过混淆矩阵扰动分析分解的高效多类ROC近似,IEEE模式分析和机器智能汇刊,30,5,810-822(2008)
[18] Herschtal,A。;Raskutti,B.,使用梯度下降优化ROC曲线下的区域,(第二十届第一届机器学习国际会议论文集(2004)),49
[19] Astrom,K.J。;Wittenmark,B.,自适应控制(1994),Addison-Wesley,Longman Publishing Co.,Inc.:Addison-Whesley,LongmanPublishing Co,Inc.美国马萨诸塞州波士顿·Zbl 0217.57903号
[20] Kalman,R.E.,线性滤波和预测问题的新方法,ASME-基础工程杂志汇刊,D辑,82,35-45(1960)
[21] Sayed,A.H.,《自适应滤波基础》(2003),Wiley-IEEE出版社
[22] Haykin,S.,自适应滤波器理论(2002),普伦蒂斯·霍尔
[23] 克拉森,T。;Mecklenbraeuker,W.,通信中信号处理的自适应技术,IEEE通信杂志,23,8-19(1985)
[24] 克拉默,K。;Dekel,O。;Keshet,J。;沙列夫·施瓦茨,S。;Singer,Y.,《在线被动攻击算法》,《机器学习研究杂志》,7551-585(2006)·Zbl 1222.68177号
[25] Kivinen,J。;Smola,A。;Williamson,R.,《使用内核进行在线学习》,IEEE信号处理汇刊,52,8,2165-2176(2004)·Zbl 1369.68281号
[26] Shiotani,S。;福田,T。;Shibata,T.,增量学习的神经网络架构,神经计算,9,2,111-130(1995)·Zbl 0843.68102号
[27] Plackett,R.,《最小二乘法中的一些定理》,生物统计学,37,1/2,149-157(1950)·兹比尔0041.46803
[28] Rosenblatt,F.,《感知器:大脑中信息存储和组织的概率模型》,《心理学评论》,65,6,386-408(1958)
[29] B.Widrow,M.E.Hoff,自适应开关电路,收录于:1960年IRE WESCON公约记录,第4部分,IRE,纽约,1960年,第96-104页。;B.Widrow,M.E.Hoff,自适应开关电路,收录于:1960年IRE WESCON公约记录,第4部分,IRE,纽约,1960年,第96-104页。
[30] Benveniste,A。;Métiver,M。;Priouret,P.,《自适应算法和随机逼近》(1990),Springer-Verlag
[31] 库什纳,H.J。;Yin,G.G.,《随机逼近和递归算法及应用》(2003),Springer·Zbl 1026.62084号
[32] Spall,J.C.,《随机搜索和优化导论》(2003),威利国际科学·邮编1088.90002
[33] 罗宾斯,H。;Monro,S.,《随机近似方法》,《数理统计年鉴》,22400-407(1951)·Zbl 0054.05901号
[34] Bottou,L.,在线学习和随机近似,(神经网络在线学习(1998),剑桥大学出版社:美国纽约州剑桥大学出版社),9-42·Zbl 0968.68127号
[35] Kwong,R.H。;Johnston,E.W.,《变步长LMS算法》,IEEE信号处理学报,40,7,1633-1642(1992)·Zbl 0850.93839号
[36] Nagumo,J.I。;Noda,A.,《系统识别的学习方法》,IEEE自动控制学报,12,3,282-287(1967)
[37] 艾伯特·A·E。;加德纳,L.A.,《随机近似和非线性回归》,(麻省理工学院研究专著,第42期(1967年),麻省理学院出版社)·Zbl 0162.21502号
[38] 比特米德,R。;Anderson,B.,随机系数线性差分方程指数稳定性的Lyapunov技术,IEEE自动控制汇刊,25,4,782-787(1980)·兹比尔0451.93065
[39] Ozeki,K。;Umeda,T.,使用仿射子空间正交投影的自适应滤波算法及其特性,日本电子与通信,67-A,5,19-27(1984)
[40] Mayyas,K。;Abounalasr,T.,Leaky LMS算法:高斯数据的MSE分析,IEEE信号处理事务,45,4,927-934(1997)
[41] 瓦拉赫,E。;Widrow,B.,最小均数第四(LMF)自适应算法及其家族,IEEE信息理论汇刊,40,2,275-283(1984)
[42] 刘伟。;Pokharel,P。;Principe,J.,《核最小均方算法》,IEEE信号处理学报,56,2,543-554(2008)·Zbl 1390.94278号
[43] 刘伟。;Príncipe,J.C.,核仿射投影算法,EURASIP信号处理进展杂志,56,2,12(2008)·Zbl 1184.68411号
[44] Gallant,S.,基于感知器的学习算法,IEEE神经网络汇刊,1,2179-191(1990)
[45] Dredze,M。;克拉默,K。;Pereira,F.,置信加权线性分类,(ICML,ACM国际会议论文集,第307卷(2008)),264-271
[46] 李毅。;Long,P.M.,放松的在线最大余量算法,机器学习,46,1-3361-387(2002)·Zbl 0998.68110号
[47] Cauwenberghs,G。;Poggio,T.,增量和减量支持向量机学习,(神经信息处理系统进展(NIPS*2000),第13卷(2001))
[48] Bordes,A。;博图,L。;Gallinari,P.,SGD-QN:小心的准Newton随机梯度下降,机器学习研究杂志,101737-1754(2009)·Zbl 1235.68130号
[49] 科尔特斯,C。;Vapnik,V.,支持向量网络,机器学习,20,273-297(1995)·Zbl 0831.68098号
[50] 艾泽曼医学硕士。;Braverman,E.A。;Rozonoer,L.,模式识别学习中潜在函数方法的理论基础,(自动化和远程控制,第25卷(1964年)),821-837·Zbl 0151.24701号
[51] Gentile,C.,一种新的近似最大边缘分类算法,机器学习研究杂志,2,213-242(2001)·Zbl 1037.68124号
[52] 石桥,K。;Hatano,K。;武田,M.,带偏差的近似最大p-范数边缘分类器的在线学习,(第21届学习理论年会论文集(COLT 2008)(2008))
[53] 黄,G.-B。;纽约州梁。;荣,H.-J。;萨拉昌德兰,P。;Sundararajan,N.,在线顺序极端学习机器(IASTED国际计算智能会议论文集(CI’2005)(2005))
[54] 恩格尔,Y。;曼诺,S。;Meir,R.,核递归最小二乘算法,IEEE信号处理学报,52,8,2275-2285(2004)·Zbl 1369.68280号
[55] 刘伟。;公园,I。;Wang,Y。;Principe,J.,扩展内核递归最小二乘算法,IEEE信号处理汇刊,57,10,3801-3814(2009)·Zbl 1391.94306号
[56] 哈斯蒂,T。;Tibshirani,R。;Friedman,J.,《统计学习的要素》(2001),Springer-Verlag:Springer-Verlag纽约,纽约州,美国
[57] Toh,K.-A。;尤,W.-Y。;Jiang,X.,简化多元多项式模式分类器的基准测试,IEEE模式分析和机器智能汇刊,26,6,740-755(2004)
[58] 谢尔曼,J。;Morrison,W.J.,根据给定矩阵中一个元素的变化调整逆矩阵,《数理统计年鉴》,21,1,124-127(1950)·Zbl 0037.00901号
[59] M.A.Woodbury,《倒置修正矩阵》,技术报告42(1950)。;M.A.Woodbury,《反演修正矩阵》,技术报告42(1950)。
[60] A.Frank,A.Asuncion,UCI机器学习库,2010,URL:\(\langle\)http://archive.ics.uci.edu/ml\(\范围\);A.Frank,A.Asuncion,UCI机器学习库,2010,URL:\(\langle\)http://archive.ics.uci.edu/ml\(\等级\)
[61] 国家标准与技术研究所,NIST生物特征评分集发布12004,URL:\(\langle\)http://www.itl.nist.gov/iad/894.03/生物特征评分\(\范围\);国家标准与技术研究所,NIST生物特征评分集发布12004,URL:\(\langle\)http://www.itl.nist.gov/iad/894.03生物特征评分\(\等级\)
[62] S.Sonnenburg,V.Franc,E.Yom-Tov,M.Sebag,Pascal大规模学习挑战,可用数据集:ftp://largescale.ml.tu-berlin.de/largescape,2008,URL:\(\langle\)http://largescale.ml.tu-berlin.de/about/\(范围);S.Sonnenburg,V.Franc,E.Yom-Tov,M.Sebag,Pascal大规模学习挑战,可用数据集:ftp://largescale.ml.tu-berlin.de/largescape,2008,URL:\(\langle\)http://largescale.ml.tu-berlin.de/about/\(范围)
[63] 弗伦德,Y。;Iyer,R。;夏皮雷,R.E。;Singer,Y.,《用于组合偏好的高效提升算法》,《机器学习研究杂志》,4933-969(2003)·Zbl 1098.68652号
[64] S.Canu,Y.Grandvalet,V.Guigue,A.Rakotomamonjy,SVM和内核方法Matlab工具箱,Perception Systemes et Information,INSA de Rouen,法国鲁昂,2005年。;S.Canu,Y.Grandvalet,V.Guigue,A.Rakotomamonjy,SVM和内核方法Matlab工具箱,感知系统和信息,法国鲁昂INSA de Rouen,2005年。
[65] 黄,G.-B。;朱庆云。;Siew,C.-K.,《极限学习机器:理论与应用》,神经计算,70,1-3,489-501(2006)
[66] K.-A.Toh,《基于AUC和基于错误率的学习之间》,载于《第三届IEEE工业电子与应用会议论文集》,新加坡,2008年,第2116-2120页。;K.-A.Toh,《基于AUC和基于错误率的学习之间》,载于《第三届IEEE工业电子与应用会议论文集》,新加坡,2008年,第2116-2120页。
[67] Demšar,J.,多数据集上分类器的统计比较,机器学习研究杂志,7,1-30(2006)·Zbl 1222.68184号
[68] Mathworks Inc.,Matlab,2010,URL(语言)http://www.mathworks.com/products/matlab/\(范围);The Mathworks Inc.,Matlab,2010,URL\(\langle\)http://www.mathworks.com/products/matlab/\(范围)
[69] A.Torn,A.Zilinskas,《全局优化:计算机科学讲义》。;A.Torn,A.Zilinskas,《全局优化》,摘自:计算机科学课堂讲稿·Zbl 0752.90075号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。