×

混合数字和分类输入空间中的大规模异常检测。 (英语) 兹比尔1454.62550

总结:本工作提出了ADMNC方法,旨在解决混合分类和数值输入变量的大规模问题的异常检测。灵活的参数概率测度被调整为输入数据,允许将低可能性值作为异常进行跟踪。该方法的主要贡献在于,为了处理变量的可变性质,我们将联合概率测度分解为两部分,即连续变量的边缘密度和给定特征向量连续部分的类别变量的条件概率。其结果是通过随机梯度下降优化的最大似然目标函数训练模型,从而产生有效且可扩展的算法。与多个数据集上的其他著名异常检测算法相比,ADMNC既能在现有最有效方法无法达到的数据集中提供顶级精度,又能很好地扩展到处理超大数据集。这使得它成为解决当前缺乏合适的可扩展算法的日益流行的问题的强大工具。

MSC公司:

62兰特 大数据和数据科学的统计方面
62克32 极值统计;尾部推断
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Akoglu,L。;Tong,H。;弗瑞肯,J。;Faloutsos,C.,分类数据中快速可靠的异常检测,《第21届ACM信息和知识管理国际会议论文集》,CKIM 2012(2012),ACM:ACM纽约,纽约,美国
[2] Aleskerov,E。;B.弗里斯勒本。;Rao,B.,CARDWATCH:用于信用卡欺诈检测的基于神经网络的数据库挖掘系统。,IEEE金融工程计算智能会议论文集,220-226(1997)
[3] 巴赫曼尼,B。;莫斯利,B。;Vattani,A。;库马尔,R。;Vassilvitskii,S.,可缩放k-means++,Proc。VLDB捐赠,5,7,622-633(2012)
[4] Bishop,C.,模式识别和机器学习(信息科学和统计)(2006),Springer-Verlag New York,Inc.:Springer-Verlag New Yeork,Inc,美国新泽西州塞考克斯·Zbl 1107.68072号
[5] Blackard,J.A。;Dean,D.J.,从制图变量预测森林覆盖类型的人工神经网络和判别分析的比较精度,计算。电子。农业。,24, 3, 131-151 (1999)
[6] 博图,L。;Bousquet,O.,《大规模学习的权衡》(Platt,J.;Koller,D.;Singer,Y.;Roweis,S.,《神经信息处理系统的进展》,20(2008),NIPS基金会),161-168
[7] 博图,L。;Lin,C.-J.,支持向量机解算器,大规模内核机。,3, 1, 301-320 (2007)
[8] Breunig,M。;克里格尔,H。;Ng、R。;Sander,J.,Lof:识别基于密度的局部异常值,SIGMOD Rec.,29,2,93-104(2000)
[9] Campos,G.O。;Zimek,A。;桑德,J。;坎佩罗,R.J。;Micenková,B。;舒伯特,E。;同意,I。;Houle,M.E.,《非监督异常值检测的评估:测量、数据集和实证研究》,Data Min.Knowl。发现。,30, 4, 891-927 (2016)
[10] 卡斯蒂略,E。;Peteiro-Barral,D。;Berdiñas,B.G。;Fontenla-Romero,O.,分布式单类支持向量机,国际神经系统杂志。,25, 07, 1550029 (2015)
[11] V·钱多拉。;Banerjee,A。;库马尔,V.,《异常检测:一项调查》,美国计算机学会。Surv公司。(CSUR),第41、3、15页(2009年)
[12] V·钱多拉。;Banerjee,A。;Kumar,V.,《离散序列的异常检测:一项调查》,IEEE Trans。知识。数据工程,24,5,823-839(2012)
[13] Das,K。;Schneider,J.,检测分类数据集中的异常记录,第13届ACM SIGKDD国际知识发现和数据挖掘会议论文集。第13届ACM SIGKDD知识发现和数据挖掘国际会议论文集,KDD’07(2007),ACM:美国纽约州纽约市ACM
[14] 达斯,S。;马修斯,B.L。;Srivastava,A.N。;Oza,N.,《异构异常检测的多核学习:算法和航空安全案例研究》,第16届ACM SIGKDD国际知识发现和数据挖掘会议论文集。第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集,KDD’10,47-56(2010),ACM:ACM纽约,纽约,美国
[15] Demšar,J.,多数据集上分类器的统计比较,J.Mach。学习。研究,7,1月1日至30日(2006年)·Zbl 1222.68184号
[16] Do,K。;Tran,T。;Venkatesh,S.,混合数据的基于能量的异常检测,Knowl。信息系统。,1-23 (2018)
[17] Edgeworth,F.,《关于不一致的观察》,Phylos。Mag.,23,5,364-375(1887)·JFM 19.0214.02型
[18] Emmott,A.F。;达斯,S。;Dietterich,T。;弗恩,A。;Wong,W.-K.,从真实数据中系统构建异常检测基准,ACM SIGKDD异常检测和描述研讨会论文集,16-21(2013),ACM
[19] Fernández-Francos博士。;马丁内斯·雷戈,D。;O.Fontenla-Romero;Alonso-Betanzos,A.,基于一类nu-svm的轴承故障自动诊断,计算。工业工程,64,1,357-365(2013)
[20] 菲奥雷,美国。;Palmieri,F。;Castiglione,A。;De Santis,A.,使用受限boltzmann机器进行网络异常检测,神经计算,122,13-23(2013)
[21] Ghoting,A。;奥蒂,M。;Parthasarathy,S.,《加载:进化数据集中基于链接的离群值和异常检测》,数据挖掘,2004年。2004年ICDM。第四届IEEE国际会议,387-390(2004)
[22] 霍金斯,D.M.,《异常值的识别》,11(1980),斯普林格出版社·Zbl 0438.62022号
[23] 霍金斯,S。;He,H。;威廉姆斯,G。;Baxter,R.,使用复制神经网络进行离群点检测,数据仓库和知识发现国际会议,170-180(2002),Springer·Zbl 1016.68596号
[24] 何,Z。;邓,S。;Xu,X.,分类数据中离群值检测的优化模型,(Huang,D.;X.P.Zhang,G.;Huang:智能计算的进展。智能计算进展,计算机科学讲义,3644(2005),Springer Berlin Heidelberg),400-409
[25] Hettich,S。;Bay,S.,KDD Cup 1999数据(1999),加州大学欧文分校UCI KD档案馆:加州大学信息与计算机科学系
[26] 胡,W。;胡,W。;Maybank,S.,基于Adaboost-based的网络入侵检测算法,IEEE Trans。系统。人类网络。B部分(控制论),38,2,577-583(2008)
[27] Jeffrey Xu,Y。;钱,W。;鸿钧。;Aoying,Z.,在范畴/数值空间中寻找中心局部离群值,Knowl。信息系统。,9, 3, 309-338 (2006)
[28] Khan,S.S。;Madden,M.G.,《一类分类:研究分类和技术回顾》,《知识》。工程版次,29,03,345-374(2014)
[29] Koufakou,A。;Georgiopoulos,M.,具有混合属性的分布式高维数据集的快速离群值检测策略,data Min.Knowl。发现。,20, 2, 259-289 (2010)
[30] Kumar,V.,《网络安全的并行和分布式计算》。,IEEE配电系统。在线,6,10,1-10(2005)
[31] 拉扎雷维奇,A。;Kumar,V.,用于异常值检测的特征装袋,第十一届ACM SIGKDD数据挖掘知识发现国际会议论文集,157-166(2005),ACM
[32] M.Lichman,UCI机器学习库,2013年。http://archive.ics.uci.edu/mll; M.Lichman,UCI机器学习库,2013年。http://archive.ics.uci.edu/mll
[33] 刘,F.T。;Ting,K.M。;周振华,基于隔离的异常检测,ACM Trans。知识。发现。数据(TKDD),6,1,3(2012)
[34] 吕永川。;陈,F。;Wang,Y。;Lu,C.-T.,使用基于广义学生的方法发现混合型数据的异常,IEEE Trans。知识。数据工程,28,10,2582-2595(2016)
[35] 马丁内斯·雷戈(D.Martinez-Rego)。;卡斯蒂略,E。;Fontenla-Romero,O。;Alonso-Betanzos,A.,一组椭球体的最小体积覆盖方法,模式分析。马赫。智力。IEEE传输。,35, 12, 2997-3009 (2013)
[36] 马丁内斯·雷戈,D。;Fernández-Francos博士。;O.Fontenla-Romero;Alonso-Betanzos,A.,通过被动攻击分类和bernoulli CUSUM进行流变化检测,Inf.Sci。,305, 130-145 (2015) ·Zbl 1360.68695号
[37] 穆奈格,H。;Tan,P.-N.,使用随机游走的离群点检测,Null,532-539(2006),IEEE
[38] Nicolau,M。;McDermott,J.,网络异常检测的学习神经表示,IEEE Trans。赛博。,1-14 (2018)
[39] 奥蒂,M。;Ghoting,A。;Parthasarathy,S.,混合属性数据集中的快速分布式离群值检测,data Min.Knowl。发现。,12, 2-3, 203-228 (2006)
[40] Papadimitrou,S。;北川,H。;吉本斯,P。;Faloutsos,C.,LOCI:使用LOcal相关积分进行快速异常值检测,技术报告IRP-TR-02-09(2002),英特尔研究实验室
[41] Sarasamma,S.T。;朱庆安。;Huff,J.,网络安全中异常检测的层次kohonenen网络,IEEE Trans。系统。人类网络。B部分(控制论),35,2302-312(2005)
[42] 肖尔科夫,B。;普拉特,J。;肖-泰勒,J。;Smola,A。;Williamson,R.,估计高维分布的支持,神经计算。,13, 7, 1443-1471 (2001) ·Zbl 1009.62029号
[43] 舒伯特,E。;Zimek,A。;Kriegel,H.,《重新考虑局部异常值检测:应用于空间、视频和网络异常值检测的局部性的一般观点》,Data Min.Knowl。发现。,1-48(2012年)
[44] Shiravi,A。;Shiravi,H。;Tavallaee,M。;Ghorbani,A.A.,致力于开发一种系统方法来生成入侵检测的基准数据集,Compute。安全。,31, 3, 357-374 (2012)
[45] 辛格,S。;Tu,H。;多纳,W。;Pattipati,K。;Willett,P.,通过特征辅助跟踪和隐马尔可夫模型进行异常检测,IEEE Trans。系统。ManCybern-A部分,39,1,144-159(2009)
[46] Sodemann,A。;罗斯,M。;Borghetti,B.,《自动化监测中异常检测的回顾》,IEEE Trans。系统。人类网络。C部分,42,6,1257-1272(2012)
[47] 吴圣美;Wang,S.,分类数据的无参数异常检测。,第七届机器学习和数据挖掘国际会议论文集,MLDM 2011。计算机科学讲义,687121-126(2011)
[48] Wei,L。;钱,W。;周,A。;Jin,W。;Yu,J.,Hot:分类数据的基于超图的离群值测试,(Whang,K.;Jongwoo,J.;Shim,K.,Srivastava,J.《知识发现和数据挖掘的进展》,《知识发现与数据挖掘进展》,计算机科学讲义,2637(2003),施普林格-柏林-海德堡),399-410·Zbl 1032.68637号
[49] Wu,S。;Wang,S.,大规模分类数据的信息论异常值检测,IEEE Trans。知识。数据工程,25,3,589-602(2013)
[50] 张凯。;Jin,H.,一种有效的基于模式的混合属性数据离群值检测方法,澳大利亚人工智能联合会议,122-131(2010),Springer
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。