×

用于新颖性检测的深高斯过程自动编码器。 (英语) Zbl 1473.68139号

摘要:新颖性检测是机器学习中的经典问题之一,它在多个领域都有应用。本文提出了一种新的基于深高斯过程的新颖检测任务的自动编码器。通过使用随机特征近似和随机变分推理,该模型的学习变得容易处理和可扩展。其结果是一个易于实现和训练的灵活模型,可以应用于一般的新颖性检测任务,包括大规模问题和具有混合类型特征的数据。实验表明,该模型与最新的新颖性检测方法相比取得了具有竞争力的结果。

MSC公司:

68T05型 人工智能中的学习和自适应系统
60G15年 高斯过程
62H22个 概率图形模型
62M45型 神经网络及从随机过程推断的相关方法
68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abadi,M.、Agarwal,A.、Barham,P.、Brevdo,E.、Chen,Z.、Citro,C.、Corrado,G.S.等人(2015年)。TensorFlow:异构系统上的大规模机器学习。软件可从tensorflow.org获得。
[2] Arjovsky,M.、Chintala,S.和Bottou,L.(2017)。Wasserstein干。arXiv:1701.07875v2
[3] Bache,K.和Lichman,M.(2013)。UCI机器学习库欧文:加利福尼亚大学信息与计算机科学学院。http://archive.ics.uci.edu/ml。
[4] Bradshaw,J.、Alexander和Ghahramani,Z.(2017年)。高斯过程混合深网络中的对抗性示例、不确定性和传输测试鲁棒性。arXiv公司:1707.02476
[5] Bui,T.D.、Hernández Lobato,D.、Hernández Lobato,J.M.、Li,Y.和Turner,R.E.(2016)。使用近似期望传播进行回归的深高斯过程。M.Balcan和K.Q.Weinberger(编辑),2016年6月19日至24日在美国纽约州纽约市举行的第33届机器学习国际会议记录,JMLR研讨会和会议记录第48卷(第1472-1481页)。JMLR.org。
[6] Cho,Y.和Saul,L.K.(2009年)。深度学习的核心方法。在Y.Bengio、D.Schuurmans、J.D.Lafferty、C.K.I.Williams和A.Culotta(编辑)中,神经信息处理系统研究进展(第22卷,第342-350页)。Curran Associates公司。
[7] Collobert,R.和Weston,J.(2008)。自然语言处理的统一架构:具有多任务学习的深度神经网络。2008年第25届机器学习国际会议记录(第160-167页)。纽约州纽约市:ACM。
[8] Cutajar,K.、Bonilla,E.V.、Michiardi,P.和Filippone,M.(2017年)。深高斯过程的随机特征展开。在D.Precup和Y.W.Teh(编辑)中,第34届机器学习国际会议论文集,机器学习研究论文集第70卷(第884-893页)。悉尼:PMLR国际会议中心。
[9] Dai,Z.、Damianou,A.、González,J.和Lawrence,N.(2016)。变分自动编码深高斯过程。第四届学习代表国际会议记录(ICLR 2016).
[10] Damianou,A.C.和Lawrence,N.D.(2013)。深高斯过程。2013年4月29日至5月1日,美国亚利桑那州斯科茨代尔AISTATS 2013第十六届国际人工智能与统计会议记录,JMLR记录第31卷(第207-215页)。JMLR.org。
[11] Davis,J.和Goadrich,M.(2006)。精确再调用和ROC曲线之间的关系。2006年ICML第23届机器学习国际会议记录(第233-240页)。纽约州纽约市:ACM。
[12] Dereszynski,电子战;Dietterich,TG,动态环境监测活动中数据正常检测的时空模型,ACM传感器网络交易(TOSN),8,3,(2011)·doi:10.1145/1993042.1993045
[13] Dinh,L.、Sohl-Dickstein,J.和Bengio,S.(2016)。使用实际NVP进行密度估计。arXiv:1605.08803
[14] 多明格斯,R;菲利波内,M;Michiardi,P;Zouaoui,J,《离群值检测算法的比较评估:实验与分析》,模式识别,74406-421,(2018)·doi:10.1016/j.patcog.2017.09.037
[15] Duvenaud,D.K.、Rippel,O.、Adams,R.P.和Ghahramani,Z.(2014)。避免深层网络中的病理。第十七届人工智能和统计国际会议记录,AISTATS 2014,冰岛雷克雅未克,2014年4月22日至25日,JMLR研讨会和会议记录第33卷(第202-210页)。JMLR.org。
[16] Emmott,A.、Das,S.、Dietterich,T.、Fern,A.和Wong,W.-K.(2016)。异常检测问题的元分析。arXiv:153.01158v2
[17] Gal,Y.和Ghahramani,Z.(2016)。辍学作为贝叶斯近似:表示深度学习中的模型不确定性。第33届机器学习国际会议论文集——第48卷,ICML’16(第1050-1059页)。JMLR.org。
[18] Gal,Y.、Hron,J.和Kendall,A.(2017年)。混凝土脱落。arXiv:1705.07832
[19] 加尔卡,S;Fernndez,A;Luengo,J;Herrera,F,计算智能和数据挖掘实验设计中多重比较的高级非参数检验:功率的实验分析,信息科学,1802044-2064,(2010)·doi:10.1016/j.ins.2009.12.010
[20] Goodfellow,I.、Pouget-Abadie,J.、Mirza,M.、Xu,B.、Warde-Farley,D.、Ozair,S.、Courville,A.和Bengio,Y.(2014)《生成对抗网》。在Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger(编辑)中,神经信息处理系统研究进展(第27卷,第2672-2680页)。Curran Associates公司。
[21] Graves,A.(2011年)。神经网络的实用变分推理。J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger(编辑),《神经信息处理系统的进展》(第24卷,第2348-2356页)。Curran Associates公司。
[22] Greensmith,J.、Twycross,J.和Aickelin,U.(2006年)。用于异常检测的树突状细胞。2006年IEEE进化计算国际会议(第664-671页)。https://doi.org/10.1109/CEC.2006.1688374。
[23] 辛顿,G;邓,L;于,D;Dahl,通用电气;穆罕默德,A-R;吉特利,N;等。,语音识别中声学建模的深度神经网络:四个研究小组的共同观点,IEEE信号处理杂志,29,82-97,(2012)·doi:10.1109/MSP.2012.2205597
[24] 霍奇,V;Austin,J,《异常值检测方法的调查》,《人工智能评论》,22,85-126,(2004)·Zbl 1101.68023号 ·doi:10.1023/B:AIRE.000045502.10941.a9
[25] 贾普科维奇,N;Stephen,S,《阶级失衡问题:系统研究》,《智能数据分析》,第6429-449页,(2002)·Zbl 1085.68628号
[26] 凯姆勒,M;罗德纳,E;Wacker,E-S;Denzler,J,用高斯过程进行一类分类,模式识别,463507-3518,(2013)·doi:10.1016/j.patcog.2013.06.005
[27] Kim,J;Scott,CD,稳健核密度估计,《机器学习研究杂志》,第13期,第2529-2565页,(2012年)·Zbl 1436.62119号
[28] Kingma,D.P.和Welling,M.(2014)。自动编码变分贝叶斯。第二届学习代表国际会议记录(ICLR 2014).
[29] Krizhevsky,A.、Sutskever,I.和Hinton,G.E.(2012)。使用深度卷积神经网络进行ImageNet分类。第25届神经信息处理系统国际会议论文集,NIPS’12(第1097-1105页)。Curran Associates公司。
[30] LeCun,Y;本吉奥,Y;Hinton,G,《深度学习》,《自然》,521436-444,(2015)·doi:10.1038/nature14539
[31] Liu,F.T.、Ting,K.M.和Zhou,Z.-H.(2008)。隔离林。2008年第八届IEEE数据挖掘国际会议论文集(第413-422页)。IEEE计算机学会。
[32] 刘,H;沙阿,S;姜伟,在线异常检测与数据清洗,计算机与化工,281635-1647,(2004)·doi:10.1016/j.compchemeng.2004.01.009
[33] Maaten,左;Hinton,G,使用t-SNE可视化数据,机器学习研究杂志,92579-2605,(2008)·Zbl 1225.68219号
[34] 马库,M;辛格,S,《新颖性检测:综述第2部分:基于神经网络的方法》,《信号处理》,83,2499-2521,(2003)·Zbl 1145.94403号 ·doi:10.1016/j.sigpro.2003.07.019
[35] Neal,R.M.(1996)。神经网络的贝叶斯学习(统计学课堂讲稿)(第1版)。柏林:斯普林格。 ·doi:10.1007/978-1-4612-0745-0
[36] 马萨诸塞州皮门特尔;DA克利夫顿;克利夫顿,L;Tarassenko,L,新颖性检测综述,信号处理,99215-249,(2014)·doi:10.1016/j.sigpro.2013.12.026
[37] Pokrajac,D.、Lazarevic,A.和Latecki,L.J.(2007年)。数据流的增量局部异常检测。计算智能和数据挖掘,2007年。CIDM 2007。IEEE研讨会(第504-515页)。电气与电子工程师协会。
[38] 普拉斯塔瓦,M;布利特,E;Ho,S;Gerig,G,基于异常值检测的脑肿瘤分割框架,医学图像分析,8275-283,(2004)·doi:10.1016/j.media.2004.06.007
[39] Rasmussen,C.E.和Williams,C.(2006年)。机器学习的高斯过程马萨诸塞州剑桥:麻省理工学院出版社·兹比尔1177.68165
[40] 罗宾斯,H;Monro,S,《随机近似方法》,《数理统计年鉴》,22400-407,(1951)·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586
[41] 斯里瓦斯塔瓦,北;辛顿,G;克里舍夫斯基,A;Sutskever,I;Salakhutdinov,R,《辍学:防止神经网络过度拟合的简单方法》,《机器学习研究杂志》,1929-1958年,(2014)·Zbl 1318.68153号
[42] 小费,ME;Bishop,CM,概率主成分分析,英国皇家统计学会期刊:B系列(统计方法论),61,611-622,(1999)·Zbl 0924.62068号 ·doi:10.111/1467-9868.00196
[43] 乌里亚,B;科特迪瓦,M-A;格雷戈,K;我是穆雷;Larochelle,H,神经自回归分布估计,机器学习研究杂志,17,1-37,(2016)·Zbl 1433.68393号
[44] Vergari,A.、Peharz,R.、Di Mauro,N.、Molina,A.、Kersting,K.和Esposito,F.(2018)。和积自动编码:使用和积网络对表示进行编码和解码。AAAI人工智能会议记录.
[45] 沃登,K;Manson,G;Fieller,NR,使用离群值分析进行损伤检测,《声音与振动杂志》,229647-667,(2000)·doi:10.1006/jsvi.1999.2514
[46] Zimek,A;舒伯特,E;Kriegel,H-P,高维数值数据中非监督离群值检测的调查,统计分析与数据挖掘,5363-387,(2012)·doi:10.1002/sam.1161
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。