×

邻域结构辅助非负矩阵分解及其在无监督逐点异常检测中的应用。 (英语) Zbl 07370551号

摘要:降维被认为是确保异常检测等无监督学习中竞争性能的重要步骤。非负矩阵分解(NMF)是实现这一目标的一种广泛使用的方法。但NMF没有包含邻域结构信息的规定,因此,在存在非线性流形结构的情况下,可能无法提供令人满意的性能。为了解决这一缺点,我们建议在NMF框架中考虑邻域结构相似性信息,并通过最小生成树对数据进行建模。我们将得到的方法标记为邻域结构辅助的NMF。我们进一步开发了离线和在线算法来实现所提出的方法。使用20个基准数据集和从水电站提取的工业数据集进行的实证比较表明了邻域结构辅助NMF的优越性。深入研究所提出的NMF方法的形式和特性,并将其与几种NMF变体进行比较,结果表明,包含基于MST的邻域结构在提高异常检测性能方面起着关键作用。

MSC公司:

68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
65层99 数值线性代数
15A23型 矩阵的因式分解

软件:

快速采矿机
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] Imtiaz Ahmed、Aldo Dagnino、Alessandro Bongiovi和Yu Ding。水电站异常检测。在IEEE国际自动化科学与工程会议(CASE)上。IEEE,2018年。
[2] 伊姆蒂亚斯·艾哈迈德(Imtiaz Ahmed)、阿尔多·达尼诺(Aldo Dagnino)和于丁(Yu Ding)。基于最小生成树近似距离测度的无监督异常检测及其在水轮机中的应用。IEEE自动化科学与工程学报,16(2):654-6672019a。
[3] Imtiaz Ahmed、Travis Galoppo和Yu Ding。O-LoMST:一种在线异常检测方法及其在水电站中的应用。在IEEE国际自动化科学与工程会议(CASE)上。IEEE,2019b。
[4] 爱德华·艾伦(Edward G.Allan)、迈克尔·霍瓦思(Michael R.Horvath)、克里斯托弗·科佩克(Christopher V.Kopek)、布莱恩·兰姆(Brian T.Lamb)、托马斯·沃普斯(Thomas S.Whaples)和迈克尔·贝。使用非负矩阵分解进行异常检测。InSurvey of Text Mining II,第203-217页。施普林格,2008年。
[5] Mennatallah Amer和Markus Goldstein。用于快速挖掘的基于最近邻和聚类的异常检测算法。InRapidMiner社区会议,第1-12页。RCOMM,2012年。
[6] 约翰·布兰德和道格拉斯·G·奥特曼。多重显著性检验:Bonferroni方法。英国医学杂志,310:1701995年。
[7] 邓才、何晓飞、韩嘉伟和托马斯·黄。用于数据表示的图正则化非负矩阵分解。IEEE模式分析和机器智能汇刊,33(8):1548-15602011年。
[8] Guilherme O.Campos、Arthur Zimek、J¨org Sander、Ricardo JGB Campello、Barbora Micenkov´a、Erich Schubert、Ira Assent和Michael E.Houle。关于无监督异常值检测的评估:测量、数据集和实证研究。数据挖掘和知识发现,30(4):891-9272016。
[9] 陈子刚、李丽香、彭海鹏、刘玉红和杨义贤。无维度匹配约束的增量一般非负矩阵因式分解。神经计算,311:344-3522018。
[10] 威廉·科诺弗(William J.Conover)。实用非参数统计。威利,1999年。
[11] Jose Costa和Alfred O.Hero。测地线最小生成树流形学习。arXiv:cs/0307038[cs.CV],2003年。
[12] Janez Demésar。多个数据集上分类器的统计比较。机器学习研究杂志,2006年7月1日至30日·Zbl 1222.68184号
[13] Chris Ding、Xiaofeng He和Horst D.Simon。关于非负矩阵分解和谱聚类的等价性。InSIAM国际数据挖掘会议,第606-610页。SIAM,2005年。
[14] 莱文特·埃尔托兹、埃里克·埃利特森、阿列克桑达尔·拉扎列维奇、彭宁·谭、维平·库马尔、贾迪埃普·斯利瓦斯塔瓦和保罗·多卡斯。Minds-明尼苏达州入侵检测系统。《下一代数据挖掘》编辑Hillol Kargupta、Jiawei Han、Philip S.Yu、Rajeev Motwani和Vipin Kumar,第3章,199-218页。麻省理工学院出版社,马萨诸塞州剑桥,2004年。
[15] 马丁·埃斯特尔、汉斯·佩特·克里格尔、J¨org Sander和徐晓伟。一种基于密度的算法,用于在带有噪声的大型空间数据库中发现簇。在知识发现和数据挖掘国际会议上,第226-231页。ACM,1996年。
[16] 雷纳·杰穆拉(Rainer Gemulla)、埃里克·尼坎普(Erik Nijkamp)、彼得·哈斯(Peter J.Haas)和亚尼斯·西斯马尼斯(Yannis Sismanis)。具有分布随机梯度下降的大尺度矩阵分解。InACM SIGKDD知识发现和数据挖掘国际会议,第69-77页。ACM,2011年。
[17] Andrew B Goldberg、Ming Li和Xiaojin Zhu。在线流形正则化:一种新的学习环境和实证研究。关于数据库中的机器学习和知识发现的欧洲联合会议,第393-407页。施普林格,2008年。
[18] 关乃阳、陶大成、罗志刚和博远。具有鲁棒随机逼近的在线非负矩阵分解。IEEE神经网络和学习系统汇刊,23(7):1087-10992012·Zbl 1391.65115号
[19] 郭志波和张颖。一种嵌入标签的在线非负矩阵分解算法。IEEE接入,7:105882-1058911919。
[20] 何增友,徐晓飞,邓胜春。发现基于聚类的局部异常值。模式识别信件,24(9):1641-16502003·Zbl 1048.68084号
[21] 黄树东、王红军、李涛、李天瑞和徐增林。稳健图正则化非负矩阵因式分解用于聚类。数据挖掘与知识发现,32(2):483-5032018·Zbl 1411.62168号
[22] 黄树东、徐增林、赵康、任亚舟。正则化非负矩阵分解与自适应局部结构学习。神经计算,382:196-2092020。
[23] 费比安·凯勒(Fabian Keller)、艾曼纽尔·穆勒(Emmanuel M¨uller)和克莱门斯·博姆(Klemens Bohm)。HiCS:基于密度的离群值排名的高对比度子空间。在IEEE国际数据工程会议上,第1037-1048页。IEEE,2012年。
[24] Hans-Peter Kriegel、Peer Kr¨oger、Erich Schubert和Arthur Zimek。高维数据的轴平行子空间中的异常检测。《知识发现和数据挖掘进展:亚太知识发现与数据挖掘会议》,第831-838页。施普林格,2009年。
[25] Da Kuang、Chris Ding和Haesun Park。图聚类的对称非负矩阵分解。InSIAM国际数据挖掘会议,第106-117页。SIAM,2012年。
[26] Daniel D.Lee和Hyunjune Sebastian Seung。通过非负矩阵分解学习对象的各个部分。《自然》,401(6755):788-7911999·兹比尔1369.68285
[27] 刘福东、杨学军、关乃阳和易晓东。大规模数据集的在线图正则化非负矩阵分解。神经计算,204:162-1712016。
[28] 刘宁浩(Ninghao Liu)、黄晓(Xiao Huang)和胡霞(Xia Hu)。通过解析属性网络加快了局部异常检测。国际人工智能联合会议,第2337-2343页。AAAI,2017年。
[29] Emmanuel M¨uller、Ira Assent、Uwe Steinhausen和Thomas Seidl。Outrank:对高维数据中的异常值进行排名。在IEEE数据工程研讨会国际会议上,第600-603页。IEEE,2008年。
[30] Matthew E.Otey、Srinivasan Parthasarathy、Amol Ghoting、Guoqiang Li、Sundeep Narravula和Dhabaleswar K.Panda。朝向基于NIC的入侵检测。InACM SIGKDD知识发现和数据挖掘国际会议,723-728页。ACM,2003年。
[31] 罗伯特·C·普里姆。最短连接网络和一些推广。贝尔实验室技术期刊,36(6):1389-14011957。
[32] 孙静、王志辉、李浩杰和孙福明。具有稀疏约束的增量非负矩阵分解用于图像表示。环太平洋地区多媒体会议,第351-360页。施普林格,2018年。
[33] Hanghang Tong和Ching-Yung Lin.非负残差矩阵分解及其在图形异常检测中的应用。InSIAM国际数据挖掘会议,第143-153页。SIAM,2011年。
[34] 丁图、陈玲、吕明琪、史红玉、陈根才。分层在线NMF,用于检测和跟踪文本流中的主题层次。模式识别,76:203-2142018。
[35] 杜伟智、何胜峰、杨庆雄和钱绍义。基于最小生成树的实时显著目标检测。在IEEE计算机视觉和模式识别会议(CVPR)上,第2334-2342页。IEEE,2016年。
[36] 巴斯·范·斯坦因(Bas Van Stein)、马蒂杰斯·范·列文(Matthijs Van Leeuwen)和托马斯·贝拉克(Thomas B–ack)。基于局部子空间的全局邻域离群点检测。在IEEE国际大数据会议上,第1136-1142页。IEEE,2016年。
[37] 徐伟、刘欣和龚一红。基于非负矩阵分解的文档聚类。InACM SIGIR国际信息检索研究与开发会议,第267-273页。ACM,2003年。
[38] 俞丹通、霍兰霍申·谢霍勒斯拉米和张爱东。发现:在非常大的数据集中发现异常值。知识和信息系统,4(4):387-4122002。
[39] 于美晨(Meichen Yu)、阿尔扬·希勒布兰德(Arjan Hillebrand)、普雷贾斯·特瓦里(Prejaas Tewarie)、吉尔·迈尔(Jil Meier)、鲍勃·迪克(Bob V.Dijk)、皮特·范·米亨(Piet Van Mieghem)和科内利斯·。最小生成树中的层次聚类。《混沌:非线性科学的跨学科期刊》,25(2):1-102015。
[40] 余文超、曾光祥、罗平、庄福珍、何青和石忠志。嵌入自动编码器正则化。欧洲联合数据库机器学习和知识发现会议,第208-223页。施普林格,2013年。
[41] 胡萨姆·泽纳蒂(Houssam Zenati)、马诺·罗曼(Manon Romain)、川生福(Chuan-Sheng Foo)、布鲁诺·莱库亚特(Bruno Lecouat)和维杰·钱德拉塞卡(Vijay Chandrasekhar)。反向学习异常检测。在IEEE国际数据挖掘会议(ICDM)上,第727-736页。IEEE,2018年。
[42] 张楚旭、宋东进、陈云聪、冯新阳、克里斯蒂安·卢梅扎努、程伟、倪景超、宗博、陈海峰和Nitesh V Chawla。用于多元时间序列数据中无监督异常检测和诊断的深度神经网络。InAAAI人工智能会议,第33卷,第1409-1416页,2019a。
[43] Ji Zhang、Meng Lou、Tok Wang Ling和Hai Wang。HOS(高维外围子空间)-挖掘器:用于检测高维数据的外围子空间的系统。在超大数据库国际会议上,第1265-1268页。VLDB,2004年。
[44] 张晓霞、陈德刚、吴克胜。基于相关性和图正则化的增量非负矩阵分解用于矩阵补全。国际机器学习与控制论杂志,10(6):1259-12682019b。
[45] 赵仁波(Renbo Zhao)和谭文森(Vincent YF Tan)。带离群值的在线非负矩阵分解。IEEE信号处理汇刊,65(3):555-5702016·Zbl 1416.65122号
[46] Chong Zhou和Randy C Paffenroth。使用强大的深度自动编码器进行异常检测。InACM SIGKDD知识发现和数据挖掘国际会议,第665-674页,2017年。
[47] 费朱和保罗·霍尼恩。在线核非负矩阵分解。信号处理,131:143-1532017。
[48] 亚瑟·齐梅克(Arthur Zimek)、埃里希·舒伯特(Erich Schubert)和汉斯·彼得·克里格尔(Hans-Peter Kriegel)。高维数值数据中无监督离群点检测的研究。统计分析与数据挖掘,5(5):363-3872012·Zbl 07260336号
[49] 薄宗、齐松、马丁·仁强、魏成、克里斯蒂安·卢梅扎努、赵大基和陈海峰。用于无监督异常检测的深度自动编码高斯混合模型。2018年国际学习代表大会。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。