跳到主要内容
10.1145/3485447.3511993acm会议文章/章节视图摘要出版物页面网址:www会议记录会议集合
研究论文

UniParser:异构日志数据的统一日志分析器

出版:2022年4月25日出版历史

摘要

日志为工程师诊断大规模在线服务系统中的故障提供了第一手信息。日志解析将半结构化原始日志消息转换为结构化数据,是基于日志的异常检测和诊断等自动化日志分析的前提。几乎所有现有的日志解析器都遵循将公共部分提取为模板,将动态部分提取为参数的一般思想。然而,这些日志解析方法往往忽视了日志消息的语义意义。此外,各种日志源之间的高度差异也对跨不同系统的日志解析的通用性造成了障碍。在本文中,我们提出了UniParser来从异构日志数据中捕获常见的日志行为。UniParser利用令牌编码器模块和上下文编码器模块从日志令牌及其相邻上下文中学习模式。专门设计了一个上下文相似性模块来模拟学习模式的共性。我们在16个公共日志数据集上进行了大量实验,结果表明UniParser的性能远远优于最先进的日志解析器。1

工具书类

  1. [未注明日期]。用于日志分析的公共数据集。https://github.com/logpai/logparser。谷歌学者谷歌学者
  2. Michael Chow、David Meisner、Jason Flinn、Daniel Peek和Thomas F Wenisch。2014.神秘机器:大型互联网服务的端到端性能分析。在第11届操作系统设计与实现研讨会上。217–231.谷歌学者谷歌学者
  3. 戴和通、李恒、陈车绍、尚伟毅和陈泽勋。2020年。Logram:使用n-gram字典进行高效日志解析。IEEE软件工程学报(2020年)。谷歌学者谷歌学者
  4. 杜敏,李菲菲,2016。拼写:系统事件日志的流式分析。2016年IEEE第16届数据挖掘国际会议(ICDM)。IEEE,859–864。谷歌学者谷歌学者交叉引用交叉引用
  5. 杜敏(Min Du)、李菲菲(Feifei Li)、郑贵能(Guineng Zheng)和维维克·斯里库玛(Vivek Srikumar)。2017.Deeplog:通过深度学习从系统日志进行异常检测和诊断。2017年ACM SIGSAC计算机和通信安全会议记录。1285–1298.谷歌学者谷歌学者数字图书馆数字图书馆
  6. 杜敏(Min Du)、李菲菲(Feifei Li)、郑贵能(Guineng Zheng)和维维克·斯里库玛(Vivek Srikumar)。2017.Deeplog:通过深度学习从系统日志进行异常检测和诊断。2017年ACM SIGSAC计算机和通信安全会议记录。1285–1298.谷歌学者谷歌学者数字图书馆数字图书馆
  7. 傅强,楼建光,王毅,李江.2009。通过非结构化日志分析检测分布式系统中的执行异常。2009年第九届IEEE数据挖掘国际会议。IEEE,149-158。谷歌学者谷歌学者
  8. Qiang Fu、Jieming Zhu、Wenlu Hu、Jian-Guang Lou、Rui Ding、Qingwei Lin、Dongmei Zhang和Tao Xie。2014.开发者在哪里登录?工业伐木实践的实证研究。第36届软件工程国际会议的伴随会议记录。24–33。谷歌学者谷歌学者数字图书馆数字图书馆
  9. Hossein Hamooni、Biplob Debnath、Jianwu Xu、Hui Zhang、Guofi Jiang和Abdullah Mueen。2016.Logmine:日志分析的快速模式识别。第25届ACM国际信息与知识管理会议论文集。1573–1582.谷歌学者谷歌学者数字图书馆数字图书馆
  10. 何平佳、朱杰明、何士林、李健和迈克尔·吕。2016。关于日志解析及其在日志挖掘中的应用的评估研究。2016年,IEEE/IFIP第46届年度可靠系统和网络(DSN)国际会议。IEEE,654–661。谷歌学者谷歌学者
  11. 何平佳、朱杰明、郑子斌和迈克尔·吕。2017.Drain:采用固定深度树的在线日志解析方法。2017年IEEE网络服务国际会议(ICWS)。IEEE,33–40。谷歌学者谷歌学者交叉引用交叉引用
  12. 何士林(Shilin He)、林庆伟(Qingwei Lin)、楼建光(Jian Guang Lou)、张红玉(Hongyu Zhang)、迈克尔·R·吕(Michael R Lyu)和张冬梅(Dongmei Zhang。2018年。通过日志分析确定有影响的服务系统问题。2018年第26届ACM欧洲软件工程联合会议和软件工程基础研讨会会议记录。60–70。谷歌学者谷歌学者数字图书馆数字图书馆
  13. 阿什什·贾斯瓦尔(Ashish Jaiswal)、阿什温·拉梅什·巴布(Ashwin Ramesh Babu)、穆罕默德·扎基·扎德(Mohammad Zaki Zadeh)、德巴布里亚·巴内吉(Debabriya Banerjee)和菲利亚·马克登。2021.对比性自主学习调查。技术9,1(2021),2。谷歌学者谷歌学者交叉引用交叉引用
  14. 姜振明、艾哈迈德·哈桑、帕敏德·弗洛拉和吉尔伯特·哈曼。2008.将执行日志抽象为企业应用程序的执行事件(短文)。2008年第八届国际质量软件大会。IEEE,181–186。谷歌学者谷歌学者数字图书馆数字图书馆
  15. 罗川、赵浦、乔波、吴友江、张宏宇、吴伟、威海路、党英农、拉杰莫汉、林庆伟,2021年。NTAM:云平台中用于磁盘故障预测的邻域临时注意模型。2021年网络会议记录。1181–1191.谷歌学者谷歌学者数字图书馆数字图书馆
  16. 马学哲和爱德华·霍维。2016.通过双向lstm-cnns-crf进行端到端序列标记。arXiv预打印arXiv:1603.01354(2016)。谷歌学者谷歌学者
  17. Adetokunb AO Makanju、A Nur Zincir-Heywood和Evangelos E Milios。2009.使用迭代分区对事件日志进行聚类。第15届ACM SIGKDD知识发现和数据挖掘国际会议论文集。1255–1264.谷歌学者谷歌学者数字图书馆数字图书馆
  18. 水谷正史(Masayoshi Mizutani)。2013.系统日志格式的增量挖掘。2013年IEEE服务计算国际会议。IEEE,595–602。谷歌学者谷歌学者数字图书馆数字图书馆
  19. Meiyappan Nagappan和Mladen A Vouk。2010.提取日志行以记录事件类型,用于挖掘软件系统日志。2010年,第七届IEEE挖掘软件存储库工作会议(MSR 2010)。IEEE,114-117。谷歌学者谷歌学者交叉引用交叉引用
  20. 岛敬一。2016.长度问题:使用字长对系统日志消息进行聚类。arXiv预印本arXiv:1611.03213(2016)。谷歌学者谷歌学者
  21. 汤亮、李涛和张成鹏。2011.LogSig:从原始文本日志生成系统事件。在第20届ACM信息和知识管理国际会议的会议记录中。785–794.谷歌学者谷歌学者数字图书馆数字图书馆
  22. 里斯托·瓦兰迪。2003.用于从事件日志中挖掘模式的数据聚类算法。第三届IEEE IP运营与管理研讨会会议记录(IPOM 2003)(IEEE分类号03EX764)。伊利,119-126。谷歌学者谷歌学者交叉引用交叉引用
  23. 里斯托·瓦兰迪和莫诺·皮埃尔加斯。2015.Logcluster——用于事件日志的数据聚类和模式挖掘算法。2015年第11届网络与服务管理国际会议(CNSM)。IEEE,1-7。谷歌学者谷歌学者数字图书馆数字图书馆
  24. 徐伟、黄玲、阿曼多·福克斯、大卫·帕特森和迈克尔·乔丹。2009.通过挖掘控制台日志检测大规模系统问题。ACM SIGOPS第22届操作系统原理研讨会论文集。117–132.谷歌学者谷歌学者数字图书馆数字图书馆
  25. 丁元、索延公园和周媛媛。2012.描述开源软件中的日志记录实践。2012年,第34届国际软件工程会议(ICSE)。IEEE,102–112。谷歌学者谷歌学者交叉引用交叉引用
  26. Shenglin Zhang、Ying Liu、Weibin Meng、Zhiling Luo、Jiahao Bu、Sen Yang、Peixian Liang、Dan Pei、Jun Xu、Yuzhi Zhang,2018年。前缀:数据中心网络中的交换机故障预测。美国计算机学会计算机系统测量与分析学报2,1(2018),1-29。谷歌学者谷歌学者数字图书馆数字图书馆
  27. 张翔和延乐村。2015.从头开始理解文本。arXiv预印arXiv:1502.01710(2015)。谷歌学者谷歌学者
  28. 张旭、徐勇、林庆伟、薄乔、张红玉、党英农、谢春玉、杨新生、钱成、泽丽,2019年。基于日志的不稳定日志数据异常检测。2019年第27届ACM欧洲软件工程会议暨软件工程基础研讨会论文集。807-817。谷歌学者谷歌学者数字图书馆数字图书馆
  29. 张旭、徐勇、司勤、何士林、薄乔、泽丽、张宏宇、李旭坤、党英农、林庆伟,2021年。洋葱:识别云系统的事件指示日志。第29届ACM欧洲软件工程联合会议和软件工程基础研讨会会议记录。1253-1263。谷歌学者谷歌学者数字图书馆数字图书馆
  30. 朱杰明、何士林、刘金阳、何品嘉、谢琦、郑子斌和迈克尔·吕。2019.用于自动日志解析的工具和基准。2019年IEEE/ACM第41届国际软件工程会议:软件工程实践(ICSE-SEIP)。IEEE,第121–130条。谷歌学者谷歌学者数字图书馆数字图书馆

索引术语

  1. UniParser:异构日志数据的统一日志分析器
        索引项已通过自动分类分配给内容。

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用eReader联机查看。

        电子阅读器

        HTML格式

        以HTML格式查看本文。

        查看HTML格式