跳到主要内容
10.1145/3508398.3511510acm会议文章/章节视图摘要出版物页面鳕鱼会议记录会议集合
研究论文

EG-Booster:ML规避攻击的解释引导助推器

出版:2022年4月15日 出版历史
  • 获取引文警报
  • 摘要

    机器学习(ML)在无数领域中的广泛使用引发了人们对其在高风险环境中的可信度的质疑。寻求可信ML的一部分是评估测试时对抗性示例的健壮性。与可信的ML目标一致,基于特征的模型预测解释是一个有用的输入,有助于进行稳健性评估。在本文中,我们提出了一种新的方法,称为EG-Booster,该方法利用可解释ML的技术来指导对抗性示例制作,以改进ML模型的鲁棒性评估。EG-Booster的关键洞察力是使用基于特征的模型预测解释,通过添加间接扰动(可能导致模型规避)和避免非顺序扰动(不太可能导致规避)来指导对抗性示例的制作。EG Booster对模型体系结构、威胁模型是不可知的,并支持文献中使用的各种距离度量。我们使用图像分类基准数据集MNIST和CIFAR10评估EG-Booster。我们的研究结果表明,EG-Booster在执行少量扰动的同时,显著提高了最新攻击的规避率。通过涵盖四种白盒攻击和三种黑盒攻击的广泛实验,我们证明了EG-Booster对两个基于MNIST和CIFAR10训练的未设防神经网络以及一个基于CIFAR10.训练的对抗性ResNet模型的有效性。此外,我们引入了一个稳定性评估指标,并通过跟踪EG-Booster多次运行中模型预测之间的相似性来评估基于解释的攻击增强方法的可靠性。我们的10次独立运行结果表明,EG-Booster的输出在不同的运行中是稳定的。结合最先进的攻击,我们希望EG Booster将用于改进ML模型对规避攻击的鲁棒性评估。

    补充材料

    MP4文件 (EG-Booster.mp4)
    你想知道在制作对抗性示例时如何避免非连续干扰吗?EG-Booster做到了这一点和更多。在基于特征的解释的指导下,EG-Booster通过删除不必要的干扰并引入导致成功规避的必要干扰来增强精确ML规避攻击。通过各种威胁模型、扰动大小、攻击规范,甚至在防御模型上,EG-Booster改进了最先进的基准回避攻击。

    工具书类

    [1]
    2020年。CNN-CIFAR10模型。https://github.com/jamespengcheng/PyTorch-CNNon-CIFAR10。
    [2]
    Abderrahmen Amich和Birhanu Eshete。2021.机器学习规避攻击的解释引导诊断。通信网络安全与隐私——第17届EAI国际会议,SecureComm 2021。
    [3]
    Daniel Andor、Chris Alberti、David Weiss、Aliaksei Severyn、Alessandro Presta、Kuzman Ganchev、Slav Petrov和Michael Collins。2016.基于全球标准化转换的神经网络。在ACL 2016中。计算机语言学协会。
    [4]
    乌尔里奇·阿伊伏特加、亚历山大·博洛特和塞巴斯蒂安·甘姆斯。2020年,从反事实解释中提取模型。arXiv:2009.01884[cs.LG]
    [5]
    巴蒂斯塔·比吉奥(Battista Biggio)、伊吉诺·科罗纳(Igino Corona)、大卫·迈奥卡(Davide Maiorca)、布莱恩·纳尔逊(Blaine Nelson)、内迪姆·斯恩迪奇(Nedim Srndic)、帕维尔·拉斯科夫(Pavel Laskov)、乔治·贾西托(Gi。2013.测试时对机器学习的规避攻击。数据库中的机器学习和知识发现——欧洲会议,ECML PKDD 2013,捷克共和国布拉格,2013年9月23日至27日,会议记录,第三部分387-402。
    [6]
    巴蒂斯塔·比乔和法比奥·罗利。2018.狂野模式:对抗性机器学习兴起十年后。模式识别84(2018),317--331。
    [7]
    维兰德·布伦德尔(Wieland Brendel)、乔纳斯·劳贝尔(Jonas Rauber)、马蒂亚斯·库默勒(Matthias Kümmerer)、伊万·乌斯图扎尼诺夫(Ivan Ustyuzhaninov)和马蒂亚斯·贝奇(Matthias-Bethge)。2019.准确、可靠、快速的稳健性评估。《神经信息处理系统进展》第32期:2019年神经信息处理体系年会,2019年12月8日至14日,加拿大不列颠哥伦比亚省温哥华。12841--12851.
    [8]
    尼古拉斯·卡里尼。2020年。所有对抗性示例文件的完整列表(arXiv)。https://nicholas.carlini.com/writing/2019/all-appendarial-example-papers.html。
    [9]
    尼古拉斯·卡里尼和大卫·A·瓦格纳。2017.评估神经网络的稳健性。2017年IEEE安全与隐私研讨会,2017年5月22日至26日,美国加利福尼亚州圣何塞,SP 2017。39--57.
    [10]
    陈建波(Jianbo Chen)、迈克尔·乔丹(Michael I.Jordan)和马丁·温赖特(Martin J.Wainwright)。2020年。跳跳攻击:基于查询的高效决策攻击。arXiv:1904.02144[加拿大标准时间]
    [11]
    弗朗西斯科·克罗齐和马蒂亚斯·海因。2020年。利用各种无参数攻击集合对对抗鲁棒性进行可靠评估。第37届机器学习国际会议论文集,ICML 2020,2020年7月13日至18日,虚拟事件(机器学习研究论文集,第119卷)。PMLR,2206--2216。
    [12]
    G.E.Dahl、董瑜、李登和A.Acero。2012.用于大范围语音识别的上下文相关预训练深度神经网络。IEEE音频、语音和语言处理汇刊20,1(2012年1月),30-42。
    [13]
    董银鹏、廖方舟、庞天宇、苏杭、朱军、胡晓林和李建国。2018。以势头推进对抗性攻击。2018年6月18-22日在美国犹他州盐湖城举行的2018 IEEE计算机视觉和模式识别会议,CVPR 2018。IEEE计算机学会,9185--9193。
    [14]
    洛根·恩格斯特罗姆(Logan Engstrom)、安德鲁·伊利亚斯(Andrew Ilyas)、哈迪·萨勒曼(Hadi Salman)、什巴尼·桑图卡尔(Shibani Santurkar)和迪米特里斯·齐普拉斯(Dimitris Tsipras)。2019.健壮性(Python库)。https://github.com/MadryLab网站/稳健性
    [15]
    M.Fan、W.Wei、X.Xie、Y.Liu、X.Guan和T.Liu。2021.我们能相信你的解释吗?Android恶意软件分析中的口译员健康检查。IEEE信息取证与安全事务16(2021),838--853。
    [16]
    Amirata Ghorbani、Abubakar Abid和James Zou。2017.神经网络的解释是脆弱的。AAAI人工智能会议记录33(2017年10月)。
    [17]
    Ian J.Goodfellow、Jonathon Shlens和Christian Szegedy。2015.解释和利用对手示例。2015年5月7日至9日,在美国加利福尼亚州圣地亚哥举行的2015年ICLR第三届国际学习代表大会上,会议记录。
    [18]
    郭文波、穆东亮、徐军、苏普瑞、王刚、邢新余。2018年,LEMNA:解释基于深度学习的安全应用程序。2018年10月15日至19日,加拿大安大略省多伦多,CCS 2018,2018年ACM SIGSAC计算机和通信安全会议记录。美国医学会,364--379。
    [19]
    Juyeon Heo、Sunghwan Joo和Taesup Moon。2019.通过对手模型操纵愚弄神经网络解释。(02 2019).
    [20]
    博扬·科洛斯尼贾吉(Bojan Kolosnjaji)、安布拉·德莫蒂斯(Ambra Demontis)、巴蒂斯塔·比乔(Battista Biggio)、大卫·迈奥卡(Davide Maiorca)、乔治·贾辛托(Giorgio Giacinto)、克劳迪娅·埃克特(Claudia Eckert)和法比奥·罗。2018.对抗性恶意软件二进制文件:逃避可执行文件中恶意软件检测的深度学习。2018年9月3日至7日,在意大利罗马举行的第26届欧洲信号处理会议上,EUSIPCO 2018。533--537.
    [21]
    亚历克斯·克利舍夫斯基(Alex Krizhevsky)、维诺德·奈尔(Vinod Nair)和杰弗里·辛顿(Geoffrey Hinton)。【未注明日期】。CIFAR-10(加拿大高等研究所)。([日期])。http://www.cs.toronto.edu网站/~kriz/cifar.html
    [22]
    Alexey Kurakin、Ian J.Goodfellow和Samy Bengio。2016.大规模对抗性机器学习。CoRR abs/1611.01236(2016)。arXiv公司:1611.01236
    [23]
    Yan LeCun、Corinna Cortes和Christopher J.C.Burges。2020年,MNIST手写数字数据库。http://yann.lecun.com/exdb/mnist/。
    [24]
    Scott M.Lundberg和Su-In Lee。2017年,解释模型预测的统一方法。《神经信息处理系统进展》第30期:2017年12月4-9日,美国加利福尼亚州长滩,神经信息处理体系年度会议,4765-4774。
    [25]
    Aleksander Madry、Aleksandar Makelov、Ludwig Schmidt、Dimitris Tsipras和Adrian Vladu。2017.建立抗对抗性攻击的深度学习模式。CoRR abs/1706.06083(2017)。arXiv公司:1706.06083
    [26]
    马可·梅利斯(Marco Melis)、安布拉·戴蒙蒂斯(Ambra Demontis)、毛拉·平托(Maura Pintor)、安吉洛·索特吉乌(Angelo Sotgiu)和巴蒂斯塔·比吉奥(Battista Biggio)。2019.secml:用于安全和可解释机器学习的Python库。arXiv预印本arXiv:1912.10013(2019)。
    [27]
    Smitha Milli、Ludwig Schmidt、Anca D.Dragan和Moritz Hardt。2019.根据模型解释重建模型。在公平、问责和透明度会议记录中,FAT*2019,美国佐治亚州亚特兰大,2019年1月29日至31日。ACM,1-9。
    [28]
    阿波斯托洛斯·莫达斯(Apostolos Modas)、塞耶德·莫森·穆萨维·德兹武利(Seyed-Mohsen Moosavi-Dezfuli)和帕斯卡尔·弗罗萨德(Pascal Frossard)。2019.愚人节:几个像素会带来很大的不同。2019年6月16日至20日,在美国加利福尼亚州长滩举行的IEEE计算机视觉和模式识别会议上。计算机视觉基金会/IEEE,9087-9096。
    [29]
    Seyed-Mohsen Moosavi-Dezfuli、Alhussein Fawzi和Pascal Frossard。2016年,DeepFool:愚弄深层神经网络的简单而准确的方法。2016年6月27日至30日,在美国内华达州拉斯维加斯举行的2016年IEEE计算机视觉和模式识别会议上,CVPR 2016。IEEE计算机协会,2574-2582。
    [30]
    尼古拉斯·帕尔诺特、帕特里克·麦克丹尼尔、习武、萨默什·贾阿和阿南特拉姆·斯瓦米。2016年,蒸馏作为对抗深层神经网络的对抗扰动的防御措施。582--597.
    [31]
    毛拉·平托(Maura Pintor)、法比奥·罗利(Fabio Roli)、维兰德·布伦德尔(Wieland Brendel)和巴蒂斯塔·比吉奥(Battista Biggio)。2021.通过自适应范数约束进行快速最小范数对抗攻击。CoRR abs/2102.12827(2021年)。
    [32]
    鲍里斯·波利亚克(Boris T.Polyak)。1964.加速迭代法收敛的一些方法。U.S.S.R.计算。数学。和数学。物理学。4 (1964), 1--17. 第5版。
    [33]
    马可·图利奥·里贝罗(Marco Tülio Ribeiro)、萨米尔·辛格(Sameer Singh)和卡洛斯·盖斯特林(Carlos Guestrin),2016年。“我为什么要相信你?”:解释任何分类器的预测。2016年8月13日至17日,在美国加利福尼亚州旧金山举行的第22届ACM SIGKDD知识发现和数据挖掘国际会议记录中。1135--1144.
    [34]
    Ishai Rosenberg、Shai Meir、Jonathan Berrebi、Ilay Gordon、Guillaume Sicard和Eli(Omid)David。2020年。使用可解释性生成恶意软件分类器的端到端对抗示例。2020年国际神经网络联合会议,IJCNN 2020,英国格拉斯哥,2020年7月19-24日。IEEE,1-10。
    [35]
    Ahmad El Sallab、Mohammed Abdou、Etienne Perot和Senthil Kumar Yogamani。2017.自主驾驶深度强化学习框架。CoRR abs/1704.02532(2017)。
    [36]
    乔治·塞维利(Giorgio Severi)、吉姆·梅耶(Jim Meyer)、斯科特·库尔(Scott Coull)和艾琳娜·奥普雷亚(Alina Oprea)。2021.解释-针对恶意软件分类器的引导式后门中毒攻击。在第30届USENIX安全研讨会上,USENIX2021安全。USENIX协会。
    [37]
    L.沙普利。1953.n人游戏的值。
    [38]
    Reza Shokri、Martin Strobel和Yair Zick。2021.关于模型解释的隐私风险。arXiv:1907.00164[cs.LG]
    [39]
    阿凡蒂·施里库玛(Avanti Shrikumar)、佩顿·格林赛德(Peyton Greenside)和安舒尔·昆达杰(Anshul Kundaje)。2017.通过传播激活差异学习重要功能。2017年8月6日至11日在澳大利亚新南威尔士州悉尼举行的第34届国际机器学习会议记录。3145--3153.
    [40]
    凯伦·西蒙扬(Karen Simonyan)、安德烈亚·维达尔迪(Andrea Vedaldi)和安德鲁·齐瑟曼(Andrew Zisserman)。2014.深层卷积网络:可视化图像分类模型和显著性地图。在第二届国际学习代表大会上,ICLRWorkshop追踪会议记录。
    [41]
    Jost Tobias Springenberg、Alexey Dosovitskiy、Thomas Brox和Martin A.Riedmiller。2015.追求简单:全卷积网络。在第三届国际学习代表大会上,ICLR研讨会跟踪会议记录。
    [42]
    Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian Goodfellow和Rob Fergus。2014.神经网络的有趣特性。arXiv:1312.6199[加拿大控制与预防中心]
    [43]
    Jonathan Uesato、Brendan O'Donoghue、Aaron van den Oord和Pushmeet Kohli。2018年,对手风险和评估弱攻击的危险。arXiv:1802.05666[cs.LG]
    [44]
    A.Warnecke、D.Arp、C.Wressneger和K.Rieck。2020年,评估安全深度学习的解释方法。2020年IEEE欧洲安全与隐私研讨会(EuroS P)。158--174.

    引用人

    查看全部
    • (2024)对基于机器学习的物联网系统的大规模攻击:调查及其背后的开放库IEEE物联网杂志10.1109/JIOT.2024.337773011:11(19232-19255)在线发布日期:2024年6月1日
    • (2022)解释引导最小对抗攻击网络安全的机器学习10.1007/978-3-031-20096-0_20(257-270)在线发布日期:2022年12月2日

    索引术语

    1. EG-Booster:ML规避攻击的解释引导助推器

      建议

      评论

      信息和贡献者

      问询处

      发布于

      封面图片ACM会议
      CODASPY’22:第十二届ACM数据和应用程序安全与隐私会议记录
      2022年4月
      392页
      国际标准图书编号:9781450392204
      内政部:10.1145/3508398
      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

      赞助商

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      出版:2022年4月15日

      权限

      请求对此文章的权限。

      检查更新

      作者标记

      1. 对抗性示例
      2. 可解释ml
      3. ml回避

      限定符

      • 研究文章

      会议

      22年的鳕鱼
      赞助商:
      CODASPY'22:第二十届ACM数据和应用程序安全与隐私会议
      2022年4月24日至27日
      美国巴尔的摩医学博士

      接受率

      789份提交文件中的总体接受率149份,19%

      贡献者

      其他指标

      文献计量学和引文

      文献计量学

      文章指标

      • 下载次数(过去12个月)48
      • 下载次数(最近6周)0
      反映截至2024年7月29日的下载量

      其他指标

      引文

      引用人

      查看全部
      • (2024)对基于机器学习的物联网系统的大规模攻击:调查及其背后的开放库IEEE物联网杂志10.1109/JIOT.2024.337773011:11(19232-19255)在线发布日期:2024年6月1日
      • (2022)解释引导最小对抗攻击网络安全的机器学习10.1007/978-3-031-20096-0_20(257-270)在线发布日期:2022年12月2日

      视图选项

      获取访问权限

      登录选项

      完全访问权限

      查看选项

      PDF格式

      以PDF文件查看或下载。

      PDF格式

      电子阅读器

      使用联机查看电子阅读器.

      电子阅读器

      媒体

      数字

      其他

      桌子

      份额

      份额

      共享此出版物链接

      在社交媒体上分享