×
吴敏;马修·威克;阮文杰;黄晓伟;玛尔塔·奎亚特科夫斯卡

具有可证明保证的深度神经网络的基于游戏的近似验证。 （英文） 兹比尔1436.68199

西奥。计算。科学。 807、298-329（2020）.
摘要：尽管深度神经网络的准确性有所提高，但对抗性示例的发现引发了严重的安全问题。在本文中，我们研究了点态鲁棒性的两种变体，即最大安全半径问题，对于给定的输入样本，计算到对抗性示例的最小距离，以及特征稳健性该问题旨在量化单个特征对对抗扰动的鲁棒性。我们证明，在Lipschitz连续性假设下，通过离散输入空间，可以使用有限优化来近似这两个问题，并且近似具有可证明的保证，即误差是有界的。然后我们表明，由此产生的优化问题可以简化为两层基于旋转的游戏的解决方案，其中第一个玩家选择特征，第二个玩家扰动特征中的图像。虽然第二个参与者的目标是尽量减少与对手的距离，但根据优化目标，第一个参与者可以是合作的，也可以是竞争的。我们采用了一种随时随地的方法来求解博弈，即通过单调地改进博弈的上下限来逼近博弈的值。蒙特卡洛树搜索算法被应用于计算两个博弈的上界，可容许\（A^\ast\）和阿尔法-贝塔修剪算法分别被用于计算最大安全半径和特征鲁棒性博弈的下界。在处理最大安全半径问题的上限时，我们的工具显示了与现有对抗性示例制作算法相比的竞争性能。此外，我们还展示了如何部署我们的框架来评估神经网络在安全关键应用中的逐点鲁棒性，例如自动驾驶汽车中的交通标志识别。

引用于11文件

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
68T07型 人工神经网络与深度学习
68吨10 模式识别、语音识别
91B80型 统计和量子力学在经济学中的应用（经济物理学）

关键词：

自动验证;深度神经网络;对抗性示例;两层游戏

软件：

冲浪;SIFT公司;CIFAR公司;形状;Reluplex公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Wu}等人，Theor。计算。科学。807298-329（2020年；Zbl 1436.68199）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Dahl，G.E。；斯托克斯，J.W。；邓，L。；Yu，D.，使用随机投影和神经网络进行大规模恶意软件分类，（国际声学、语音和信号处理会议（2013），IEEE），3422-3426
[2] Ryan，J。；林，M.-J。；Miikkulainen，R.，神经网络入侵检测，（神经信息处理系统（NIPS）进展（1998）），943-949
[3] Bojarski，M。；德尔·特斯塔，D。；德沃拉科夫斯基，D。；Firner，B。；弗莱普，B。；戈亚尔，P。；Jackel，L.D。；蒙福特，M。；美国穆勒。；Zhang，J.，自动驾驶汽车的端到端学习，预印本
[4] 比特尔，S。；凯撒，V。；Teichmann，M。；Thoma，M.，用神经网络对街道进行逐像素分割，预印本
[5] Sermanet，P。；LeCun，Y.，多尺度卷积网络交通标志识别，（国际神经网络联合会议（2011），IEEE），2809-2813
[6] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436（2015）
[7] 比吉奥，B。；科罗纳，I。；Maiorca，D。；B.纳尔逊。；Šrndić，N。；拉斯科夫，P。；贾辛托，G。；Roli，F.，《测试时对机器学习的规避攻击》，（数据库中机器学习和知识发现联合欧洲会议（2013），施普林格），387-402
[8] 塞格迪，C。；Zaremba，W。；Sutskever，I。；布鲁纳，J。；Erhan，D。；古德费罗，I.J。；Fergus，R.，《神经网络的有趣特性》，（第二届国际学习表征会议，2014年ICLR，加拿大班夫，AB，2014年4月14日至16日，会议跟踪会议记录（2014））（2014）
[9] 古德费罗，I.J。；Shlens，J。；Szegedy，C.，《解释和利用对抗性示例》（第三届国际学习代表大会，2015年5月7日至9日，美国加利福尼亚州圣地亚哥，ICLR，2015年）
[10] Papernot，N。；麦克丹尼尔，P。；Jha，S。；弗雷德里克森，M。；Celik，Z.B。；Swami，A.，《对抗环境中深度学习的局限性》，（欧洲安全与隐私研讨会（EuroS&P）（2016），IEEE），372-387
[11] 卡里尼，N。；Wagner，D.，《评估神经网络的稳健性》，（安全与隐私研讨会（SP）（2017），IEEE），39-57
[12] Katz，G。；巴雷特，C。；Dill，D.L。；朱利安，K。；Kochenderfer，M.J.，Reluplex：验证深层神经网络的高效SMT解算器，（Majumdar，R.；Kunčak，V.，计算机辅助验证（2017），Springer International Publishing:Springer国际出版公司Cham），97-117·Zbl 1494.68167号
[13] 黄，X。；Kwiatkowska，M。；王，S。；Wu，M.，深度神经网络的安全验证，（Majumdar，R.；Kunčak，V.，计算机辅助验证（2017），Springer International Publishing：Springer国际出版公司Cham），3-29·Zbl 1494.68166号
[14] Zakrzewski，R.R.，《训练神经网络准确性的验证》，（IJCNN'01，国际神经网络联合会议，会议记录（目录号01CH37222），第3卷（2001），IEEE），1657-1662
[15] 赫尔，J。；沃德·D。；Zakrzewski，R.R.，《安全关键应用神经网络的验证与验证》，（2002年美国控制会议论文集（IEEE目录号CH37301），第6卷（2002），IEEE），4789-4794
[16] 阮，W。；黄，X。；Kwiatkowska，M.，《具有可证明保证的深度神经网络可达性分析》，（第27届国际人工智能联合会议（2018）会议记录，AAAI出版社），2651-2659
[17] 阮，W。；吴，M。；孙，Y。；黄，X。；Kroening，D。；Kwiatkowska，M.，《深度神经网络的全局稳健性评估与可证明的汉明距离保证》（国际人工智能联合会议（2019年））
[18] Lowe，D.G.，《不同尺度关键点的独特图像特征》，《国际计算机杂志》。视觉。，60, 2, 91-110 (2004)
[19] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，11，2278-2324（1998）
[20] Krizhevsky，A。；Hinton，G.，《从微小图像中学习多层特征》（2009），多伦多大学，技术报告
[21] Stallkamp，J。；Schlipsing，M。；萨勒曼，J。；Igel，C.，《人与计算机：交通标志识别的基准机器学习算法》，神经网络。，32, 323-332 (2012)
[22] Nexar，挑战，使用深度学习进行红绿灯识别
[23] Wicker，M。；黄，X。；Kwiatkowska，M.，深度神经网络的特征引导黑盒安全测试，（系统构建和分析工具和算法国际会议（2018），Springer），408-426
[24] 王，Z。；Simoncelli，E.P。；Bovik，A.C.，用于图像质量评估的多尺度结构相似性，（第三十七届信号Asilomar会议。第三十七次信号、系统和计算机Asilomard会议，第2卷（2003），IEEE），1398-1402
[25] 卡尔森，G。；Ishkhanov，T。；德席尔瓦，V。；Zomordian，A.，《自然图像空间的局部行为》，国际计算机杂志。视觉。，76, 1, 1-12 (2008) ·Zbl 1477.68463号
[26] 里贝罗，M.T。；辛格，S。；Guestrin，C.，“我为什么要相信你？”：解释任何分类器的预测，（第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD'16（2016）），1135-1144
[27] 伦德伯格，S.M。；Lee，S.-I.，解释模型预测的统一方法，（神经信息处理系统进展（2017）），4765-4774
[28] 孙，Y。；吴，M。；阮，W。；黄，X。；Kwiatkowska，M。；Kroening，D.，深度神经网络的一致性测试，（第33届ACM/IEEE自动化软件工程国际会议论文集（2018），ACM），109-119
[29] 查斯洛特，G。；Winands，M。；Uiterwijk，J。；范登·赫里克，H。；Bouzy，B.，蒙特卡罗树搜索的渐进策略，新数学。自然计算。，4, 3, 343-359 (2008) ·Zbl 1198.68225号
[30] Kocsis，L.公司。；Szepesvári，C.，基于Bandit的Monte-Carlo规划（欧洲机器学习会议（2006），斯普林格），282-293
[31] Wei，S.-C。；Yen，T.-J.，基于像素的k-means聚类生成的超像素，J.多媒体过程。技术。，6, 3, 77-86 (2015)
[32] 翁，T.-W。；张，H。；陈，H。；宋，Z。；谢长杰。；丹尼尔，L。；博宁，D。；Dhillon，I.，面向ReLU网络认证鲁棒性的快速计算，（机器学习国际会议（2018）），5273-5282
[33] 张，H。；翁，T.-W。；陈，P.-Y。；谢长杰。；Daniel，L.，具有一般激活函数的高效神经网络稳健性认证，（神经信息处理系统（NIPS）进展（2018）），4939-4948
[34] Burg，A.，深入学习Nexar比赛的红绿灯模型
[35] 穆萨维·德兹武利，S.-M。；Fawzi，A。；Fawzi，O。；Frossard，P.，《通用对抗扰动》（IEEE计算机视觉和模式识别会议论文集（2017）），1765-1773
[36] 梅利斯，M。；德蒙提斯，A。；比吉奥，B。；布朗，G。；Fumera，G。；Roli，F.，深度学习对机器人视觉安全吗？针对icub类人机器人的对抗实例，（IEEE计算机视觉国际会议论文集（2017）），751-759
[37] Pulina，L。；Taccella，A.，《人工神经网络验证的抽象再定义方法》（计算机辅助验证国际会议（2010），施普林格），243-257
[38] Gopinath博士。；Katz，G。；帕萨诺，C.s。；Barrett，C.，《Deepsafe：评估神经网络稳健性的数据驱动方法》（验证和分析自动化技术国际研讨会（2018年），Springer），3-19·Zbl 1517.68342号
[39] 米尔曼，M。；Gehr，T。；Vechev，M.，可证明鲁棒神经网络的可微分抽象解释，（Dy，J.；Krause，A.，第35届国际机器学习会议论文集。第35届国际机器学习会议论文集，机器学习研究论文集，PMLR，第80卷（2018），Stockholmsmässan：瑞典斯德哥尔摩Stockhollmsmássan），3578-3586
[40] Wong，E。；Kolter，Z.，《通过凸外部对抗性多边形对抗性示例的可证明防御》，（Dy，J.；Krause，A.，《第35届国际机器学习会议论文集》，第35届机器学习国际会议论文集，《机器学习研究论文集》第80卷（2018），Stockholmsmässan：瑞典斯德哥尔摩Stockhollmsmássan），邮编：5286-5295
[41] Wong，E。；施密特，F。；Metzen，J.H。；Kolter，J.Z.，《可证明的对抗性辩护》，（Bengio，S.；Wallach，H.；Larochelle，H.，Grauman，K.；Cesa-Bianchi，N.；Garnett，R.，《神经信息处理系统的进展》31（2018），Curran Associates，Inc.），8400-8409
[42] 辛格，G。；Gehr，T。；Püschel，M。；Vechev，M.，神经网络认证的抽象领域，Proc。ACM计划。Lang.，3，41（2019）
[43] 卡里尼，N。；Katz，G。；巴雷特，C。；Dill，D.L.，《显而易见的最小直径对抗性示例》，预印本
[44] Tjeng，V。；肖克（Xiao，K.）。；Tedrake，R.，用混合整数规划评估神经网络的鲁棒性，预印本
[45] Papernot，N。；麦克丹尼尔，P。；古德费罗，I。；Jha，S。；Celik，Z.B。；Swami，A.，《针对机器学习的实用黑盒攻击》，（2017年亚洲计算机与通信安全会议论文集（2017），ACM），506-519
[46] 北卡罗来纳州纳罗迪茨卡。；Kasiviswanathan，S.，《对深层神经网络的简单黑盒对抗性攻击》，（2017年IEEE计算机视觉和模式识别研讨会（CVPRW）（2017）），1310-1318
[47] H.海湾。；埃斯·A。；Tuytelaars，T.等人。；Van Gool，L.，《加速鲁棒特性（SURF）》，计算。视觉。图像理解。，110, 3, 346-359 (2008)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。