费边·鲍尔·马尔夸特;大卫·博埃蒂乌斯;斯特凡·洛伊;克里斯蒂安·席林 SpecRepair：深度神经网络引导安全修复的反例。 （英语） Zbl 1514.68119号 Legunson，Owolabi（编辑）等人，《模型检查软件》。第28届国际研讨会，SPIN 2022，虚拟活动，2022年5月21日。诉讼程序。查姆：斯普林格。莱克特。注释计算。科学。13255, 79-96 (2022). 摘要：深度神经网络（DNN）越来越多地应用于安全关键领域，如自动驾驶汽车、无人驾驶飞机和医疗诊断。证明这些DNN的安全性至关重要，即它们符合正式的安全规范。虽然安全认证工具准确地回答了这个问题，但它们对调试不安全的DNN毫无帮助，需要开发人员反复验证和修改DNN，直到最终实现安全。因此，需要开发一种能够自动生成安全DNN的修复技术。为了满足这一需求，我们提出了SpecRepair，这是一种工具，可以有效地从DNN中消除反例，并在不损害其分类准确性的情况下生成可证明安全的DNN。SpecRepair结合了基于规范的反例搜索，并恢复DNN的培训，惩罚反例并验证生成的DNN。我们在ACAS-Xu基准（一种用于无人飞机的基于DNN的控制器）和两个图像分类基准上评估了SpecRepair的有效性。结果表明，SpecRepair在生成安全DNN方面比同类方法更为成功，运行时间更短，并且在保持分类准确性的同时生成安全的DNN。关于整个系列，请参见[Zbl 1499.68019号]. 引用于1文件 MSC公司： 60年第68季度 规范和验证（程序逻辑、模型检查等） 68T07型 人工神经网络与深度学习 关键词：神经网络;安全修复;安全规范 软件：马拉布;CIFAR公司;Reluplex公司;MNIST公司;上海黄金交易所;NN修复;数据链路2 PDF格式BibTeX公司 XML格式引用 \textit｛F.Bauer Marquart｝等人，Lect。注释计算。科学。13255、79-96（2022年；Zbl 1514.68119） 全文： 内政部 arXiv公司 参考文献： [1] Bauer-Marquart，F.、Boetius，D.、Leue，S.、Schilling，C.：规范修复：深部神经网络的反例引导安全修复-补充材料（2022） [2] Chen，J.、Jordan，M.I.、Wainwright，M.J.：跳跳攻击：一种基于决策的查询效率攻击。摘自：IEEE安全与隐私研讨会，第1277-1294页。IEEE（2020）。doi:10.1109/SP40000.2020.00045 [3] Cheng，C.：神经元激活模式的可靠运行时监测。参见：日期，第1310-1313页。IEEE（2021）。doi:10.23919/DATE51398.2021.9473957 [4] 贾文希尔，GR；陈，X。；Yang，W.，人工智能神经网络（深度学习）在医学诊断和预测中的应用综述，IT教授，23，3，58-62（2021）·doi:10.1109/MITP.2021.3073665 [5] Dong，G.、Sun，J.、Wang，X.、Wang、X.、Dai，T.：正确修复神经网络。参见：QRS，第714-725页。IEEE（2021） [6] 恩德雷斯，SC；砂岩，C。；Focke，WW，Lipschitz优化的简单同源算法，J.Global Optim。，72, 2, 181-217 (2018) ·Zbl 1414.90284号 ·doi:10.1007/s10898-018-0645-y [7] Fischer，M.、Balunovic，M.，Drachsler-Cohen，D.、Gehr，T.、Zhang，C.、Vechev，M.T.：DL2：用逻辑训练和查询神经网络。收录于：ICML，《机器学习研究论文集》，第97卷，第1931-1941页。PMLR（2019年） [8] Goldberger，B.，Katz，G.，Adi，Y.，Keshet，J.：使用验证对深层神经网络进行最小修改。收录于：LPAR，EPiC计算机系列，第73卷，第260-278页。EasyChair（2020年） [9] Goodfellow，I.J.，Shlens，J.，Szegedy，C.：解释和利用对抗性例子。In:ICLR（海报）（2015） [10] I.J.Goodfellow、Y.Bengio、A.C.Courville：深度学习。内容：自适应计算和机器学习。麻省理工学院出版社（2016）。ISBN 978-0-262-03561-3。http://www.deeplearningbook.org/ ·Zbl 1373.68009号 [11] IJ Goodfellow，《生成性对抗网络》，Commun。ACM，63、11、139-144（2020年）·doi:10.1145/3422622 [12] Henzinger，T.A.、Lukina，A.、Schilling，C.：盒子外：基于抽象的神经网络监测。收录于：ECAI，FAIA，第325卷，第2433-2440页。IOS出版社（2020）。doi:10.3233/FAIA200375 [13] 黄，X。；Kwiatkowska，M。；王，S。；吴先生。；马朱姆达尔，R。；Kunčak，V.，深度神经网络的安全验证，计算机辅助验证，3-29（2017），Cham:Springer，Cham·Zbl 1494.68166号 ·doi:10.1007/978-3-319-63387-9_1 [14] Huang，X.等人：深度神经网络的安全性和可信度调查：验证、测试、对抗性攻击和防御以及可解释性。计算。科学。版本37100270（2020）·Zbl 1478.68308号 [15] Julian，K.D.，Lopez，J.，Brush，J.S.，Owen，M.P.，Kochenderfer，M.J.：飞机防撞系统的政策压缩。在：2016年IEEE/AIAA第35届数字航空电子系统会议（DASC），第1-10页。IEEE（2016） [16] Katz，G。；巴雷特，C。；迪尔，DL；朱利安，K。；柯琴德费尔，MJ；马朱姆达尔，R。；Kunčak，V.，Reluplex：验证深层神经网络的高效SMT解算器，计算机辅助验证，97-117（2017），Cham:Springer，Cham·Zbl 1494.68167号 ·doi:10.1007/978-3-319-63387-95 [17] Katz，G。；迪利格，I。；Tasiran，S.，深度神经网络验证和分析的Marabou框架，计算机辅助验证，443-452（2019），查姆：斯普林格，查姆·doi:10.1007/978-3-030-25540-4_26 [18] Kochenderfer，M.J.，Wheeler，T.A.：优化算法。麻省理工学院出版社，剑桥（2019）·Zbl 1426.90002号 [19] Krizhevsky，A.、Hinton，G.等人：从微小图像中学习多层特征（2009） [20] Lamport，L.，《证明多进程程序的正确性》，IEEE Trans。软件工程，3，2，125-143（1977）·Zbl 0349.68006号 ·doi:10.1109/TSE.1977.229904 [21] LeCun，Y.，Cortes，C.：MNIST手写数字数据库（2010年）。网址：http://yann.lecun.com/exdb/mnist/ [22] LeCun，Y.，反向传播应用于手写邮政编码识别，神经计算。，1, 4, 541-551 (1989) ·doi:10.1162/neco.1989.1.4.541 [23] 刘，C。；Arnon，T。；拉扎勒斯，C。；强，CA；巴雷特，CW；Kochenderfer，MJ，《验证深层神经网络的算法》，Found。最佳趋势。，4, 3-4, 244-404 (2021) ·doi:10.1561/24000035 [24] 卢基纳，A。；席林，C。；田纳西州亨辛格；冯·L。；Fisman，D.，《走向未知：神经网络的主动监测》，《运行时验证》，42-61（2021），查姆：施普林格，查姆·doi:10.1007/978-3-030-88494-9_3 [25] Madry，A.，Makelov，A.，Schmidt，L.，Tsipras，D.，Vladu，A.：建立抵抗对抗性攻击的深度学习模型。In:ICLR（海报）（2018年）。OpenReview.net网站 [26] Mirman，M.，Gehr，T.，Vechev，M.：可证明鲁棒神经网络的可微抽象解释。参加：机器学习国际会议（ICML）（2018年）。http://www.icml.cc/会议/2018/Schedule？showEvent=22477 [27] Moon，S.，An，G.，Song，H.O.：通过有效的组合优化进行简约的黑盒对抗性攻击。收录于：ICML，PMLR，第97卷，第4636-4645页（2019年）。http://proceedings.mlr.press/v97/moon19a.html [28] Onishi，T.、Motoyoshi，T.，Suga，Y.、Mori，H.、Ogata，T.：使用路径允许功能进行轨迹恢复的自动驾驶汽车的端到端学习方法。收录于：IJCNN，第1-8页。IEEE（2019） [29] Singh，G.，Gehr，T.，Püschel，M.，Vechev，M.T.：证明神经网络的抽象领域。收录于：POPL，第3卷，第41:1-41:30页（2019年）。数字对象标识代码：10.1145/3290354 [30] Smith，A.E.，Coit，D.W.，Baeck，T.，Fogel，D.，Michalewicz，Z.：惩罚函数。In:《进化计算手册》，第97卷，第（1）号，C5（1997） [31] Sotoudeh，M.，Thakur，A.V.：深层神经网络的可证明修复。收录于：PLDI，第588-603页。ACM（2021年） [32] Szegedy，C.等人：神经网络的有趣特性。收录于：ICLR（2014）。网址：http://arxiv.org/abs/1122.6199 [33] Usman，M。；戈皮纳斯，D。；孙，Y。；诺勒，Y。；帕萨诺，CS；席尔瓦，A。；Leino，KRM，NNrepair:基于约束的神经网络分类器修复，计算机辅助验证，3-25（2021），Cham:Springer，Cham·doi:10.1007/978-3-030-81685-8_1 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。