×
伊扎克·伊斯雷尔·埃尔博尔;埃拉扎尔·科恩;凯兹，盖伊

使用残差推理进行神经网络验证。 （英语） Zbl 1525.68075号

Schlingloff，Bernd-Holger（编辑）等人，《软件工程和形式化方法》。第20届国际会议，SEFM 2022，德国柏林，2022年9月26-30日。诉讼程序。查姆：斯普林格。莱克特。注释计算。科学。13550, 173-189 (2022).
摘要：随着神经网络作为关键任务系统的组成部分日益集成，越来越需要确保它们满足各种安全和活性要求。近年来，为此提出了许多完善的验证方法，但这些方法通常受到严重的可扩展性限制。最近的工作提出了使用抽象再定义功能来增强此类验证技术，这些功能已被证明可以提高可扩展性：验证器不是验证大型复杂网络，而是构建并验证一个更小的网络，其正确性意味着原始网络的正确性。这种方案的一个缺点是，如果验证较小的网络失败，验证器需要执行一个细化步骤，增加被验证网络的大小，然后从头开始验证新网络，这实际上“浪费”了其早期验证较小网络的工作。在本文中，我们通过使用剩余推理：利用在验证抽象网络时获取的信息的过程，以加快对精细网络的验证。本质上，该方法允许验证者存储有关搜索空间中保证精细网络正确运行的部分的信息，并使其能够专注于可能发现错误的领域。我们实现了我们的方法，作为Marabou验证器的扩展，并获得了令人满意的结果。
关于整个系列，请参见[Zbl 1516.68023号].

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
68T05年 人工智能中的学习和自适应系统

关键词：

神经网络;验证;抽象精化;剩余推理;增量推理

软件：

Reluplex公司;AI2公司;马拉布;BERT（误码率）
PDF格式BibTeX公司 XML格式引用
\textit｛Y.Y.Elboher｝等人，Lect。注释计算。科学。13550173-189（2022年；兹比尔1525.68075）
全文： 内政部 arXiv公司

参考文献：

[1] Angelov，P.，Soares，E.：走向可解释的深层神经网络（xDNN）。神经网络。130185-194（2020）·doi:10.1016/j.neunet.2020.07.010
[2] Ashok，P.，Hashemi，V.，Kretinsky，J.，Mühlberger，S.：深度抽象：用于加速验证的神经网络抽象。摘自：第18届自动验证与分析技术国际研讨会论文集，第92-107页（2020年）
[3] Azzopardi，S.，Colombo，C.，Pace，G.：一种利用剩余推理进行基于自动机的验证的技术。摘自：《第八届模型驱动工程和软件开发国际会议论文集》，第237-248页（2020年）
[4] Bak，S.，Liu，C.，Johnson，T.：第二次神经网络国际验证竞赛（VNN-COMP 2021）：总结和结果。技术报告（2021）。http://arxiv.org/abs/2109.00498
[5] Biere，A.，Heule，M.，van Maaren，H.：可满足性手册。IOS出版社（2009）·Zbl 1183.68568号
[6] Bojarski，M.等人：自动驾驶汽车的端到端学习。技术报告（2016）。http://arxiv.org/abs/1604.07316
[7] Bunel，R.、Turkaslan，I.、Torr，P.、Kohli，P.和Kumar，M.：分段线性神经网络验证：比较研究。技术报告（2017）。http://arxiv.org/abs/1711.00455 ·Zbl 1498.68153号
[8] Clarke，E.，Grumberg，O.，Jha，S.，Lu，Y.，Veith，H.：反例引导的抽象细化。收录：Emerson，E.A.，Sistla，A.P.（编辑）CAV 2000。LNCS，第1855卷，第154-169页。斯普林格，海德堡（2000）。https://doi.org/10.1007/10722167_15 ·Zbl 0974.68517号 ·doi:10.1007/10722167_15
[9] Dantzig，G.：线性规划与扩展。普林斯顿大学出版社，普林斯顿（1963）·Zbl 0108.33103号 ·doi:10.1515/9781400884179
[10] Devlin，J.，Chang，M.W.，Lee，K.，Toutanova，K.：BERT：用于语言理解的深层双向变换器的预培训。技术报告（2018）。http://arxiv.org/abs/1810.04805
[11] Dutta，S.，Jha，S.、Sanakaranarayanan，S.和Tiwari，A.：深层神经网络的输出范围分析。摘自：第十届美国国家航空航天局正式方法研讨会（NFM）会议记录，第121-138页（2018年）
[12] Ehlers，R.：分段线性前馈神经网络的形式验证。收录人：D'Souza，D.，Narayan Kumar，K.（编辑）ATVA 2017。LNCS，第10482卷，第269-286页。查姆施普林格（2017）。https://doi.org/10.1007/978-3-319-68167-2_19 ·兹比尔1495.68131 ·电话：10.1007/978-3-319-68167-2_19
[13] Elboher，Y.，Cohen，E.，Katz，G.：使用残差推理进行神经网络验证。技术报告（2022年）。网址：http://arxiv.org/abs/2208.0383
[14] Elboher，Y.Y.，Gottschlich，J.，Katz，G.：神经网络验证的基于抽象的框架。收录人：Lahiri，S.K.，Wang，C.（编辑）CAV 2020。LNCS，第12224卷，第43-65页。查姆施普林格（2020）。https://doi.org/10.1007/978-3-030-53288-8_3 ·Zbl 1478.68154号 ·doi:10.1007/978-3-030-53288-83
[15] Gehr，T.、Mirman，M.、Drachsler-Cohen，D.、Tsankov，E.、Chaudhuri，S.、Vechev，M.：AI2：具有抽象解释的神经网络的安全性和稳健性认证。摘自：第39届IEEE安全与隐私研讨会（S&P）会议记录（2018年）
[16] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。麻省理工学院出版社，剑桥（2016）·Zbl 1373.68009号
[17] He，K.，Zhang，X.，Ren，S.，Sun，J.：图像识别的深度剩余学习。摘自：IEEE计算机视觉和模式识别会议记录，第770-778页（2016）
[18] Huang，X.，Kwiatkowska，M.，Wang，S.，Wu，M.：深度神经网络的安全验证。收录人：Majumdar，R.，Kunčak，V.（编辑）CAV 2017。LNCS，第10426卷，第3-29页。查姆施普林格（2017）。https://doi.org/10.1007/978-3-319-63387-9_1 ·Zbl 1494.68166号 ·doi:10.1007/978-3-319-63387-9_1
[19] Julian，K.，Lopez，J.，Brush，J.、Owen，M.、Kochenderfer，M.：飞机防撞系统的政策压缩。摘自：第35届数字航空电子系统会议（DASC）会议记录，第1-10页（2016）
[20] Katz，G.、Barrett，C.、Dill，D.L.、Julian，K.、Kochenderfer，M.J.：Reluplex：用于验证深层神经网络的高效SMT求解器。收录人：Majumdar，R.，Kunčak，V.（编辑）CAV 2017。LNCS，第10426卷，第97-117页。查姆施普林格（2017）。https://doi.org/10.1007/978-3-319-63387-9_5 ·Zbl 1494.68167号 ·doi:10.1007/978-3-319-63387-95
[21] Katz，G.等人：深层神经网络验证和分析的marabou框架。收录：Dillig，I.，Tasiran，S.（编辑）CAV 2019。LNCS，第11561卷，第443-452页。查姆施普林格（2019）。https://doi.org/10.1007/978-3-030-25540-4_26 ·doi:10.1007/978-3-030-25540-4_26
[22] Kim，B.，Kim，H.，Kim，K.，Kim，S.，Kim，J.：学习不学习：用有偏见的数据训练深度神经网络。摘自：IEEE计算机视觉和模式识别会议记录，第9004-9012页（2019年）
[23] Liu，C.，Arnon，T.，Lazarus，C.，Barrett，C.，Kochenderfer，M.：验证深层神经网络的算法。技术报告（2020年）。http://arxiv.org/abs/1903.06758
[24] Müller，M.、Makarchuk，G.、Singh，G.，Püschel，M.，Vechev，M.：PRIMA：通过可缩放凸包近似进行一般和精确的神经网络认证。附：第49届ACM SIGPLAN程序设计语言原理研讨会（POPL）会议记录（2022年）
[25] Narodytska，N.，Kasiviswanathan，S.，Ryzhyk，L.，Sagiv，M.，Walsh，T.：验证二值化深度神经网络的属性。技术报告（2017）。http://arxiv.org/abs/1709.06662
[26] Prabhakar，P.，Afzal，Z.：神经网络基于抽象的输出范围分析。技术报告（2020年）。http://arxiv.org/abs/2007.09527
[27] Singh，G.，Gehr，T.，Puschel，M.，Vechev，M.：证明神经网络的抽象领域。摘自：第46届ACM SIGPLAN编程语言原理研讨会（2019年）会议记录
[28] Song，H.、Kim，M.、Park，D.、Shin，Y.、Lee，J.G.：自动驾驶汽车的端到端学习。技术报告（2020年）。http://arxiv.org/abs/2007.08199
[29] Tjeng，V.，Xiao，K.，Tedrake，R.：用混合整数规划评估神经网络的鲁棒性。技术报告（2017）。http://arxiv.org/abs/1711.07356
[30] Wang，S.、Pei，K.、Whitehouse，J.、Yang，J.和Jana，S.：使用符号区间对神经网络进行形式安全分析。致：第27届USENIX安全研讨会（2018年）会议记录
[31] Wang，S.，et al.：Beta-CROWN：带全神经元分裂约束的有效边界传播，用于完整和不完整神经网络验证。收录：第35届神经信息处理系统会议记录（2021年）
[32] Wu，H.等：验证神经网络的并行化技术。摘自：《第20届计算机辅助设计形式方法国际会议论文集》，第128-137页（2020）
[33] Wu，H.，Zeljić，A.，Katz，G.，Barrett，C.：具有不可行性总结的高效神经网络分析。包含：TACAS 2022。LNCS，第13243卷，第143-163页。查姆施普林格（2022）。https://doi.org/10.1007/978-3-030-99524-9_8 ·doi:10.1007/978-3-030-99524-9_8
[34] Ying，X.：过拟合及其解决方案概述。J.Phys:期刊编辑。1168, 022022 (2019)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。