克里斯托弗·斯特朗。;吴浩泽;亚历山大·泽尔吉奇;凯尔·D·朱利安。;凯兹，盖伊;克拉克·巴雷特;Mykel J.Kochenderfer。 ReLU网络表示的目标函数的全局优化。 （英语） 兹伯利07753622 机器。学习。 112，编号10，3685-3712（2023）. 概述：神经网络可以学习复杂的非凸函数，在安全关键环境中保证其正确行为是一项挑战。有许多方法可以发现网络中的故障（例如，对抗性示例），但这些方法不能保证没有故障。验证算法解决了这一需求，并通过回答“是或否”问题，为神经网络提供了形式上的保证。例如，它们可以回答是否在特定范围内存在冲突。然而，个别的“是或否”问题无法回答诸如“在这些范围内最大的错误是什么”之类的定性问题；这些问题的答案在于优化领域。因此，我们提出了扩展现有验证器以执行优化的策略，并发现：（i）给定输入区域中的最极端故障和（ii）导致故障所需的最小输入扰动。使用带离线验证器的二分搜索的简单方法会导致对验证器进行许多昂贵且重叠的调用。相反，我们提出了一种将优化过程紧密集成到验证过程中的方法，与朴素方法相比，可以获得更好的运行时性能。我们评估了作为最先进的神经网络验证器Marabou的扩展而实现的方法，并将其性能与二分法和基于优化的验证器MIPVerify进行了比较。我们观察到Marabou和MIPVerify的扩展之间存在互补性。 MSC公司： 60年第68季度 规范和验证（程序逻辑、模型检查等） 68T20型 人工智能背景下的问题解决（启发式、搜索策略等） 关键词：神经网络验证;优化;对抗性例子;马拉布 软件：Reluplex公司;LBFGS-B型;L-BFGS公司;NNV公司;GLPK公司;AI2公司;vZ（虚拟Z）;ImageNet公司;L-BFGS-B型;古罗比;AlexNet公司;优化数学卫星;马拉布 PDF格式BibTeX公司 XML格式引用 \textit{C.A.Strong}等人，马赫。学习。112，编号10，3685--3712（2023；Zbl 07753622） 全文： 内政部 arXiv公司 参考文献： [1] Bak，S.、Liu，C.和Johnson，T.T.（2021）。VNN21。https://sites.google.com/view/vnn2021。2021年7月17日访问 [2] Balunovic，M.、Baader，M.，Singh，G.、Gehr，T.和Vechev，M.（2019年）。证明神经网络的几何鲁棒性。《神经信息处理系统进展》（NIPS）（第15313-15323页）。 [3] Bjorner，N.、Phan，A.D.和Fleckenstein，L.（2015）\（\nu\）z-优化SMT解算器。在系统构建和分析工具和算法国际会议（TACAS）上（第194-199页）。斯普林格。 [4] Bojarski，M.、Del Testa，D.、Dworakowski，D.、Firner，B.、Flepp，B.、Goyal，P.、Jackel，L.、Monfort，M.，Muller，U.、Zhang，J.、Zhang.、Zhao，J.和Zieba，K.（2016）。针对自动驾驶汽车的端到端学习。技术报告。arXiv:1604.07316 [5] Boopathy，A。；翁，TW；Chen，宾夕法尼亚州；刘，S。；Daniel，L.，Cnn cert:一个证明卷积神经网络鲁棒性的有效框架，AAAI人工智能会议，3323240-3247（2019）·doi:10.1609/aaai.v33i01.33013240 [6] Botoeva，E.、Kouvaros，P.、Kronqvist，J.、Lomuscio，A.和Misener，R.（2020年）。通过依赖性分析对基于relu的神经网络进行有效验证。在人工智能（AAAI）会议上。 [7] 布内尔，R。；卢，J。；特克斯兰，I。；科尔里，P。；托尔，P。；Mudigonda，P.，《分段线性神经网络验证的分支与界限》，《机器学习研究杂志》，2020年第21期，第1-39页（2020年）·Zbl 1498.68153号 [8] Carlini，N.和Wagner，D.（2017年）。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP）（第39-57页）。电气与电子工程师协会。 [9] Carlini，N.、Katz，G.、Barrett，C.和Dill，D.L.（2017）。显而易见，直径最小的对抗性示例。arXiv预打印arXiv:170910207 [10] Chakraborty，A。；Alam，M。；戴伊，V。；Chattopadhyay，A。；Mukhopadhyay，D.，对抗性攻击和防御的调查，CAAI情报技术汇刊，6，1，25-45（2021）·doi:10.1049/cit2.12028 [11] Cheng，C.H.、Nührenberg，G.和Ruess，H.（2017）。人工神经网络的最大弹性。在核查和分析自动化技术国际研讨会上（第251-268页）。斯普林格。 [12] 菲舍蒂，M。；Jo，J.，深度神经网络和混合整数线性优化，约束，23，3，296-309（2018）·Zbl 1402.90096号 ·doi:10.1007/s10601-018-9285-6 [13] Gehr，T.、Mirman，M.、Drachsler-Cohen，D.、Tsankov，E.、Chaudhuri，S.和Vechev，M.（2018）。AI2：具有抽象解释的神经网络的安全性和健壮性认证。在IEEE安全与隐私（S&P）研讨会上。 [14] Goodfellow，I.、Shlens，J.和Szegedy，C.（2015）。解释和利用对抗性示例。在学习代表国际会议上。arxiv.org/abs/1412.6572 [15] Gurobi Optimization L（2020）。Gurobi优化器参考手册。网址：http://www.gurobi.com [16] Huang，X.、Kwiatkowska，M.、Wang，S.和Wu，M.（2017）。深度神经网络的安全性验证。计算机辅助验证国际会议（第3-29页）·Zbl 1494.68166号 [17] 亨特，KJ；斯巴巴罗，D。；Zbikowski，R。；Gawthrop，PJ，控制系统的神经网络——一项调查，Automatica，28，6，1083-1112（1992）·Zbl 0763.93004号 ·doi:10.1016/0005-1098（92）90053-I [18] Johnson，T.T.和Liu，C.（2020年）。Vnn20号。https://sites.google.com/view/vnn20/。2021年7月17日查阅。 [19] Julian，K.，Lopez，J.，Brush，J.、Owen，M.和Kochenderfer，M.（2016）。飞机防撞系统的策略压缩。数字航空电子系统（DASC）（第1-10页）。 [20] Julian，K.D.、Lee，R.和Kochenderfer，M.J.（2020年）。通过自适应压力测试验证基于图像的神经网络控制器。2020年，IEEE第23届智能交通系统国际会议（ITSC）（第1-7页）。 [21] Katz，G.、Barrett，C.、Dill，D.L.、Julian，K.和Kochenderfer，M.J.（2017年）。Reluplex：用于验证深层神经网络的高效smt求解器。在计算机辅助验证国际会议上（第97-117页）。斯普林格·Zbl 1494.68167号 [22] Katz，G.、Huang，D.A.、Ibelingm，D.、Julian，K.、Lazarus，C.、Lim，R.、Shah，P.、Thakoor，S.、Wu，H.和Zeljić，A.等人（2019年）。用于验证和分析深层神经网络的marabou框架。计算机辅助验证国际会议（第443-452页）。斯普林格。 [23] MJ Kochenderfer；TA惠勒，《优化算法》（2019），伦敦：麻省理工学院出版社，伦敦·Zbl 1426.90002号 [24] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。《神经信息处理系统进展》（NIPS）（第1097-1105页）。 [25] Le，Q.V.（2013）。使用大规模无监督学习构建高级特征。IEEE声学、语音和信号处理国际会议（第8595-8598页）。 [26] Liu，C.、Arnon，T.、Lazarus，C.、Strong，C.、Barrett，C.和Kochenderfer，M.J.（2021）。验证深层神经网络的算法。Foundations and Trends®in Optimization，4（3-4），244-404。doi:10.1561/24000035 [27] 刘伟。；王，Z。；刘，X。；曾，N。；刘，Y。；Alsaadi，FE，深度神经网络架构及其应用综述，神经计算，234，11-26（2017）·doi:10.1016/j.neucom.2016.12.038 [28] Lomuscio，A.和Maganti，L.（2017年）。一种前馈相关神经网络可达性分析方法。arXiv预打印arXiv:170607351 [29] Madry，A.、Makelov，A.、Schmidt，L.、Tsipras，D.和Vladu，A.（2018年）。面向抗对抗性攻击的深度学习模型。在学习代表国际会议上。https://openreview.net/forum？id=rJzIBfZAb [30] Makhorin，A.（2004）。GLPK（Gnu线性编程工具包），4.42版。http://www.gnu.org/software/glpk [31] Müller，C.、Singh，G.、Püschel，M.和Vechev，M.T.（2020年）。基于gpus的神经网络鲁棒性验证。CoRR arxiv.org/abs/2007.10868 [32] Otter，D.W.、Medina，J.R.和Kalita，J.K.（2020年）。深入学习在自然语言处理中的应用调查。IEEE神经网络和学习系统汇刊，1-21。 [33] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016）。“我为什么要相信你？”解释任何分类器的预测。在ACM SIGKDD国际知识发现和数据挖掘会议上（第1135-1144页）。 [34] Schmidhuber，J.，《神经网络中的深度学习：概述》，神经网络，61，85-117（2015）·doi:10.1016/j.neunet.2014.09.003 [35] Sebastiani，R.和Trentin，P.（2015）。用线性算术代价函数推导出优化模理论的包络线。在系统构建和分析工具和算法国际会议（TACAS）上（第335-349页）。斯普林格·Zbl 1420.68197号 [36] 塞巴斯蒂亚尼，R。；Trentin，P.，Optimathsat:优化模理论的工具，《自动推理杂志》，64，3，423-460（2020）·Zbl 1468.68206号 ·doi:10.1007/s10817-018-09508-6 [37] Singh，G.、Gehr，T.、Mirman，M.、Püschel，M.和Vechev，M.（2018a）。快速有效的稳健性认证。《神经信息处理系统进展》（NIPS）（第10802-10813页）。 [38] Singh，G.、Gehr，T.、Püschel，M.和Vechev，M.（2018b）。增强神经网络的稳健性认证。在学习代表国际会议上。 [39] Singh，G.、Ganvir，R.、Püschel，M.和Vechev，M.（2019a）。超越神经网络认证的单神经元凸屏障。《神经信息处理系统进展》（NIPS）（第15098-15109页）。 [40] Singh，G.、Gehr，T.、Püschel，M.和Vechev，M.（2019b）。用于证明神经网络的抽象域。《美国计算机学会程序设计语言会议录3》（POPL）（第1-30页）。 [41] Szegedy，C.、Zaremba，W.、Sutskever，I.、Bruna，J.、Erhan，D.、Goodfellow，I.和Fergus，R.（2014）。神经网络的有趣特性。在学习代表国际会议上。arxiv.org/abs/1312.6199 [42] Tjeng，V.、Xiao，K.Y.和Tedrake，R.（2019年）。用混合整数规划评价神经网络的鲁棒性。在学习代表国际会议上。https://openreview.net/forum？id=HyGIdiRqtm [43] Tran，H.D.、Lopez，D.M.、Musau，P.、Yang，X.、Nguyen，L.V.、Xiang，W.和Johnson，T.T.（2019）。基于星的深层神经网络可达性分析。在正式方法国际研讨会上（第670-686页）。斯普林格。 [44] Tran，H.D.、Bak，S.、Xiang，W.和Johnson，T.T.（2020a）。使用成像星验证深度卷积神经网络。在计算机辅助核查国际会议上（第18-42页）。斯普林格·Zbl 1478.68180号 [45] Tran、HD；杨，X。；洛佩兹，DM；穆索，P。；Nguyen，L。；Xiang，W。；贝克·S。；Johnson，TT，Nnv：深度神经网络和学习型网络物理系统的神经网络验证工具，计算机辅助验证，12224，3-17（2020） [46] Vincent，J.A.和Schwager，M.（2021年）。可达多面体行进（rpm）：具有深度神经网络组件的机器人系统的安全验证算法。参加IEEE机器人与自动化国际会议（ICRA）。 [47] Wang，S.、Pei，K.、Whitehouse，J.、Yang，J.和Jana，S.（2018a）。神经网络的有效形式安全分析。《神经信息处理系统进展》（NIPS）（第6367-6377页）。 [48] Wang，S.、Pei，K.、Whitehouse，J.、Yang，J.和Jana，S.（2018b）。使用符号区间对神经网络进行形式化安全分析\（USENIX）安全研讨会（第1599-1614页）。 [49] 翁·T·W、张·H、陈·H、宋·Z、谢·C·J、博宁·D、迪伦·I·S和丹尼尔·L（2018）。快速计算relu网络的认证鲁棒性。在国际机器学习会议（ICML）上。 [50] Wolsey，LA，Integer编程（1998），伦敦：威利，伦敦·Zbl 0930.90072号 [51] Wu，H.、Ozdemir，A.、Zeljić，A.、Julian，K.、Irfan，A.、Gopinath，D.、Fouladi，S.、Katz，G.、Pasareanu，C.和Barrett，C.（2020）。用于验证神经网络的并行化技术。在计算机辅助设计（FMCAD）的形式化方法中。 [52] Xiang，W.，Tran，H.D.，Rosenfeld，J.A.，&Johnson，T.T.（2018年）。带神经网络控制器的分段线性系统可达集估计与安全性验证。美国年度控制会议（第1574-1579页）。doi:10.23919/ACC.2018.8431048 [53] 袁，X。；何，P。；朱，Q。；Li，X.，《对抗性示例：深度学习的攻击和防御》，IEEE神经网络和学习系统汇刊，30，9，2805-2824（2019）·doi:10.1109/TNNLS.2018.2886017 [54] Zhang，H.、Weng，T.W.、Chen，P.Y.、Hsieh，C.J.和Daniel，L.（2018）。具有通用激活函数的高效神经网络鲁棒性证明。在神经信息处理系统（NeurIPS）的进展中。 [55] 朱，C。；伯德，RH；卢，P。；Nocedal，J.，算法778:L-BFGS-B:大规模有界约束优化的Fortran子程序，ACM数学软件事务（TOMS），23，4，550-560（1997）·Zbl 0912.65057号 ·doi:10.1145/279232.279236 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。