凯兹，盖伊;克拉克·巴雷特;大卫·L·迪尔。;凯尔·朱利安;Mykel J.Kochenderfer。 Reluplex：关于深层神经网络的推理演算。 （英语） Zbl 1522.68328号 形式方法系统。设计。 60，编号1，87-116（2022）. 摘要：深度神经网络已成为解决复杂现实问题的一种广泛使用的有效手段。然而，将其应用于安全关键系统的一个主要障碍是，很难对其行为提供正式保证。我们提出了一种新颖、可扩展和高效的技术，用于验证深层神经网络的属性（或提供反例）。该技术基于单纯形法，扩展到处理非凸问题整流线性单元(ReLU公司)激活函数，它是许多现代神经网络中的关键组成部分。验证过程将神经网络作为一个整体进行处理，而不做任何简化假设。我们在下一代无人飞机机载防撞系统（ACAS Xu）的原型深层神经网络实现上评估了我们的技术。结果表明，我们的技术可以成功地证明网络的性质，这些网络的数量级比以前可以验证的最大网络大。 引用于2文件 MSC公司： 60年第68季度 规范和验证（程序逻辑、模型检查等） 68T07型 人工神经网络与深度学习 关键词：深度神经网络;验证;可满足性模理论 软件：马拉布;AlexNet公司;Reluplex公司;AI2公司;github;ImageNet公司 PDF格式BibTeX公司 XML格式引用 \textit{G.Katz}等人，《形式方法系统》。设计。60，编号1，87--116（2022；Zbl 1522.68328） 全文： 内政部 参考文献： [1] Amir G，Wu H，Barrett C，Katz G（2020）基于SMT的二值化神经网络验证方法。技术报告。arXiv:2011.02948号 [2] Barrett C、Nieuwenhuis R、Oliveras A、Tinelli C（2006），SAT模理论中的按需分裂。摘自：第13届国际编程、人工智能和推理逻辑会议论文集，第512-526页·Zbl 1165.68480号 [3] 巴雷特，C。；塞巴斯蒂亚尼，R。；Seshia，S。；Tinelli，C。；Biere，A。；热量，MJH；van Maaren，H。；Walsh，T.，可满足模理论，可满足性手册。《人工智能和应用的前沿》，第26章，825-885（2009），纽约：IOS出版社，纽约·Zbl 1183.68568号 [4] Bastani O、Ioannou Y、Lampropoulos L、Vytiniotis D、Nori A、Criminisi A（2016）《带约束的神经网络鲁棒性测量》。In:第30届神经信息处理系统会议记录 [5] Bastani O、Pu Y、Solar-Lezama A（2018）《通过政策提取的可验证强化学习》。在：第32届神经信息处理系统会议论文集（NeurIPS） [6] Bojarski M、Del Testa D、Dworakowski D、Firner B、Flepp B、Goyal P、Jackel L、Monfort M、Muller U、Zhang J、Zhang X、Zhao J、Zieba K（2016）自动驾驶汽车的端到端学习。技术报告。arXiv:1604.07316 [7] Bunel R、Turkaslan I、Torr P、Kohli P、Kumar M（2017）分段线性神经网络验证：比较研究。技术报告。arXiv:1711.00455v1 [8] Carlini N、Katz G、Barrett C、Dill D（2017）《明显最小直径的对抗性示例》。技术报告。arXiv:1709.10207 [9] Choi A，Shi W，Shih A，Darwiche A（2019）将神经网络编译成可处理的布尔电路。在：第一届AAAI春季神经网络验证研讨会论文集（VNN） [10] Dantzig，G.，线性规划和扩展（1963），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0108.33103号 ·doi:10.7249/R366 [11] Dutertre B，de Moura L（2006）DPLL（T）的快速线性算法求解器。摘自：第18届计算机辅助验证（CAV）国际会议记录，第81-94页 [12] Dutta S，Chen X，Sankaranarayanan S（2019）使用回归多项式规则推理的神经反馈系统可达性分析。In:第22届ACM混合系统国际会议论文集：计算与控制（HSCC）·Zbl 07120151号 [13] Dutta S、Jha S、Sanakaranarayanan S、Tiwari A（2018）深度神经网络的输出范围分析。摘自：第十届美国国家航空航天局正式方法研讨会（NFM）会议记录，第121-138页 [14] Dvijotham K、Stanforth R、Gowal S、Mann T、Kohli P（2018）深度网络可扩展验证的双重方法。摘自：《人工智能不确定性会议论文集》，第550-559页 [15] Ehlers R（2017）分段线性前馈神经网络的形式验证。摘自：第15届自动验证与分析技术国际研讨会论文集，第269-286页·兹比尔1495.68131 [16] Elboher Y，Gottschlich J，Katz G（2020）神经网络验证的基于抽象的框架。附：第32届计算机辅助验证国际会议论文集，第43-65页·Zbl 1478.68154号 [17] Faure G、Nieuwenhuis R、Oliveras A、Rodríguez-Carbonell E（2008）SAT线性算术理论模数：精确、不精确和商业解算器。摘自：第11届国际满意度测试（SAT）理论与应用会议记录，第77-90页·Zbl 1138.68537号 [18] Gehr T、Mirman M、Drachsler-Cohen D、Tsankov E、Chaudhuri S、Vechev M（2018）AI2：具有抽象解释的神经网络的安全性和稳健性认证。摘自：第39届IEEE安全与隐私研讨会（S&P）会议记录 [19] Glrot X，Bordes A，Bengio Y（2011）深度稀疏整流器神经网络。摘自：第14届国际人工智能与统计会议（AISTATS）会议记录，第315-323页 [20] Gokulanathan S、Feldsher A、Malca A、Barrett C、Katz G（2020）使用形式验证简化神经网络。摘自：第12届美国国家航空航天局正式方法研讨会（NFM）会议记录，第85-93页 [21] Goldberger B，Adi Y，Keshet J，Katz G（2020）使用验证对深度神经网络进行最小修改。摘自：第23届编程、人工智能和推理逻辑国际会议论文集，第260-278页 [22] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），剑桥：麻省理工学院出版社，剑桥·Zbl 1373.68009号 [23] Goodfellow I、Shlens J、Szegedy C（2014）《解释和利用对抗性示例》。技术报告。arXiv公司：1412.6572 [24] Gopinath D、Katz G、Pásáreanu C、Barrett C（2018）《深度安全：评估神经网络稳健性的数据驱动方法》。摘自：第16届自动验证与分析技术国际研讨会论文集，第3-19页·兹比尔1517.68342 [25] Gowal S，Dvijotham K，Stanforth R，Bunel R，Qin C，Uesato J，Mann T，Kohli P（2018）关于区间界限传播对训练可验证稳健模型的有效性。技术报告。arXiv:1810.12715号 [26] 辛顿，G。；邓，L。；Yu，D。；Dahl，G。；Mohamed，A。；北卡罗来纳州贾特利。；高级，A。；Vanhoucke，V.公司。；Nguyen，P。；Sainath，T。；Kingsbury，B.，《语音识别中声学建模的深度神经网络：四个研究小组的共同观点》，IEEE Signal Process Mag，29，6，82-97（2012）·doi:10.1109/MSP.2012.2205597 [27] Huang X，Kwiatkowska M，Wang S，Wu M（2016）深度神经网络的安全验证。技术报告。arXiv公司：1610.06940 [28] Ivanov R、Weimer J、Alur R、Pappas G、Lee I（2019）Verisig：用神经网络控制器验证混合系统的安全特性。In:第22届ACM混合系统国际会议论文集：计算与控制（HSCC）·Zbl 07120152号 [29] Jacoby Y，Barrett C，Katz G（2020）使用不变推理验证递归神经网络。摘自：第18届自动验证和分析技术国际研讨会论文集，第57-74页·Zbl 1517.68241号 [30] Jarrett K、Kavukcuoglu K、LeCun Y（2009）对象识别的最佳多级架构是什么？摘自：第12届IEEE计算机视觉国际会议（ICCV）会议记录，第2146-2153页 [31] Jha S（2019）可解释人工智能的逻辑提取。In：支持ML的自治系统（FoMLAS）形式化方法第二次研讨会论文集 [32] 朱利安，K。；科钦德费尔，M。；Owen，M.，飞机防撞系统的深度神经网络压缩，J Guid Control Dyn，42，3，598-608（2019）·doi:10.2514/1.G003724 [33] Katz G、Barrett C、Dill D、Julian K、Kochenderfer M（2017）Reluplex。https://github.com/guykatzz/ReluplexCav2017 [34] Katz G、Barrett C、Dill D、Julian K、Kochenderfer M（2017）Reluplex：用于验证深层神经网络的高效SMT解算器。摘自：第29届计算机辅助验证（CAV）国际会议记录，第97-117页·Zbl 1494.68167号 [35] Katz G、Barrett C、Dill D、Julian K、Kochenderfer M（2017）《证明深层神经网络的对抗性鲁棒性》。In:自动驾驶汽车（FVAV）正式验证第一次研讨会会议记录，第19-26页 [36] Katz G、Barrett C、Tinelli C、Reynolds A、Hadarean L（2016）基于DPLL（T）的SMT解算器的惰性证明。在：第16届计算机辅助设计正式方法国际会议论文集，第93-100页 [37] Katz G，Huang D，Ibeling D，Julian K，Lazarus C，Lim R，Shah P，Thakoor S，Wu H，ZeljićA，Dill D，Kochenderfer M，Barrett C（2019）深度神经网络验证和分析的Marabou框架。摘自：第31届计算机辅助验证（CAV）国际会议记录，第443-452页 [38] Kazak Y、Barrett C、Katz G、Schapira M（2019）《验证深-RL驱动系统》。在：第一届ACM SIGCOMM网络与人工智能和ML（NetAI）研讨会论文集，第83-89页 [39] King T（2014）线性实数和整数算法上无量词公式可满足性的有效算法。博士论文 [40] King T、Barret C、Tinelli C（2014）《利用线性和混合整数规划进行SMT》。附：第14届计算机辅助设计形式方法国际会议论文集，第139-146页 [41] Kochenderfer M（2015）《不确定性下的决策：理论与应用》。In：优化的空中避碰，第章。麻省理工学院，第259-276页 [42] Kochenderfer M，Chryssanthacopoulos J（2011）通过动态编程实现稳健的空中防撞。项目报告ATC-371，麻省理工学院，林肯实验室 [43] 科钦德费尔，M。；爱德华兹，M。；Espindle，L。；库查尔，J。；Griffith，J.，估算碰撞风险的空域遭遇模型，AIAA J Guid Control Dyn，33，2，487-499（2010）·数字对象标识码：10.2514/1.44867 [44] 科钦德费尔，M。；Holland，J。；Chryssanthacopoulos，J.，《下一代机载防撞系统》，林肯实验室J，19，1，17-33（2012） [45] Kolter J，Wong E（2018）通过凸的外部对抗性多胞体对抗性示例的可证明防御。附：第16届IEEE机器学习和应用国际会议（ICML）会议记录 [46] Krizhevsky A，Sutskever I，Hinton G（2012），深度卷积神经网络的Imagenet分类。主题：神经信息处理系统的进展，第1097-1105页 [47] 库查尔，J。；Drumm，A.，《交通警报和防撞系统》，林肯实验室J，16，2，277-296（2007） [48] Kuper L、Katz G、Gottschlich J、Julian K、Barrett C、Kochenderfer M（2018）《安全关键型深层网络的可扩展验证》。技术报告。arXiv公司：1801.05950 [49] Lin X，Zhu H，Samanta R，Jagannathan S（2019）ART:可证明正确的神经网络的抽象细化指导训练。技术报告。arXiv:1907.10662 [50] Liu C，Arnon T，Lazarus C，Strong C，Barrett C，Kochenderfer M（2020）验证深度神经网络的算法。发现最佳趋势4 [51] Lomuscio A，Maganti L（2017）前馈ReLU神经网络可达性分析方法。技术报告。arXiv公司：1706.07351 [52] Maas A、Hannun A、Ng A（2013）整流器非线性改善了神经网络声学模型。附：第30届机器学习国际会议（ICML）论文集 [53] Marques-Silva，J。；Sakalah，K.，GRASP：命题可满足性的搜索算法，IEEE Trans-Comput，48，55065-521（1999）·Zbl 1392.68388号 ·数字对象标识代码：10.1109/12.769433 [54] Matthias H，Andriushchenko M（2017）《分类器对对抗性操纵鲁棒性的形式保证》。In:第31届神经信息处理系统会议记录 [55] Monniaux D（2009）关于使用浮点计算帮助精确的线性算术决策过程。摘自：第21届计算机辅助验证（CAV）国际会议记录，第570-583页·Zbl 1242.68168号 [56] Nair V，Hinton G（2010），整流线性单元改善了受限的Boltzmann机器。摘自：第27届国际机器学习会议（ICML）论文集，第807-814页 [57] Nieuwenhuis，R。；奥利维拉斯，A。；Tinelli，C.，《求解SAT和SAT模理论：从抽象的Davis-Putnam-Logemann-Loveland过程到DPLL（T）》，J ACM（JACM），53，6，937-977（2006）·Zbl 1326.68164号 ·数字对象标识代码：10.1145/1217856.1217859 [58] Padberg，M。；Rinaldi，G.，《解决大规模对称旅行商问题的分支与切割算法》，SIAM Rev，33，1，60-100（1991）·Zbl 0734.90060号 ·数字对象标识代码：10.1137/1033004 [59] Pulina L，Taccella A（2010）人工神经网络验证的一种抽象再细化方法。附：第22届计算机辅助验证国际会议记录，第243-257页 [60] Pulina，L。；Taccella，A.，《挑战SMT求解器以验证神经网络》，AI Commun，25，2，117-135（2012）·Zbl 1248.68462号 ·doi:10.3233/AIC-2012-0525 [61] Raghunathan A、Steinhardt J、Liang P（2018）《对抗性案例的证明抗辩》。摘自：第六届国际学习代表大会（ICLR）会议记录 [62] 里森胡贝尔，M。；Tomaso，P.，皮层物体识别的层次模型，《国家神经科学》，2，11，1019-1025（1999）·doi:10.1038/14819 [63] Ruan W，Huang X，Kwiatkowska M（2018）具有可证明保证的深度神经网络的可达性分析。附：第27届国际人工智能联合会议（IJCAI）会议记录 [64] 西尔弗·D。；黄，A。；Maddison，C。；盖兹，A。；Sifre，L。；Van Den Driessche，G。；Schrittwieser，J。；安东尼奥卢，I。；Panneershelvam，V。；Lanctot，M。；Dieleman，S.，《利用深度神经网络和树搜索掌握围棋游戏》，《自然》，529，7587，484-489（2016）·doi:10.1038/自然16961 [65] Singh G、Gehr T、Mirman M、Puschel M、Vechev M（2018）快速有效的稳健性认证。In:第32届神经信息处理系统会议记录（NeurIPS） [66] Singh G，Gehr T，Puschel M，Vechev M（2019）用于证明神经网络的抽象域。附：第六届ACM SIGPLAN编程语言原理研讨会论文集 [67] Strong C，Wu H，ZeljićA，Julian K，Katz G，Barrett C，Kochenderfer M（2020）ReLU网络代表的目标函数的全局优化。技术报告。arXiv:2010.03258号 [68] Sun X，K H，Shoukry Y（2019）神经网络控制自治系统的形式化验证。In:第22届ACM混合系统国际会议论文集：计算与控制（HSCC）·Zbl 07120150号 [69] Szegedy C，Zaremba W，Sutskever I，Bruna J，Erhan D，Goodfellow I，Fergus R（2013）神经网络的有趣特性。技术报告。arXiv:1312.6199 [70] Tjeng V，Xiao K，Tedrake R（2017）用混合整数规划评估神经网络的鲁棒性。技术报告。arXiv:1711.07356 [71] Vanderbei，R.，《线性规划：基础与扩展》（1996），柏林：施普林格出版社，柏林·Zbl 0874.90133号 [72] Wang S，Pei K，Whitehouse J，Yang J，Jana S（2018）使用符号区间的神经网络形式安全分析。附：第27届USENIX安全研讨会会议记录 [73] Wu H，Ozdemir A，ZeljićA，Irfan A，Julian K，Gopinath D，Fouladi S，Katz G，PéSérenau C，Barrett C（2020）验证神经网络的并行化技术。摘自：第20届计算机辅助设计形式方法国际会议论文集，第128-137页 [74] Xiang W，Johnson T（2018）神经网络控制系统的可达性分析和安全验证。技术报告。arXiv:1805.09944 [75] Xiang，W。；Tran，H-D；Johnson，T.，多层神经网络的输出可达集估计和验证，IEEE Trans neural Netw Learn System（TNNLS），99，1-7（2018） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。