摘要
补充材料
Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.版本， I.、Talwar，K.、Tucker，P.、Vanhoucke，V.、Vasudevan，V.，Viégas，F.、Vinyals，O.、Warden，P.，Wattenberg，M.、Wicke，M..、Yu，Y.和Zheng，X.TensorFlow:异构系统上的大规模机器学习，2015年。 张量流提供的软件。 组织。 谷歌学者 
Akintund，M.、Lomuscio，A.、Maganti，L.和Pirovano，E.神经-主体-环境系统的可达性分析。 《知识表示和推理原则：第十六届国际会议论文集》，KR 2018，亚利桑那州坦佩，2018年10月30日至11月2日（2018），M.Thielscher、F.Toni和F.Wolter，编辑，AAAI出版社，第184-193页。 谷歌学者 Anderson，G.、Pailoor，S.、Dillig，I.和Chaudhuri，S.优化和抽象：分析神经网络鲁棒性的协同方法。 arXiv电子版（2019年4月），arXiv:1904.09959。 谷歌学者 Balunovic，M.、Baader，M.，Singh，G.、Gehr，T.和Vechev，M.T.证明神经网络的几何鲁棒性。 《神经信息处理系统的进展》第32期：2019年神经信息处理体系年度会议，2019年，NeurIPS 2019年12月8日至14日，加拿大不列颠哥伦比亚省温哥华（2019），H.M.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.B.Fox和R.Garnett，Eds.，第15287-15297页。 谷歌学者 Botoeva，E.、Kouvaros，P.、Kronqvist，J.、Lomuscio，A.和Misener，R.通过依赖性分析对基于relu的神经网络进行有效验证。 《第三十四届AAAI人工智能会议》，《AAAI 2020》，《第三十二届人工智能创新应用会议》，IAAI 2020，《第十届AAAI-人工智能教育进步研讨会》，EAAI 2020年，美国纽约州纽约市，2020年2月7日至12日（2020），AAAI出版社，第3291-3299页。 谷歌学者 交叉引用 
Cousot，P.和Coosot，R.抽象解释：通过构造或近似不动点对程序进行静态分析的统一格模型。 在第四届ACM编程语言原则研讨会（POPL）（1977年）上，第238-252页。 谷歌学者 Dutta，S.、Jha，S.，Sankaranarayanan，S.和Tiwari，A.深度前馈神经网络的输出范围分析。 2018年4月17日至19日，美国弗吉尼亚州纽波特新闻（Newport News），美国国家航空航天局正式方法第十届国际研讨会，第121-138页。 谷歌学者 Ehlers，R.分段线性前馈神经网络的形式化验证。 在第15届国际验证与分析自动化技术研讨会（2017）上，第269-286页。 谷歌学者 交叉引用 Gehr，T.、Mirman，M.、Drachsler-Cohen，D.、Tsankov，P.、Chaudhuri，S.和Vechev，M.AI2：具有抽象解释的神经网络的安全性和稳健性认证。 2018年IEEE安全与隐私研讨会（S&P 2018）（2018），第948-963页。 谷歌学者 Huang，X.、Kroening，D.、Ruan，W.、Sharp，J.、Sun，Y.、Thamo，E.、Wu，M.和Yi，X.深度神经网络的安全性和可信度调查：验证、测试、对抗性攻击和防御以及可解释性。 《计算机科学评论》（2020）。 谷歌学者 Huang，X.、Kwiatkowska，M.、Wang，S.和Wu，M.深度神经网络的安全验证。 第29届国际计算机辅助验证会议（CAV2017）（2017），第3-29页。 谷歌学者 交叉引用 Jia，Y.、Shelhamer，E.、Donahue，J.、Karayev，S.、Long，J.、Girschick，R.、Guadarrama，S.和Darrell，T.Cafe：快速特征嵌入的卷积架构。 arXiv预印本arXiv:1408.5093（2014）。 谷歌学者 Katz，G.、Barrett，C.W.、Dill，D.L.、Julian，K.和Kochenderfer，M.J.Reluplex：验证深层神经网络的有效SMT解算器。 第29届计算机辅助验证国际会议（CAV2017）（2017），第97-117页。 谷歌学者 交叉引用 Katz，G.、Huang，D.A.、Ibeling，D.、Julian，K.、Lazarus，C.、Lim，R.、Shah，P.、Thakoor，S.、Wu，H.、Zeljić，A.、Dill，D.L.、Kochenderfer，M.J.和Barrett，C.深度神经网络验证和分析的marabou框架。 在《计算机辅助验证》（Cham，2019）中，I.Dillig和S.Tasiran，Eds.，Springer International Publishing，第443-452页。 谷歌学者 交叉引用 Ko，C.-Y.，Lyu，Z.，Weng，T.-W.，Daniel，L.，Wong，N.和Lin，D.POPQORN:量化递归神经网络的鲁棒性。 arXiv电子打印（2019年5月），arXiv:1905.07387。 谷歌学者 Krizhevsky，A.，Hinton，G.等人，从微小的图像中学习多层特征。 谷歌学者 Lécun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.基于梯度的学习应用于文档识别。 IEEE 86，11（1998），2278-2324的会议记录。 谷歌学者 交叉引用 Li，J.、Liu，J.，Yang，P.、Chen，L.、Huang，X.和Zhang，L.用符号传播分析深层神经网络：朝着更高精度和更快验证的方向发展。 静态分析第26届国际研讨会，SAS 2019，葡萄牙波尔图，2019年10月8日至11日，Proceedings（2019），B.E.Chang，Ed.，第11822卷，计算机科学讲稿，Springer，第296-319页。 谷歌学者 Paszke，A.、Gross，S.、Massa，F.、Lerer，A.、Bradbury，J.、Chanan，G.、Killeen，T.、Lin，Z.、Gimelshein，N.、Antiga，L.、Desmaison，A.、Kopf，A.，Yang，E.、DeVito，Z.，Raison，M.、Tejani，A.、Chilamkurthy，S.，Steiner，B.、Fang，L.，Bai，J.和Chintala，S.Pythort：一个命令式、高性能的深度学习库。 《神经信息处理系统进展》32，H.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.Fox和R.Garnett，编辑：Curran Associates，Inc.，2019年，第8024-8035页。 谷歌学者 Pulina，L.和Tacchella，A.验证人工神经网络的一种抽象-细化方法。 2010年7月15日至19日在英国爱丁堡举行的2010年CAV第22届国际会议上的计算机辅助验证。 《会议记录》（2010年），第243-257页。 谷歌学者 Ruan，W.、Huang，X.和Kwiatkowska，M.具有可证明保证的深度神经网络的可达性分析。 IJCAI2018（2018），第2651-2659页。 谷歌学者 Singh，G.、Gehr，T.、Mirman，M.、Püschel，M.和Vechev，M.T.快速有效的稳健性认证。 《神经信息处理系统进展》第31期：2018年神经信息处理体系年会，2018年12月3日至8日，加拿大蒙特利尔，NeurIPS 2018。 （2018），第10825-10836页。 谷歌学者 Singh，G.，Gehr，T.，Püschel，M.和Vechev，M.T.，神经网络认证的抽象领域。 程序。 ACM计划。 Lang.3，POPL（2019），41:1-41:30。 谷歌学者 Singh，G.，Gehr，T.，Püschel，M.和Vechev，M.T.，神经网络认证的抽象领域。 PACMPL 3，POPL（2019），41:1-41:30。 谷歌学者 Sun，Y.、Wu，M.、Ruan，W.、Huang，X.、Kwiatkowska，M.和Kroening，D.深度神经网络的契约测试。 自动化软件工程（ASE），第33届IEEE/ACM国际会议（2018年）。 谷歌学者 Wang，J.、Dong，G.、Sun，J.，Wang，X.和Zhang，P.通过模型突变测试检测深层神经网络的对抗样本。 2019年IEEE/ACM第41届国际软件工程会议（ICSE）（2019年），第1245-1256页。 谷歌学者 Weng，T.-W.，Zhang，H.，Chen，H.、Song，Z.、Hsieh，C.-J.、Boning，D.、Dhillon，I.S.和Daniel，L.朝向ReLU网络认证鲁棒性的快速计算。 arXiv电子版（2018年4月），arXiv:1804.09699。 谷歌学者 Weng，T.-W.，Zhang，H.，Chen，P.-Y.，Yi，J.，Su，D.，Gao，Y.，Xieh，C.-J.和Daniel，L.评估神经网络的鲁棒性：极值理论方法。 arXiv电子版（2018年1月），arXiv:1801.10578。 谷歌学者 Wicker，M.、Huang，X.和Kwiatkowska，M.深度神经网络的特征引导黑盒安全测试。 在系统构建和分析工具和算法国际会议（TACAS2018）（2018）上，Springer，第408-426页。 谷歌学者 交叉引用 Wu，M.、Wicker，M.，Ruan，W.、Huang，X.和Kwiatkowska，M.。具有可证明保证的深度神经网络的基于游戏的近似验证。 理论计算机科学807（2020），298-329。 谷歌学者
建议
深度神经网络的快速鲁棒性预测 Internetware’19：第11届亚太地区Internetware研讨会论文集 深度神经网络（DNN）在许多困难的任务中取得了令人印象深刻的性能。 然而，DNN模型本质上是人类无法理解的，不幸的是，它容易受到敌对攻击，这阻碍了其在安全和安保领域的应用。。。 OccRob公司 ：基于SMT的深度神经网络遮挡鲁棒性验证 系统构建和分析的工具和算法 摘要 遮挡是深度神经网络（DNN）中一种普遍存在且易于实现的语义扰动。 它可以通过遮挡某些片段来愚弄DNN对输入图像进行错误分类，可能会导致严重错误。 因此，在……种植DNN。。。
