×

用于分段线性神经网络验证的分支和定界。 (英语) 兹比尔1498.68153

摘要:深度学习的成功及其在许多安全关键应用中的潜在应用激发了对神经网络(NN)模型形式验证的研究。在这种情况下,验证涉及证明或反驳一个NN模型满足某些输入输出属性。尽管学习过的NN模型被誉为黑箱,而且理论上很难证明它们的有用属性,但研究人员通过利用其分段线性结构并从形式化方法(如Satisifiability Modulo Theory)中获得见解,成功地验证了一些模型类。然而,这些方法还远未扩展到实际的神经网络。为了促进这一关键领域的进展,我们利用混合整数线性规划(MIP)验证公式,提出了一系列基于分枝定界(BaB)的算法。我们表明,我们的系列包含以前的验证方法作为特殊情况。在BaB框架的帮助下,我们做出了三个关键贡献。首先,我们确定了新的方法,这些方法结合了多种现有方法的优点,实现了比以往技术水平更大的性能改进。其次,我们引入了一种有效的ReLU非线性分支策略。这种分支策略使我们能够有效且成功地处理卷积网络体系结构中的高输入维问题,而以前的方法在这些问题上经常失败。最后,我们提出了全面的测试数据集和基准测试,其中包括以前发布的测试用例的集合。我们使用这些数据集对现有算法和新算法进行了彻底的实验比较,并对影响验证问题难度的因素进行了全面分析。

MSC公司:

60年第68季度 规范和验证(程序逻辑、模型检查等)
68T07型 人工神经网络与深度学习
90立方厘米11 混合整数编程
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] 迈克尔·阿金顿德(Michael Akintude)、阿莱西奥·洛穆西奥(Alessio Lomuscio)、拉利特·马甘蒂(Lalit Maganti)和埃多亚多·皮罗瓦诺(Edoardo Pirovano)。神经-智能体-环境系统的可达性分析。第十六届国际会议
[2] 罗斯·安德森(Ross Anderson)、乔伊·胡切特(Joey Huchette)、克里斯蒂安·特詹德拉特马贾(Christian Tjandraatmadja)和胡安·巴勃罗·维埃玛(Juan Pablo Vielma)。用于训练的神经网络的强混合整数规划公式。IPCO会议记录·Zbl 1436.90088号
[3] 克拉克·巴雷特(Clark Barrett)、罗伯特·尼文胡斯(Robert Nieuwenhuis)、阿尔伯特·奥利弗拉斯(Albert Oliveras)和塞萨尔·蒂内利(Cesare Tinelli)。sat模理论中的按需分裂。人工编程逻辑国际会议·Zbl 1165.68480号
[4] 奥斯伯特·巴斯塔尼(Osbert Bastani)、亚尼·约阿诺(Yani Ioannou)、列奥尼达斯·兰普洛斯(Leonidas Lampropoulos)、迪米特里奥斯·维蒂尼奥蒂斯(Dimitrios Vytiniotis)、阿迪蒂亚·诺里(Aditya Nori)。在有约束的情况下测量神经网络的鲁棒性。会议日期:
[5] 约翰·巴克斯顿和布莱恩·兰德尔。软件工程技术:北约科学委员会主办的一次会议的报告。北约科学委员会,1970年。
[6] 尼古拉斯·卡里尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会(SP),2017年。
[7] Chih-Hong Cheng、Georg Nührenberg和Harald Ruess。人工神经网络的最大弹性。验证和分析自动化技术,2017a。
[8] Chih-Hong Cheng、Georg Nührenberg和Harald Ruess。二值化神经网络的验证。arXiv:1710.031072017b。
[9] 克里希纳穆西·德维约坦(Krishnamurthy Dvijotham)、罗伯特·斯坦福斯(Robert Stanforth)、斯文·戈瓦尔(Sven Gowal)、蒂莫西·曼(Timothy Mann)和普希米特·科利(Pushmet Kohli)。深度网络可扩展验证的双重方法。关于
[10] 鲁迪格·埃勒斯。分段线性前馈神经网络的形式化验证。验证和分析自动化技术,2017a。
[11] 鲁迪格·埃勒斯。星球。https://github.com/progirep/planet2017年b月。
[12] 泽维尔·格洛洛特和约舒亚·本吉奥。了解训练深度前馈神经网络的困难。AISTATS,2010年。
[13] 马提亚斯·海因(Matthias Hein)和马克西姆·安德里乌什琴科(Maksym Andriushchenko)。形式上保证分类器对对抗性操作的鲁棒性。神经信息处理系统会议,2017年。
[14] 蒂莫西·希基(Timothy Hickey)、群聚(Qun Ju)和马尔滕·范·埃姆登(Maarten H Van Emden)。区间算术:从原理到实现。美国医学会杂志(JACM),2001年·Zbl 1323.65047号
[15] 黄晓伟、玛塔·奎亚特科夫斯卡、王森和吴敏。深度神经网络的安全性验证。2017年国际计算机辅助验证会议。
[16] 盖伊·卡茨(Guy Katz)、克拉克·巴雷特(Clark Barrett)、大卫·迪尔(David Dill)、凯尔·朱利安(Kyle Julian)和米克尔·科钦德费尔(Mykel Kochenderfer)。Reluplex:用于验证深层神经网络的高效smt求解器。CAV,2017a。
[17] 盖伊·卡茨(Guy Katz)、克拉克·巴雷特(Clark Barrett)、大卫·迪尔(David Dill)、凯尔·朱利安(Kyle Julian)和米克尔·科钦德费尔(Mykel Kochenderfer)。Reluplex公司。https://github.com/guykatzz/ReluplexCav20172017年b月。
[18] Elias Boutros Khalil、Pierre Le Bodic、Le Song、George Nemhauser和Bistra Dilkina。学习混合整数编程中的分支。第三十届AAAI人工智能会议
[19] Ailsa H.Land和Alison G.Doig。一种解决离散编程问题的自动方法。《计量经济学》28.31960年·Zbl 1187.90016号
[20] Alessio Lomuscio和Lalit Maganti。前馈相关神经网络可达性分析方法。arXiv:1706.07351,2017。
[21] 吕靖岳和M.Pawan Kumar。用于神经网络验证的神经网络分支。2020年国际学习代表大会。
[22] Joáo P Marques-Silva和Karem A Sakallah。掌握:命题可满足性的搜索算法。IEEE计算机汇刊,1999年·Zbl 1392.68388号
[23] D.R.Morrison、S.H.Jacobson、J.J.Sauppe和E.C Sewell。分枝定界算法:搜索、分支和修剪的最新进展综述。离散优化·Zbl 1387.90010号
[24] 尼娜·纳罗季斯卡(Nina Narodytska)、希瓦·普拉萨德·卡西维瓦纳坦(Shiva Prasad Kasiviswanathan)、列奥尼德·里日克(Leonid Ryzhyk)、穆利·萨吉夫(Mooly Sagiv)和托比·沃尔什。验证二值化深度神经网络的属性。arXiv:1709.066622017。
[25] Vicenc Rubies Royo、Roberto Calandra、Dusan M Stipanovic和Claire Tomlin。通过影子价格进行快速神经网络验证。arXiv:1902.072472019。
[26] Hanif D Sherali和Warren P Adams。混合整数零规划问题的松弛层次和凸壳特征。离散应用数学,1994年·Zbl 0819.90064号
[27] Gagandeep Singh、Timon Gehr、Matthew Mirman、Markus Püschel和Martin Vechev。快速有效的稳健性认证。2018年神经信息处理系统会议。
[28] Gagandeep Singh、Timon Gehr、Markus Püschel和Martin Vechev。用于证明神经网络的抽象域。程序。ACM计划。语言32019a。
[29] Gagandeep Singh、Timon Gehr、Markus Püschel和Martin Vechev。提高神经网络的鲁棒性证明。2019b学习代表国际会议。
[30] 文森特·特詹(Vincent Tjeng)和拉斯·特德雷克(Russ Tedrake)。用混合整数规划验证神经网络。2019年国际学习代表大会。
[31] 王世奇、裴可欣、贾斯汀·怀特豪斯、杨俊峰和苏曼·贾纳。神经网络的有效形式安全分析。神经信息处理系统会议,2018a。
[32] 王世奇、裴可欣、贾斯汀·怀特豪斯、杨俊峰和苏曼·贾纳。使用符号间隔对神经网络进行形式化安全分析。27{USENIX}安全研讨会
[33] Stefan Webb、Tom Rainforth、Yee Whye Teh和M.Pawan Kumar。评估神经网络鲁棒性的统计方法。2019年国际学习代表大会。
[34] 徐伟翁、张欢、陈红歌、赵松、谢卓奎、段伯宁、英迪杰·S·迪伦和卢卡·丹尼尔。快速计算relu网络的认证鲁棒性。2018年国际机器学习会议。
[35] Eric Wong和Zico Kolter。通过凸的外部对抗性多边形对对抗性示例进行可证明的防御。2018年国际机器学习会议。
[36] 项伟明(Weiming Xiang)、陈洪东(Hoang-Dung Tran)和泰勒·T·约翰逊(Taylor T Johnson)。多层神经网络的输出可达集估计与验证。arXiv:1708.033222017·Zbl 1390.93142号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。