×
苏菲·纽鲍尔（Sophie A.Neubauer）。;拉杜·格罗苏

基于拉格朗日技术的连续深度模型的鲁棒性分析。 （英语） Zbl 1528.68231号

Raskin，Jean-François（编辑）等人，《系统设计原则》。在托马斯·亨辛格60岁生日之际为他撰写的论文。查姆：斯普林格。莱克特。注释计算。科学。13660, 625-649 (2022).
摘要：本文以统一的方式介绍了确定性和统计拉格朗日验证技术。他们正式量化了任何时间连续过程的行为稳健性，并将其表示为连续深度模型。为此，我们回顾了LRT-NG、SLR和GoTube算法，这些算法用于构造紧可达管，即给定时间范围内可达状态集的过近似，并为可达管边界提供了保证。我们比较了与系统方程、中值定理和Lipschitz常数相关的变分方程在实现确定性和统计保证方面的用途。在LRT-NG中，Lipschitz常数被用作初始扰动的膨胀因子，以计算最优度量中椭球的半径，该度量过逼近可达状态集。在SLR和GoTube中，我们通过使用Lipschitz常数计算样本周围的局部球来获得统计保证。需要这些来计算在每个时间步长找到真实最大摄动上限的概率。与LRT、Flow*和CAPD相比，我们的实验证明了拉格朗日技术的优越性能，并说明了它们在各种连续深度模型的鲁棒性分析中的应用。
有关整个系列，请参见[Zbl 1516.68022号].

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
68T05型 人工智能中的学习和自适应系统

关键词：

验证;机器学习;连续深度模型

软件：

GoTube公司;TIRA公司;火炬差异;利普BaB;违约;ProbeReach公司;流量*;github;Reluplex公司;戴恩西上校;ERAN公司
PDF格式BibTeX公司 XML格式引用
\textit{S.A.Neubauer}和\textit{R.Grosu}，莱克特。注释计算。科学。13660625--649（2022年；Zbl 1528.68231）
全文： 内政部 arXiv公司

参考文献：

[1] Abeyaratne，R.：连续介质力学。弹性固体力学讲义（1998）
[2] Athalye，A.，Carlini，N.，Wagner，D.：模糊的梯度给人一种虚假的安全感：将防御规避到对抗性的例子中。摘自：ICML，第274-283页。PMLR（2018）
[3] 贝克·S。；Tran，H-D；霍布斯，K。；约翰逊，TT；拉希里，斯洛伐克；Wang，C.，用于验证ReLU神经网络的改进几何路径枚举，计算机辅助验证，66-96（2020），Cham:Springer，Cham·Zbl 1478.68142号 ·doi:10.1007/978-3-030-53288-84
[4] Bhowmick，A.，D’Souza，M.，Raghavan，G.S.：LipBaB：计算ReLU网络的精确Lipschitz常数。arXiv预打印arXiv:2105.05495（2021）
[5] Bortolussi，L。；Sanguinetti，G。；诺曼，G。；Sanders，W.，《计算非线性和随机动力系统可达性的统计方法》，《系统定量评估》，41-56（2014），Cham:Springer，Cham·doi:10.1007/978-3-319-10696-05
[6] Bunel，R.等人：用于神经网络验证的拉格朗日分解。收录于：阿拉伯联合酋长国，第370-379页。PMLR（2020年）
[7] 布内尔，R。；Mudigonda，P。；特克斯兰，I。；托尔，P。；卢，J。；Kohli，P.，分段线性神经网络验证的分支与界限，JMLR，21，2020，1-39（2020）·Zbl 1498.68153号
[8] Bunel，R.R.、Turkaslan，I.、Torr，P.、Kohli，P.和Mudigonda，P.K.：分段线性神经网络验证的统一观点。收录人：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）NeurIPS。第31卷。柯兰联合公司（2018）。https://proceedings.neurips.cc/paper/2018/file/be53d253d6bc3258a8160556dda3e9b2-paper.pdf
[9] Chen，T.Q.，Rubanova，Y.，Bettencourt，J.，Duvenaud，D.K.：神经常微分方程。收录于：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）NeurIPS 31，第6571-6583页。Curran Associates，Inc.（2018年）
[10] 陈，X。；E·阿尔布拉哈姆。；桑卡拉纳拉亚南，S。；北卡罗来纳州Sharygina。；Veith，H.，Flow*：非线性混合系统分析仪，计算机辅助验证，258-263（2013），海德堡：施普林格·doi:10.1007/978-3-642-39799-8_18
[11] Cyranka，J。；伊斯兰，马萨诸塞州；拜恩，G。；琼斯，P。；南非斯莫尔卡；格罗苏，R。；马朱姆达尔，R。；Kunčak，V.，拉格朗日可达性，计算机辅助验证，379-400（2017），查姆：施普林格，查姆·Zbl 1497.93011号 ·doi:10.1007/978-3-319-63387-9_19
[12] Cyranka，J.，Islam，M.A.，Smolka，S.A.，Gao，S.，Grosu，R.：拉格朗日可达性的紧连续时间可达管。摘自：CDC，第6854-6861页。IEEE（2018）
[13] De Palma，A.等人：通过拉格朗日分解改进神经网络验证的分支和界限。arXiv预打印arXiv:2104.06718（2021）
[14] Devonport，A。；哈立德，M。；Arcak，M。；Zamani，M。；拉希里，斯洛伐克；Wang，C.，PIRK：高维非线性系统的可伸缩区间可达性分析，计算机辅助验证，556-568（2020），Cham:Springer，Cham·doi:10.1007/978-3-030-53288-827
[15] A.Donzé。；Touili，T。；库克，B。；Jackson，P.，Breach，混合系统验证和参数合成工具箱，计算机辅助验证，167-170（2010），海德堡：施普林格·doi:10.1007/978-3-642-14295-617
[16] A.Donzé。；马勒，O。；Bemporad，A。；比奇，A。；Buttazzo，G.，《使用灵敏度分析进行系统仿真》，《混合系统：计算与控制》，174-189（2007），海德堡：施普林格出版社·Zbl 1221.93105号 ·doi:10.1007/978-3-540-711493-4_16
[17] Duggirala，PS；密特拉，S。；维斯瓦纳坦，M。；波托克，M。；拜尔，C。；Tinelli，C.，C2E2:状态流模型验证工具，系统构建和分析的工具和算法，68-82（2015），海德堡：施普林格·doi:10.1007/978-3-662-46681-05
[18] 埃勒斯，R。；D’Souza，D。；Narayan Kumar，K.，分段线性前馈神经网络的形式验证，验证和分析自动化技术，269-286（2017），Cham:Springer，Cham·Zbl 1495.68131号 ·电话：10.1007/978-3-319-68167-2_19
[19] Enszer，J.A.，Stadtherr，M.A.：生理模型中不确定性的验证解决方案和传播。Reliab公司。计算。15(3), 168-178 (2011). http://interval.louisiana.edu/reliable-computing-journal/volume-15/no-3/reliable-computing-15-pp-168-178.pdf
[20] Erichson，N.B.，Azencot，O.，Queiruga，A.，Mahoney，M.W.：Lipschitz递归神经网络。arXiv预印arXiv:2006.12070（2020）
[21] Fan，C.，Kapinski，J.，Jin，X.，Mitra，S.：非线性系统的局部最优可达集过逼近。摘自：ICES，EMSOFT 2016，第6:1-6:10页。ACM，纽约（2016）
[22] 风扇，C。；卡宾斯基，J。；金，X。；Mitra，S.，使用矩阵度量的模拟驱动可达性，ACM Trans。嵌入。计算。系统。，17, 1, 1-28 (2017) ·doi:10.1145/3126685
[23] 风扇，C。；密特拉，S。；Finkbeiner，B。；Pu，G。；Zhang，L.，带实时差异计算的有界验证，验证和分析自动化技术，446-463（2015），Cham:Springer，Cham·Zbl 1471.68140号 ·数字对象标识代码：10.1007/978-3-319-24953-7_32
[24] Fazlyab，M.、Robey，A.、Hassani，H.、Morari，M.和Pappas，G.：深度神经网络的Lipschitz常数的高效准确估计。收录人：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d’Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）NeurIPS。第32卷。柯兰联合公司（2019）。https://proceedings.neurips.cc/paper/2019/file/95e1533eb1b20a97777749fb94fdb944-paper.pdf
[25] Finlay，C.，Jacobsen，J.H.，Nurbeyan，L.，Oberman，A.：如何训练你的神经ODE：雅可比和动力学正则化的世界。摘自：ICML，第3154-3164页。PMLR（2020年）
[26] Fränzle，M.，Hahn，E.，Hermanns，H.，Wolovick，N.，Zhang，L.：随机混杂系统的可测性和安全验证。收录于：HSCC，第43-52页（2011年）·兹比尔1362.68170
[27] Gao，S.、Kong，S.和Clarke，E.M.：可满足模码。In:2013计算机辅助设计中的形式方法，第105-112页（2013）
[28] Goodfellow，I.J.，Shlens，J.，Szegedy，C.：解释和利用对抗性例子。arXiv预印本arXiv:1412.6572（2014）
[29] Gowal，S.等人：关于区间界传播在训练可验证鲁棒模型方面的有效性。arXiv预印arXiv:1810.12715（2018）
[30] Gruenbacher，S.、Cyranka，J.、Islam，M.A.、Tschaikowski，M.、Smolka，S.和Grosu，R.：《独立拉格朗日可达性工具下》。EPiC计算机系列，第61卷（2019年）
[31] Gruenbacher，S.、Cyranka，J.、Lechner，M.、Islam，M.A.、Smolka，S.A.、Grosu，R.：拉格朗日人达到了下一代。收录于：CDC，第1556-1563页（2020年）
[32] Gruenbacher，S.，Hasani，R.，Lechner，M.，Cyranka，J.，Smolka，S.A.，Grosu，R.：关于具有随机保证的神经码的验证。收录于：AAAI 35（13），第11525-11535页（2021）
[33] Gruenbacher，S.等人：GoTube：连续深度模型的可扩展随机验证。CoRR abs/2107.08467（2021）。https://arxiv.org/abs/2107.08467
[34] 古龙，A。；雷·R。；Bartocci，E。；Bogomolov，S。；Grosu，R.，《XSpeed中混合系统的并行可达性分析》，国际期刊Softw。技术工具。传输。，21, 4, 401-423 (2019) ·doi:10.1007/s10009-018-0485-6
[35] Hansen，E。；Walster，GW，《使用区间分析进行全局优化：修订和扩展》（2003），博卡拉顿：CRC出版社，博卡拉通·doi:10.1201/9780203026922
[36] Hansen，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evol。计算。，9, 2, 159-195 (2001) ·doi:10.1162/106365601750190398
[37] Hasani，R.，Lechner，M.，Amini，A.，Rus，D.，Grosu，R.：自然彩票中奖者：普通神经回路的强化学习。输入：ICML。JMLR.org（2020）
[38] Hasani，R.、Lechner，M.、Amini，A.、Rus，D.、Grosu，R.：液体时间常数网络。输入：AAAI 35（9）（2021）
[39] Henriksen，P.，Lomuscio，A.：通过自适应细化和对抗性搜索进行有效的神经网络验证。摘自：ECAI 2020，第2513-2520页。IOS出版社（2020）
[40] Henzinger，T.A.、Lechner，M.、Zikelic，D.：量化神经网络的可缩放验证。收录于：AAAI，第35卷，第3787-3795页（2021年）
[41] Hladik，M。；Daney，D。；Tsigaridas，E.，区间矩阵实特征值和奇异值的界，SIAM J.矩阵分析。申请。，31, 4, 2116-2129 (2010) ·Zbl 1203.65076号 ·doi:10.1137/090753991
[42] 黄，C。；陈，X。；Lin，W。；杨，Z。；Li，X.，使用屏障证书对随机混合系统进行概率安全验证，ACM Trans。嵌入。计算。系统。，16, 5, 1-19 (2017) ·数字对象标识代码：10.1145/3126508
[43] 伊格尔，C。；汉森，N。；Roth，S.，多目标优化协方差矩阵自适应，Evol。计算。，15, 1, 1-28 (2007) ·doi:10.1162/evco.2007.15.1.1
[44] 艾姆勒，F。；拜尔，C。；Tinelli，C.，《连续系统的验证可达性分析，系统构建和分析的工具和算法》，37-51（2015），海德堡：斯普林格·doi:10.1007/978-3-662-46681-03
[45] Kapela，T.、Mrozek，M.、Wilczak，D.、Zgliczynski，P.：CAPD：：DynSys：一个用于动力系统严格数值分析的灵活C++工具箱。印前（2020年）。网址：ww2.ii.uj.edu.pl·Zbl 1473.37004号
[46] Katz，G。；巴雷特，C。；迪尔，DL；朱利安，K。；MJ Kochenderfer；马朱姆达尔，R。；Kunčak，V.，Reluplex：验证深层神经网络的高效SMT解算器，计算机辅助验证，97-117（2017），Cham:Springer，Cham·Zbl 1494.68167号 ·doi:10.1007/978-3-319-63387-95
[47] 德国科瓦索夫；Sergeyev，YD，Lipschitz控制问题中的全局优化方法，Autom。遥控器，74，9，1435-1448（2013）·Zbl 1282.90138号 ·doi:10.1134/S0005117913090014
[48] Lechner，M.，Hasani，R.：学习不规则采样时间序列中的长期依赖性。arXiv预印本arXiv:2006.04418（2020）
[49] Lechner，M。；哈萨尼，R。；阿米尼，A。；TA Henzinger；罗斯·D。；Grosu，R.，《实现可审计自治的神经电路政策》，Nat.MI，2，10，642-652（2020）
[50] Lechner，M.、Hasani，R.、Grosu，R.，Rus，D.、Henzinger，T.A.：机器人学习还没有准备好对抗训练。arXiv预打印arXiv:2103.08187（2021）
[51] 李，D。；贝克·S。；Bogomolov，S。；北伯特兰。；Jansen，N.，《使用杂交和动力学标度的非线性系统可达性分析》，《时间系统的形式化建模与分析》，265-282（2020），查姆：斯普林格，查姆·Zbl 07317102号 ·doi:10.1007/978-3-030-57628-8_16
[52] Lohner，R.：普通初值和边值问题解的保证封闭计算。In：计算常微分方程。牛津克拉伦登出版社（1992）·Zbl 0767.65069号
[53] Lu，J.，Mudigonda，P.：用于神经网络验证的神经网络分支。In:ICLR 2020。开放审查（2020年）
[54] Malherbe，C.，Vayatis，N.：Lipschitz函数的全局优化。摘自：第34届ICML会议记录，ICML 2017，第70卷，第2314-2323页。JMLR.org（2017）
[55] Meyer，P.J.，Devonport，A.，Arcak，M.：TIRA：区间可达性分析工具箱。参见：HSCC 2019，第224-229页。纽约计算机械协会（2019年）·Zbl 07120158号
[56] Mirman，M.，Gehr，T.，Vechev，M.：可证明鲁棒神经网络的可微抽象解释。摘自：ICML，第3578-3586页。PMLR（2018）
[57] Nair，V.，Hinton，G.E.：整流线性单元改善了受限的Boltzmann机器。收录于：ICML，第807-814页（2010年）
[58] Nedialkov，N。；杰克逊，K。；Corliss，G.，常微分方程初值问题的验证解，应用。数学。计算。，105, 1, 21-68 (1999) ·Zbl 0934.65073号
[59] Neumaier，A.，《连续全局优化和约束满足中的完全搜索》，《数值学报》，第13期，第271-369页（2004年）·Zbl 1113.90124号 ·doi:10.1017/S0962492904000194
[60] Rohn，J.：区间矩阵本征值的界。扎姆兹。安圭。数学。机械。78, 1049-1050 (1998) ·Zbl 0925.65068号
[61] Rump，SM，多个或几乎多个特征值的计算误差界，线性代数应用。，324, 1, 209-226 (2001) ·Zbl 0986.65031号 ·doi:10.1016/S0024-3795（00）00279-2
[62] Salman，H.、Yang，G.、Zhang，H.，Hsieh，C.J.、Zheng，P.：神经网络严密鲁棒性验证的凸松弛屏障。收录人：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d'Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）NeurIPS。第32卷。柯兰联合公司（2019）。https://proceedings.neurips.cc/paper/2019/file/246a3c5544feb054f3ea718f61adfa16-paper.pdf
[63] Shmarov，F.，Zuliani，P.：ProbReach：随机混合系统的保证可达性分析工具。收录：Bogomolov，S.，Tiwari，A.（编辑）SNR-CAV，第37卷，第40-48页（2015年）·Zbl 1366.68183号
[64] Shmarov，F.，Zuliani，P.：ProbReach：随机混合系统的验证概率增量可达性。载于：HSCC，第134-139页。ACM（2015）·Zbl 1366.68183号
[65] Singh，G.等人：神经网络Eth鲁棒性分析仪（ERAN）（2020年）。https://github.com/eth-sri/eran
[66] Slaughter，W.，《弹性线性化理论》（2002），波士顿：斯普林格出版社，波士顿·Zbl 0999.74002号 ·doi:10.1007/978-1-4612-0093-2
[67] Tjandraatmadja，C.，Anderson，R.，Huchette，J.，Ma，W.，Patel，K.K.，Vielma，J.P.：凸弛豫屏障，重访：神经网络验证的紧致单神经元弛豫。收录人：Larochelle，H.，Ranzato，M.，Hadsell，R.，Balcan，M.F.，Lin，H.（编辑）NeurIPS。第33卷，第21675-21686页。Curran Associates，Inc.（2020年）。https://proceedings.neurips.cc/paper/2020/file/f6c2a0c4b566bc99d596e58638e342b0-paper.pdf
[68] 维诺德，AP；Oishi，MM，靶管的随机可达性，Automatica，125（2021）·Zbl 1461.93554号 ·doi:10.1016/j.automatica.2020.109458
[69] Vorbach，C.、Hasani，R.、Amini，A.、Lechner，M.、Rus，D.：连续时间神经网络的因果导航。arXiv预打印arXiv:2106.08314（2021）
[70] 王，Q。；Zuliani，P。；孔，S。；高，S。；EM克拉克；O.罗克斯。；Bourdon，J.，SReach:随机混合系统的概率有界delta可达性分析器，系统生物学计算方法，15-27（2015），Cham:Spriger，Cham·doi:10.1007/978-3-319-23401-43
[71] Zhang，H.，Weng，T.W.，Chen，P.Y.，Hsieh，C.J.，Daniel，L.：具有通用激活函数的高效神经网络鲁棒性证明。收录人：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）NeurIPS。第31卷。Curran Associates，Inc.（2018年）。https://proceedings.neurips.cc/paper/2018/file/do4863f100d59b3eb688a11f95b0ae60-paper.pdf
[72] Zhigljavsky，A。；Zilinskas，A.，《随机全局优化》（2008），纽约：Springer，纽约·Zbl 1136.90003号 ·doi:10.1007/978-0-387-74740-8
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。