×
马修·克利夫兰；林德曼，拉尔斯；拉多斯拉夫·伊万诺夫；乔治·J·帕帕斯。

用神经网络控制器对随机系统进行风险验证。 （英语） Zbl 07613160号

Artif公司。智力。 313，文章ID 103782，27 p.（2022）.
摘要：基于神经网络（NN）控制器在安全关键应用中的脆弱性，我们提出了一个数据驱动框架，用于验证使用NN控制器的随机动力系统的风险。给定一个随机控制系统、一个NN控制器和一个带有跟踪鲁棒性概念的规范（例如约束函数或信号时序逻辑），我们从系统中收集可能满足或不满足规范的轨迹。特别是，每个轨迹都会产生一个稳健性值，该值指示规范的满足程度（严重程度）。然后，我们在这些鲁棒性值上计算风险度量，以估计NN控制器不满足规范的风险。我们更感兴趣的是量化两个系统之间的风险差异，并且我们展示了从名义系统估计的风险如何提供系统扰动版本的风险上限。特别是，这个界限的紧密性取决于系统轨迹的紧密性。对于Lipschitz连续和增量输入-状态稳定系统，我们展示了如何以不同程度的保守性准确量化系统的封闭性，同时我们从实验中的数据估计更一般系统的系统封闭性。我们在两个案例研究中演示了我们的风险验证方法，一个是水下航行器，另一个是F1/10自动驾驶汽车。

MSC公司：

68次发射 人工智能

关键词：

形式验证；风险感知系统；随机系统；神经网络控制器验证

软件：

ReachNN公司；Wasserstein甘；NNV公司；盖泽博；夏洛克；AI2公司；Reluplex公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Cleaveland}等人，Artif。智力。313，文章ID 103782，27 p.（2022；Zbl 07613160）
全文： 内政部 arXiv公司

参考文献：

[1] Szegedy，C.等人。；Zaremba，W。；Sutskever，I。；布鲁纳，J。；Erhan博士。；古德费罗，I。；Fergus，R.，神经网络的有趣特性，预印本
[2] Pnueli，A.，程序的时序逻辑，（计算机科学基础研讨会论文集。计算机科学基础会议论文集，华盛顿特区（1977）），46-57
[3] Anevlavis，T。；菲利普，M。；奈德，D。；Tabuada，P.，正确是不够的：使用鲁棒线性时序逻辑进行有效验证，ACM Trans。计算。日志。，23, 2, 1-39 (2022) ·Zbl 1502.68178号
[4] 马勒，O。；Nickovic，D.，《连续信号的时间特性监测》（《定时和容错系统的形式技术、建模和分析会议论文集》，《定时和容错系统的形式化技术、建模与分析会议论文录》，法国格勒诺布尔（2004）），152-166·Zbl 1109.68518号
[5] Bartocci，E。；Bortolussi，L。；Nenzi，L。；Sanguinetti，G.，《使用时间特性鲁棒性的随机模型系统设计》，Theor。计算。科学。，587, 3-25 (2015) ·Zbl 1327.68147号
[6] 林德曼，L。；Matni，N。；Pappas，G.J.，离散时间随机过程的STL稳健性风险，（决策与控制会议论文集，决策与控制大会论文集，德克萨斯州奥斯汀（2021）），1329-1335
[7] 伊万诺夫·R。；卡彭特·T·J。；魏默，J。；阿鲁尔（Alur，R.）。；帕帕斯，G.J。；Lee，I.，《案例研究：使用神经网络控制器验证自动赛车的安全性》，（《第23届混合动力系统国际会议论文集：计算与控制》，第23届国际混合动力系统会议论文集，新南威尔士州悉尼（2020年））·Zbl 07300869号
[8] Legay，A。；卢基纳，A。；Traonouez，L.M。；杨，J。；斯莫尔卡，S.A。；Grosu，R.，《统计模型检查》（Computing and Software Science（2019），Springer），478-504·Zbl 1482.68142号
[9] Wald，A.，《统计假设的顺序检验》，《数学年鉴》。《统计》，第16、2、117-186页（1945年）·Zbl 0060.30207号
[10] Wang，Y。；Zarei，M。；Bonakdarpour，B。；Pajic，M.，网络物理系统超属性的统计验证，ACM Trans。嵌入。计算。系统。，18、5s、1-23（2019）
[11] 大卫·A。；Larsen，K.G。；Legay，A。；米库奇奥尼斯，M。；鲍尔森，D.B。；Sedwards，S.，《生物系统的统计模型检验》，Int.J.Softw。技术工具。传输。，17, 3, 351-367 (2015)
[12] 杰古尔，C。；Legay，A。；Sedwards，S.，用于统计模型检查稀有属性的重要性划分，（《国际计算机辅助验证会议论文集》（2013），施普林格：施普林格-圣彼得堡，俄罗斯），576-591
[13] 马久姆达尔，A。；Pavone，M.，机器人应该如何评估风险？机器人风险公理化理论，（机器人研究（2020），Springer），75-84
[14] Wang，Y。；Chapman，M.P.，《风险规避自治系统：从最优控制的角度看的简要历史和最新发展》，Artif。智力。，第103743条pp.（2022）·Zbl 07596154号
[15] Tsiamis，A。；Kalogerias，D.S。；Chamon，L.F。；里贝罗，A。；Pappas，G.J.，风险约束线性二次调节器，（决策与控制会议记录，决策与控制大会记录，韩国济州岛（2020年）），3040-3047
[16] 周，Y。；Tamar，A。；曼诺，S。；Pavone，M.，《风险敏感和稳健决策：CVaR优化方法》（《神经信息处理系统进展会议论文集》，加拿大蒙特利尔（2015））
[17] Wachi，A。；Sui，Y.，约束Markov决策过程中的安全强化学习，（机器学习国际会议论文集（2020）），9797-9806
[18] 诺文，R.S。；亚兹达尼，A。；Merryweather，A。；Hermans，T.，服务机器人风险感知决策，以最大程度降低患者在医院跌倒的风险，（机器人与自动化国际会议论文集。机器人与自动化世界会议论文集，中国西安（2021）），3299-3305
[19] Khodabakhsh，R。；Sirouspour，S.，《通过最小化条件价值-风险来优化微电网储能控制》，IEEE Trans。维持。能源，7，3，1264-1273（2016）
[20] 周，Y。；加瓦姆扎德，M。；Janson，L。；Pavone，M.，风险约束强化学习与百分位风险标准，J.Mach。学习。决议，18，1，6070-6120（2017）·Zbl 1471.90160号
[21] 查普曼，M.P。；Lacotte，J。；Tamar，A。；Lee，D。；史密斯，K.M。；Cheng，V。；费萨克，J.F。；Jha，S。；Pavone，M。；Tomlin，C.J.，《随机动力系统安全的风险敏感有限时间可达性方法》，（美国控制会议论文集。美国控制会议文献集，宾夕法尼亚州费城（2019）），2958-2963
[22] 查普曼，M.P。；博纳利，R。；史密斯，K.M。；杨，I。；Pavone，M。；Tomlin，C.J.，使用条件价值风险进行风险敏感安全分析，IEEE Trans。自动。控制（2021）
[23] 小野，M。；Pavone，M。；Kuwata，Y。；Balaram，J.，《应用于风险感知机器人空间探索的机会约束动态规划》，Auton。机器人，39，4，555-571（2015）
[24] 蒂博，S。；Williams，B.，RAO*：机会约束POMDP的算法，（亚利桑那州凤凰城。亚利桑那州凤凰城，AAAI人工智能会议记录，第30卷（2016））
[25] 彭，B。；穆，Y。；Duan，J。；关，Y。；李S.E。；Chen，J.，用于机会约束强化学习的分离比例积分拉格朗日算法，（智能车辆研讨会论文集。智能车辆研讨会文献集，日本名古屋（2021）），193-199
[26] Katz，G。；巴雷特，C。；Dill，D.L。；朱利安，K。；Kochenderfer，M.J.，Reluplex：验证深层神经网络的高效smt解算器，（《计算机辅助验证国际会议论文集》，德国海德堡，国际计算机辅助验证会议论文集（2017），97-117·Zbl 1494.68167号
[27] Gehr，T。；米尔曼，M。；Drachsler-Cohen，D。；Tsankov，P。；南部乔杜里。；Vechev，M.，Ai2:具有抽象解释的神经网络的安全性和健壮性认证，（《安全与隐私研讨会论文集》，加利福尼亚州旧金山，2018年），3-18
[28] 杜塔，S。；Jha，S。；桑卡拉纳拉亚南，S。；Tiwari，A.，深度前馈神经网络的输出范围分析，（美国国家航空航天局形式方法研讨会论文集。美国国家航空宇航局形式方法会议论文集，弗吉尼亚州纽波特新闻（2018）），121-138
[29] 法兹利亚布，M。；莫拉里，M。；Pappas，G.J.，通过二次约束和半定规划对神经网络进行安全验证和鲁棒性分析，IEEE Trans。自动。控制（2020年）
[30] 薛，A。；林德曼，L。；Alur，R.，基于sdp的神经网络验证的参数弦稀疏性，预打印
[31] 法兹利亚布，M。；罗比，A。；哈萨尼，H。；莫拉里，M。；Pappas，G.，深度神经网络Lipschitz常数的高效准确估计，（神经信息处理系统进展会议论文集，第32卷（2019年）），11427-11438
[32] 伊万诺夫·R。；魏默，J。；阿鲁尔（Alur，R.）。；帕帕斯，G.J。；Lee，I.，Verisig：用神经网络控制器验证混合系统的安全特性，（第22届ACM混合系统国际会议论文集：计算与控制，第22届AC M混合系统：计算与控会议论文集，魁北克蒙特利尔（2019）），169-178·Zbl 07120152号
[33] 杜塔，S。；陈，X。；Jha，S。；桑卡拉纳拉亚南，S。；Tiwari，A.，Sherlock-神经网络反馈系统验证工具：演示摘要，（《第22届ACM混合系统国际会议论文集：计算与控制》，第22届AC M混合系统：计算与控会议论文集，魁北克省蒙特利尔（2019）），262-263·Zbl 07120164号
[34] 范，J。；黄，C。；陈，X。；李伟（Li，W.）。；Zhu，Q.，Reachnn*：神经网络控制系统可达性分析工具，（《用于验证和分析的自动化技术国际研讨会论文集》，越南河内（2020），537-542
[35] Tran，H.-D。；Lopez，D.M。；杨，X。；穆索，P。；Nguyen，L.V。；Xiang，W。；贝克·S。；Johnson，T.T.，神经网络验证（NNV）工具，（CPS和物联网设计自动化研讨会论文集（2020）），21-22
[36] 黄，C。；范，J。；陈，X。；李伟（Li，W.）。；Zhu，Q.，Polar:验证神经网络控制系统的多项式算法框架（2021）
[37] Vengertsev，D。；Sherman，E.，递归神经网络特性及其蒙特卡罗技术验证(安全人工智能@AAAI（2020年）
[38] 帕克，S。；O.巴斯塔尼。；Matni，N。；Lee，I.，Pac通过校准预测建立深度神经网络的置信集，（《学习表征国际会议论文集》（2020年））
[39] 贝茨，S。；Angelopulos，A。；Lei，L。；Malik，J。；Jordan，M.，无分布风险控制预测集，J.ACM，68，6，1-34（2021）·Zbl 1499.68301号
[40] 韦伯，S。；Rainforth，T。；Teh，Y.W。；Kumar，M.P.，《评估神经网络稳健性的统计方法》（学习表征国际会议（2018））
[41] Mangal，R。；Nori，A.V。；Orso，A.，《神经网络的健壮性：一种概率和实用方法》，（《国际软件工程会议论文集：新思想和新兴结果》，《国际软件工程学会议论文集——新思想和新结果》，加拿大蒙特利尔（2019年）），93-96
[42] 拜尔，C。；Katoen，J.-P.，《模型检验原理》（2008），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥·Zbl 1179.68076号
[43] Zarei，M。；Wang，Y。；Pajic，M.，《基于学习的网络物理系统的统计验证》，（《第23届混合系统国际会议论文集：计算与控制》，第23届国际混合系统会议论文集，新南威尔士州悉尼（2020）），1-7·Zbl 07300853号
[44] 秦，X。；西安，Y。；Zutshi，A。；风扇，C。；Deshmukh，J.V.，《使用代理模型和共形推理对网络物理系统进行统计验证》，（《网络物理系统国际会议论文集》，意大利米兰，2022年），116-126
[45] Wang，Y。；Roohi，N。；韦斯特，M。；维斯瓦纳坦，M。；Dullerud，G.E.，《使用面向集合的方法对动力系统进行统计验证》，（《第18届混合系统国际会议论文集：计算与控制》，《第18次混合系统国际大会论文集：计算机与控制》（2015），华盛顿州西雅图），169-178·Zbl 1364.93753号
[46] Roohi，N。；Wang，Y。；韦斯特，M。；杜勒鲁，G.E。；Viswanathan，M.，《丰田动力总成控制验证基准的统计验证》，（《第20届混合动力系统国际会议论文集：计算与控制》，第20届国际混合动力系统会议论文集，宾夕法尼亚州匹兹堡（2017）），65-70
[47] Wang，Y。；Zarei，M。；Bonakdarpoor，B。；Pajic，M.，《网络物理系统的概率一致性》，（ACM/IEEE第十二届网络物理系统国际会议论文集，田纳西州纳什维尔（2021年），第十二届国际网络物理系统会议论文集），55-66
[48] 萨拉马蒂，A。；Soudjani，S。；Zamani，M.，《信号时序逻辑约束下的数据驱动验证》，IFAC-PapersOnLine，53，2，69-74（2020）
[49] 萨拉马蒂，A。；Soudjani，S。；Zamani，M.，《具有信号时序逻辑约束的随机线性系统的数据驱动验证》，Automatica，131，第109781页，（2021）·Zbl 1478.93672号
[50] J·杰克逊。；Laurenti，L。；弗雷，E。；Lahijanian，M.，通过高斯过程回归对未知动力系统进行形式验证，预印本
[51] Bartocci，E。；Bortolussi，L。；Nenzi，L。；Sanguinetti，G.，关于随机模型时间特性的稳健性，预印本
[52] F1/10自动驾驶赛车比赛
[53] 曼昂斯，M.M.M。；谢勒，S.A。；沃斯，M。；杜亚特，L.R。；Rauschenbach，T.，《UUV模拟器：水下干预和多机器人仿真的基于gazebo的软件包》，（2016年《海洋学报》，MTS/IEEE Monterey，加利福尼亚州Monterey（2016）），1-8
[54] Rockafellar，R.T。；Uryasev，S.，条件价值风险优化，J.risk，2，21-42（2000）
[55] 绍伦伊，B。；Busa-Fekete，R。；翁，P。；Hüllermier，E.，《定性多武装盗贼：基于分位数的方法》，（机器学习国际会议论文集。机器学习国际大会论文集，PMLR（2015）），1660-1668
[56] 尼古拉卡基斯，K.E。；Kalogerias，D.S。；谢菲特，O。；Sarwate，A.D.，《分位数多武装匪徒：最佳最佳武器识别和差异私有方案》，IEEE J.Sel。区域信息理论，2，2，534-548（2021）
[57] 托马斯，P。；Learnd-Miller，E.，《风险条件值的集中度不等式》，（《机器学习国际会议论文集》，加州长滩，国际机器学习会议论文集（2019）），6225-6233
[58] 黄，A。；勒奇，L。；利普顿，Z。；Azizzadenesheli，K.，《周边强盗的非政策风险评估》（神经信息处理系统进展会议论文集，第34卷（2021年））
[59] Tran，D.N。；吕弗，B.S。；Kellett，C.M.，离散时间系统的增量稳定性特性，（决策与控制会议论文集，决策与控制大会论文集，内华达州拉斯维加斯（2016）），477-482
[60] 图，S。；罗比，A。；张，T。；Matni，N.，《关于稳定性约束模拟学习的样本复杂性》，（《动力学学习与控制会议论文集》，加利福尼亚州帕洛阿尔托市动力学与控制学习会议论文集（2022）），180-191
[61] 哈文斯，A.J。；Hu，B.，《线性控制策略的模拟学习：通过lmi条件实施稳定性和鲁棒性约束》，（美国控制会议论文集（2021）），882-887
[62] 博菲，新墨西哥州。；图，S。；Slotine，J.-J.E.，自适应非线性控制的后悔界限，（动力学和控制学习，动力学和控制的学习，PMLR（2021）），471-483
[63] 费内科斯，G.E。；Pappas，G.J.，连续时间信号时序逻辑规范的稳健性，Theor。计算。科学。，410, 42, 4262-4291 (2009) ·Zbl 1186.68287号
[64] 萨德拉迪尼，S。；Belta，C.，鲁棒时序逻辑模型预测控制，（第53届Allerton通信、控制和计算年会论文集。第53届Allerton通信，控制和计算年度会议论文集，伊利诺伊州蒙蒂塞洛（2015）），772-779
[65] Arjovsky，M。；钦塔拉，S。；Bottou，L.，Wasserstein生成性对抗网络，（机器学习国际会议论文集。机器学习国际大会论文集，澳大利亚悉尼（2017）），214-223
[66] 古拉贾尼，I。；艾哈迈德·F。；Arjovsky，M。；杜穆林，V。；Courville，A.C.，Wasserstein gans的改进训练，（神经信息处理系统进展会议记录。神经信息处理系统进展会议记录，加利福尼亚州长滩，第30卷（2017））
[67] 拉德福德，A。；梅茨，L。；Chintala，S.，用深度卷积生成对抗网络进行无监督表征学习，预印本
[68] Lillicrap，T.P。；亨特·J·J。；Pritzel，A。；海斯，N。；埃雷斯，T。；塔萨，Y。；西尔弗·D。；Wierstra，D.，深度强化学习的连续控制，预印本
[69] 藤本，S。；蹄，H。；Meger，D.，《处理actor-critic方法中的函数近似误差》，（机器学习国际会议论文集，机器学习国际大会论文集，瑞典斯德哥尔摩（2018）），1587-1596
[70] Salimans，T。；古德费罗，I。；Zaremba，W。；张，V。；Radford，A。；Chen，X.，《培训机构的改进技术》，（神经信息处理系统进步会议论文集。神经信息处理体系进步会议论文，西班牙巴塞罗那，第29卷（2016））
[71] Vallender，S.，线上概率分布之间Wasserstein距离的计算，理论概率。申请。，18, 4, 784-786 (1974) ·Zbl 0351.60009号
[72] Munkres，J.R.，《拓扑学》（2000），普伦蒂斯·霍尔·Zbl 0951.54001号
[73] Guide，A.H.，无限维分析（2006），Springer·Zbl 1156.46001号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。