×
托马索·德罗西;亚历山大·唐泽;Seshia、Sanjit A。

使用机器学习组件对网络物理系统进行合成伪造。 （英文） Zbl 1468.68126号

J.汽车。推理 63，第4期，1031-1053（2019）.
概要：网络物理系统（CPS），例如汽车系统，开始包括复杂的机器学习（ML）组件。因此，它们的正确性取决于内部ML模块的属性。虽然学习算法的目的是从示例中进行概括，但它们仅与提供的示例一样好，最近的研究表明，它们在小的对抗扰动下可以产生不一致的输出。这就提出了一个问题：学习组件的输出是否会导致整个CPS的失败？在这项工作中，我们通过将其表述为用ML组件伪造CPS信号时序逻辑规范的问题来解决这个问题。我们提出了一个组合证伪框架，其中时态逻辑证伪器和机器学习分析器协同工作，以发现所考虑模型的证伪执行。基于深度神经网络的带有感知组件的自动紧急制动系统模型表明了该技术的有效性。

引用于2文件

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
68T05型 人工智能中的学习和自适应系统
68T07型 人工神经网络与深度学习
93C83号 涉及计算机的控制/观察系统（过程控制等）

关键词：

计算机物理系统;机器学习;伪造;时序逻辑;深度学习;神经网络;自动驾驶

软件：

AlexNet公司;卡费;自驱动car-sim;深度愚人;github;DeepXlore公司;SqueezeNet公司;违约;TensorFlow公司;C2e2型;ImageNet公司;S-TaLiRo公司
PDF格式BibTeX公司 XML格式引用
\textit{T.Dreossi}等人，J.Autom。推理63，No.4，1031--1053（2019；Zbl 1468.68126）
全文： 内政部 arXiv公司

参考文献：

[1] Imagenet公司。http://image-net.org/
[2] Udacity自动驾驶汽车模拟器采用unity制造。https://github.com/udacity/self-driving-car-sim网址
[3] Abadi，M.等人：TensorFlow:异构系统上的大规模机器学习（2015）。软件可从tensorflow.org获得
[4] Annpureddy，Yashwanth；刘，车；费内科斯（Fainekos，Georgios）；Sankaranarayanan、Sriram、S-TaLiRo:混合系统时间逻辑伪造工具，254-257（2011），柏林，海德堡·Zbl 1316.68069号 ·doi:10.1007/978-3-642-19835-9_21
[5] Blum，A.L.，Langley，P.：机器学习中相关特征和示例的选择。Artif公司。智力。97(1), 245-271 (1997) ·Zbl 0904.68142号 ·doi:10.1016/S0004-3702（97）00063-5
[6] Bojarski，M.、Del Testa，D.、Dworakowski，D.、Firner，B.、Flepp，B.、Goyal，P.、Jackel，L.D.、Monfort，M.和Muller，U.、Zhang，J.等人：针对自动驾驶汽车的端到端学习（2016）。arXiv预打印arXiv:1604.07316
[7] Branicky，M.S.、LaValle，S.M.、Olson，K.、Yang，L.：准随机路径规划。收录于：2001年IEEE机器人与自动化国际会议。《2001年ICRA会议记录》，第2卷，第1481-1487页。IEEE（2001）
[8] Carlini，N.，Wagner，D.：评估神经网络的鲁棒性。在：2017年IEEE安全与隐私研讨会（SP），第39-57页（2017）
[9] Alexandre Donzé，Breach，混合系统验证和参数合成工具箱，167-170（2010），柏林，海德堡·doi:10.1007/978-3-642-14295-617
[10] 亚历山大·唐泽（Alexandre Donzé）；托马斯·费雷尔；Maler，Oded，《STL的高效稳健监控》，264-279（2013），柏林，海德堡·doi:10.1007/978-3-642-39799-8_19
[11] 托马索·德罗西；Dang，Thao；亚历山大·顿泽；詹姆斯·卡宾斯基（James Kapinski）；金小青；Deshmukh，Jyotirmoy V.，《混合系统时间特性测试的有效指导策略》，127-142（2015），Cham
[12] Dreossi，T.，Donzé，A.，Seshia，S.A.：利用机器学习组件对网络物理系统进行合成伪造。在：美国国家航空航天局正式方法会议（NFM）（2017）·Zbl 1468.68126号
[13] Dreossi，T.、Ghosh，S.、Sangiovanni-Vincentelli，A.L.、Seshia，S.A.：自动驾驶卷积神经网络的系统测试。参见：ICML野外可靠机器学习研讨会（RMLW）（2017年）。arXiv:1708.03309
[14] 托马索·德罗西；Jha，萨默什；Seshia，Sanjit A.，语义对抗性深度学习，3-26（2018），Cham·doi:10.1007/978-3-319-96145-3_1
[15] Duggirala，Parasara Sridhar；Mitra，萨扬；马赫什·维斯瓦纳坦（Mahesh Viswanathan）；马修·波托克（Matthew Potok），《C2E2:状态流模型的验证工具》（C2E2:A Verification Tool for Stateflow Models），68-82（2015），柏林，海德堡·doi:10.1007/978-3-662-46681-05
[16] Fawzi，A.，Fawzi.，O.，Frossard，P.：分类器对对抗扰动的鲁棒性分析（2015）。arXiv预打印arXiv:1502.02590·Zbl 1462.62383号
[17] Hannaford，B.：分辨率——多维空间的首次扫描。CVGIP图。模型图像处理。55(5), 359-369 (1993) ·doi:10.1006/cgip.1993.1027
[18] Hinton，G.等人：语音识别中声学建模的深度神经网络：四个研究小组的共同观点。IEEE信号处理。Mag.29（6），82-97（2012）·doi:10.1109/MSP.2012.2205597
[19] Huang，X.，Kwiatkowska，M.，Wang，S.，Wu，M.：深度神经网络的安全验证（2016）。CoRR arXiv公司：1610.06940·Zbl 1494.68166号
[20] Iandola，F.N.，Han，S.，Moskewicz，M.W.，Ashraf，K.，Dally，W.J.，Keutzer，K.:Squeezenet：Alexnet级精度，参数少50倍，模型大小[<0.5]mb（2016）。arXiv预打印arXiv:1602.07360
[21] Jia，Y.，Shelhamer，E.，Donahue，J.，Karayev，S.，Long，J.、Girshick，R.、Guadarrama，S.、Darrell，T.：Caffe：快速特征嵌入的卷积架构。收录于：ACM多媒体会议，ACMMM，第675-678页（2014）
[22] Jin，X.，Donzé，A.，Deshmukh，J.，Seshia，S.A.：从闭环控制模型中挖掘需求。IEEE传输。计算-辅助设计。电路系统。34(11), 1704-1717 (2015) ·doi:10.1109/TCAD.2015.2421907
[23] Krizhevsky，A.，Sutskever，I.，Hinton，G.E.：基于深度卷积神经网络的Imagenet分类。摘自：《神经信息处理系统进展》，第1097-1105页（2012年）
[24] 马勒，奥德；Nickovic，Dejan，《连续信号的时间特性监测》，152-166（2004），柏林，海德堡·Zbl 1109.68518号 ·doi:10.1007/978-3-540-30206-3_12
[25] Matousek，J.：《几何差异：图解指南》，第18卷。施普林格，柏林（2009）·Zbl 0930.11060号
[26] 米查尔斯基，右。S.、Carbonell、J。G.、Mitchell、T。M.：机器学习：一种人工智能方法。柏林施普林格出版社（2013）·Zbl 0593.68060号
[27] Moosavi-Dezfouli，S.-M，Fawzi，A.，Frossard，P.：深度愚人：愚弄深度神经网络的简单而准确的方法。摘自：IEEE计算机视觉和模式识别会议记录，第2574-2582页（2016）
[28] Morokoff，W.J.，Caflisch，R.E.：准随机序列及其差异。SIAM J.科学。计算。15(6), 1251-1279 (1994) ·Zbl 0815.65002号 ·数字对象标识代码：10.1137/0915077
[29] Nguyen，A.，Yosinski，J.，Clune，J.：深层神经网络很容易被愚弄：对无法识别的图像的高置信度预测。收录于：《计算机视觉和模式识别》，CVPR，第427-436页。IEEE（2015）
[30] Niederreiter，H.：低分辨率和低色散序列。J.数论30（1），51-70（1988）·Zbl 0651.10034号 ·doi:10.1016/0022-314X（88）90025-X
[31] Niederreiter，H.：随机数生成和准蒙特卡罗方法。SIAM，费城（1992）·Zbl 0761.65002号 ·doi:10.1137/1.9781611970081
[32] Pei，K.，Cao，Y.，Yang，J.，Jana，S.：DeepXplore：深度学习系统的自动白盒测试。摘自：第26届操作系统原理研讨会（SOSP）会议记录，第1-18页（2017年）
[33] Rosenblatt，J.，Wierdl，M.：通过调和分析的逐点遍历定理。收录于：遍历理论会议，第205号，第3-151页（1995年）·兹比尔0848.28008
[34] Seshia，Sanjit A。；德赛，安库什；托马索·德罗西；丹尼尔·弗里蒙特（Daniel J.Fremont）。；Ghosh，Shromona；爱德华·金；Shivakumar，Sumukh；瓦兹奎兹·香拉特（Vazquez-Chanlatte），马塞尔（Marcell）；Yue，Xiangyu，深度神经网络正式规范，20-34（2018），Cham·Zbl 1517.68345号 ·doi:10.1007/978-3-030-01090-42
[35] Seshia，S.A.、Sadigh，D.、Sastry，S.S.：走向验证人工智能（2016）。CoRR arXiv公司：1606.08514
[36] Shirley，P.等人：差异作为样本分布的质量度量。摘自：《欧洲制图学报》，第91卷，第183-194页（1991年）
[37] 斯隆，我。H.，Joe，S.：多重积分的格方法。牛津大学出版社，牛津（1994）·Zbl 0855.65013号
[38] Szegedy，C.、Zaremba，W.、Sutskever，I.、Bruna，J.、Erhan，D.、Goodfellow，I.和Fergus，R.：神经网络的有趣特性（2013）。arXiv:1312.6199
[39] Taeyong，L.，Kyongsu，Y.，Jangseop，K.，Jaewan，L.：商用车高级紧急制动系统算法的开发和评估。在：增强车辆安全会议，ESV，第11-0290页（2011）
[40] 奥雷尔·特兰达菲。，Weisstein，Eric，W.：准随机序列。来自MathWorld-A Wolfram Web资源
[41] Vapnik，V.：学习理论的风险最小化原则。收录于：NIPS，第831-838页（1991年）
[42] 瓦兹奎兹·香拉特（Vazquez-Chanlatte），马塞尔（Marcell）；乔蒂莫伊五世·德斯穆克。；金小青；Seshia，Sanjit A.，《时序数据的逻辑聚类和学习》，305-325（2017），Cham·Zbl 1494.68232号 ·数字对象标识代码：10.1007/978-3-319-63387-9_15
[43] Weyl，H.：《格利什维特龙·冯·扎伦模型》。爱因斯坦。数学。附录77（3），313-352（1916）·doi:10.1007/BF01475864
[44] Yamaguchi，T.、Kaga，T.，Donzé，A.、Seshia，S.A.：结合工业汽车系统的需求挖掘、软件模型检查和基于仿真的验证。摘自：IEEE计算机辅助设计形式方法国际会议（FMCAD）会议记录（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。