研究论文

开放式访问

通过违反多项法律有效测试自动驾驶系统

作者:

世界环境学会赵,

薛文东、和

资江杨作者信息和声明

ISSTA 2023：第32届ACM SIGSOFT软件测试与分析国际研讨会会议记录

2023年7月

页942-953

https://doi.org/10.1145/3597926.3598108

出版:2023年7月13日出版历史

PDF格式电子阅读器

摘要

自动驾驶系统（ADS）作为自动驾驶车辆（AV）的大脑，应在部署前进行彻底测试。美国存托凭证必须满足一套复杂的规则，以确保道路安全，例如现有的交通法规和未来可能针对自动车辆的法律。为了全面测试ADS，我们希望系统地发现违反某些交通法规的各种情况。面临的挑战是：（1）交通法规众多（例如，中国交通法规中有13条可测试条款，新加坡交通法规中16条可测试的条款，分别有81条和43条违规情况）；（2）许多交通法规只适用于复杂的特定场景。

现有的测试ADS的方法要么侧重于简单的预言，如无冲突，要么在生成不同的违法场景方面能力有限。在这项工作中，我们提出了一种新的ADS测试方法ABLE，它是受GFlowNet成功的启发而设计的，旨在通过生成不同的场景来有效地打破许多规则。与普通的GFlowNet不同，ABLE通过动态更新测试目标（基于信号时序逻辑的鲁棒语义）和主动学习来驱动测试过程，从而有效地探索广阔的搜索空间。我们基于Apollo和LGSVL对ABLE进行了评估，结果表明，ABLE在测试Apollo 6.0和Apollo 7.0时，违反了17%和25%的法律，超过了最先进的技术，其中大多数法律都很难违反。

工具书类

[1]

阿夫松·阿夫扎尔（Afson Afzal）、克莱尔·勒·古伊斯（Claire Le Goues）和克里斯托弗·史蒂文·汀佩利（Christopher Steven Timperley）。2021.密特拉：异常检测作为网络物理系统的先知。IEEE软件工程汇刊，1–1。

[2]

马蒂亚斯·阿尔霍夫和塞巴斯蒂安·卢茨。2018.自动生成用于避免道路车辆碰撞的安全关键测试场景。2018年IEEE智能汽车研讨会（四）。1326–1333.

数字图书馆

[3]

克里斯托夫·安格穆勒（Christof Angermueller）、大卫·多汉（David Dohan）、大大·贝朗格（David Belanger）、拉米娅·德斯潘德（Ramya Deshpande）、凯文·墨菲（Kevin Murphy）和露西·科尔维尔（Lucy Colwell）。2019.生物序列设计的基于模型的强化学习。在学习代表国际会议上。

[4]

匿名者。2023.违法。https://lawbreaker2022.github.io/[在线；2023年1月访问]

[5]

匿名。2023.源代码和实验数据。https://anonymous.4open.science/r/ISSTA2023DATA-0C8E

[6]

AVUnit公司。2021年AVUnit。https://avunit.readthedocs.io/en/latest/[在线；2022年4月访问]

[7]

AVUnit公司。2021.基于规范的自动车辆测试。https://avunit2021.github.io/[在线；2022年8月访问]

[8]

菲利普·巴赫曼和多伊娜·普雷库普。2015年。数据生成作为顺序决策。神经信息处理系统进展，28（2015）。

[9]

百度。2019.阿波罗6.0。https://github.com/ApolloAuto/apollo/releases/tag/\\v6.0.0[联机；2022年8月访问]

[10]

百度。2021.阿波罗7.0。https://github.com/ApolloAuto/apollo/releases/tag/\\v7.0.0[联机；2022年8月访问]

[11]

Emmanuel Bengio、Moksh Jain、Maksym Korablyov、Doina Precup和Yoshua Bengio。2021.基于流网络的非迭代多样候选生成模型。神经信息处理系统进展，34（2021）。

[12]

戴子航、阿姆贾德·阿尔马海里、菲利普·巴赫曼、爱德华·霍维和亚伦·库维尔。2017.校准基于能量的生成性对抗网络。arXiv预打印arXiv:1702.01691。

[13]

史蒂夫·登特。2022年，特斯拉召回了可让汽车滚动通过停车标志的全自动驾驶功能。https://techcrunch.com/2022/02/01/tesla-recalls-full-self-driving-feature-that-lets-cars-roll-through-stop-signs/

[14]

Jyotirmoy V Deshmukh、Alexandre Donzé、Shromona Ghosh、Xiaoqing Jin、Garvit Juniwal和Sanjit A Seshia。2017.信号时序逻辑的稳健在线监测。系统设计中的形式方法，51，1（2017），5-30。

数字图书馆

[15]

Alexey Dosovitskiy、德国罗斯、Felipe Codevilla、Antonio Lopez和Vladlen Koltun。2017年，CARLA：开放式城市驾驶模拟器。谢尔盖·莱文（Sergey Levine）、文森特·范霍克（Vincent Vanhoucke）和肯·戈德伯格（Ken Goldberg）（编辑），《机器学习研究论文集》（Proceedings of Machine Learning Research），第78卷。PMLR，1-16。

[16]

R Elvik、A Hoye、T Vaa和M Sorensen。2009年，《道路安全措施手册》，第二版350。

[17]

冯朔（Shoo Feng）、严信涛（Xintao Yan）、孙浩伟（Haowei Sun）、冯一恒（Yiheng Feng）和刘亨利（Henry X Liu）。2021.自然和对抗环境下的自动驾驶车辆智能驾驶智能测试。《自然通讯》，第12期，第1期（2021年），第1-14页。

[18]

Daniel J.Fremont、Tommaso Dreossi、Shromona Ghosh、Xiangyu Yue、Alberto L.Sangiovanni-Vincententelli和Sanjit A.Seshia。2019.场景：场景规范和场景生成语言。第40届ACM SIGPLAN编程语言设计与实现会议记录（PLDI 2019）。计算机械协会，美国纽约州纽约市63–78。编号：9781450367127

数字图书馆

[19]

伯恩德·加斯曼（Bernd Gassmann）、费比安·奥博里尔（Fabian Oboril）、科尼利厄斯·比尔克尔（Cornelius Buerkle）、刘爽（Shuang Liu）、严守盟（Shoumeng Yan）、玛丽亚·索莱达德·埃利（Maria Soledad Elli）、伊格纳西奥·阿尔瓦雷斯（Ignacio Alvarez）、。2019.实现AV安全标准化：责任敏感安全C++库。2019年IEEE智能汽车研讨会（四）。2265–2271.

数字图书馆

[20]

赛·克里希纳·戈蒂帕蒂（Sai Krishna Gottipati）、鲍里斯·萨塔洛夫（Boris Sattarov）、牛素凤（Sufeng Niu）、亚沙维·巴扎克（Yashaswi Pathak）、魏浩然（Haoran Wei）、刘圣超（Shengchao Liu）、西蒙·布莱克本（Simon Bla。2020年。学习使用强化学习导航综合可访问的化学空间。在机器学习国际会议上。3668–3679.

[21]

中国政府。2021.《中华人民共和国道路交通安全法实施条例》。http://www.gov.cn/gongbao/content/2004/content_62772.htm[在线；2022年3月访问]

[22]

Will Grathwohl、Kevin Swersky、Milad Hashemi、David Duvenaud和Chris Maddison。2021.噢，我采用了梯度：离散分布的可缩放采样。在机器学习国际会议上。3831–3841.

[23]

Fitash Ul Haq、Donghwan Shin和Lionel Briand。2022.使用代理辅助和多目标优化对支持DNN的系统进行高效在线测试。第44届国际软件工程会议论文集。811-822。

数字图书馆

[24]

Mohammad Hekmatnejad、Shakiba Yaghoubi、Adel Dokhanchi、Heni Ben Amor、Aviral Shrivastava、Lina Karam和Georgios Fainekos。2019.编码和监测信号时序逻辑中的自动车辆责任敏感安全规则。第17届ACM-IEEE系统设计形式化方法和模型国际会议论文集（MEMOCODE’19）。美国纽约州纽约市计算机协会第6条，共11页。编号：9781450369978https://doi.org/10.1145/3359986.3361203

数字图书馆

[25]

Hardi Hungar、Frank Köster和Jens Mazzega。2017.高度自动化驾驶功能的测试规范：公路驾驶员。在车辆测试与开发研讨会上的演示。

[26]

Moksh Jain、Emmanuel Bengio、Alex-Hernandez Garcia、Jarrid Rector-Brooks、Bonaventure FP Dossou、Chanakya Ekbote、Jie Fu、Tianyu Zhang、Micheal Kilgour和Dinghui Zhang。2022.GFlowNets生物序列设计。arXiv预打印arXiv:2203.04115。

[27]

伊恩·雷斯·詹金斯（Ian Rhys Jenkins）、卢德维格·奥利弗·基（Ludvig Oliver Gee）、阿莱西亚·克诺斯（Alessia Knauss）、韩寅（Hang Yin）和简·施罗德。2018.使用递归神经网络生成事故场景。2018年第21届智能交通系统国际会议（ITSC）。3340–3345.

数字图书馆

[28]

莫里茨·克利沙特（Moritz Klischat）和马蒂亚斯·阿尔霍夫（Matthias Althoff）。2019.使用进化算法生成自动化车辆的关键测试场景。2019年IEEE智能车辆研讨会（IV）。2352–2358.

数字图书馆

[29]

Mark Koren、Saud Alsaif、Ritchie Lee和Mykel J.Kochenderfer。2018.自动驾驶汽车的自适应压力测试。2018年IEEE智能车辆研讨会（IV）。1–7.

[30]

LG硅谷实验室，2019年。映射内容。https://content.lgsvlsimulator.com/maps/[在线；2022年7月访问]

[31]

LG硅谷实验室，2019年。映射内容。https://content.lgsvlsimulator.com/vehicles网站/[在线；2022年7月访问]

[32]

Ritchie Lee、Ole J Mengshoel、Anshu Saksena、Ryan W Gardner、Daniel Genin、Joshua Silbermann、Michael Owen和Mykel J Kochenderfer。2020年，适应性压力测试：通过强化学习发现可能的故障事件。《人工智能研究杂志》，69（2020），1165-1201。

[33]

李敖、陈石涛、孙立亭、郑南宁、丰田正史和魏战。2021.SceGene：针对自动驾驶测试的生物激励交通场景生成。IEEE智能运输系统汇刊。

[34]

李冠鹏（Guanpeng Li）、李依然（Yiran Li），沙拉卜·贾（Saurabh Jha）、蔡季莫西（Timothy Tsai）、迈克尔·沙利文（Michael Sullivan）、西瓦·库马尔·萨斯特里·哈里（Siva Kumar Sastry Hari）、兹比格尼乌·卡尔巴茨克。2020.AV-FUZZER：发现自动驾驶系统中的安全违规行为。2020年，IEEE第31届软件可靠性工程国际研讨会（ISSRE）。25–36.

[35]

罗友志、严克强、纪水旺。Graphdf：分子图生成的离散流模型。在国际机器学习会议上。7192–7203.

[36]

奥德·马勒和德扬·尼科维奇。2004.监测连续信号的时间特性。在形式技术中，时间和容错系统的建模和分析。斯普林格，152-166。

[37]

佐藤正大（Satoshi Masuda）、中村弘（Hiroaki Nakamura）和川崎（Kohichi Kajitani）。2018年，基于规则的自动车辆模拟碰撞测试案例搜索。IET智能交通系统，12，9（2018），1088–1095。

[38]

Alexandra S Mueller、Jessica B Cicchino和David S Zuby。2020年。为了最大限度地提高安全性，自动驾驶汽车需要避免哪些类人错误？《安全研究杂志》，75（2020），310-318。

[39]

Galen E Mullins、Austin G Dress、Paul G Stankiewicz、Jordan D Appler和Satyandra K Gupta。2018年，通过模拟学习加速自动驾驶汽车的测试和评估。2018年IEEE机器人与自动化国际会议（ICRA）。5636–5642.

数字图书馆

[40]

Dejan Ničković和Tomoya Yamaguchi。RTAMT：STL的在线稳健性监测器。在核查和分析自动化技术国际研讨会上。564–571.

数字图书馆

[41]

Hari Mohan Pandey、Ankit Chaudhary和Deepti Mehrotra。2014年，《防止GA过早收敛方法的比较审查》，《应用软计算》，24（2014），1047–1077。发行编号：1568-4946https://doi.org/10.1016/j.asoc.2014.08.025

数字图书馆

[42]

迈克尔·派恩斯。2022.汽车事故的主要原因：道路事故的25个最常见原因。https://seriousaccidents.com/legal-advice/top-causes-of-car事故/[在线；2022年8月访问]

[43]

瓦苏马提·拉曼（Vasumathi Raman）、亚历山大·唐泽（Alexandre Donzé）、梅迪·马苏米（Mehdi Maasoumy）、理查德·穆雷（Richard M.Murray）、阿尔贝托·桑吉奥瓦尼·文森特利（Alberto Sangiovanni-Vincentelli）和桑吉。2014.具有信号时序逻辑规范的模型预测控制。在第53届IEEE决策与控制会议上。81–87. https://doi.org/10.109/CDC.2014.7039363

[44]

Alëna Rodionova、Ignacio Alvarez、Maria Soledad Elli、Fabian Oboril、Johannes Quast和Rahul Mangharam。2020年。安全程度如何？用于自动车辆决策的自动安全约束边界估计。2020年IEEE智能车辆研讨会（IV）。1457–1464.

[45]

荣国栋（Guodong Rong）、申炳铉（Byung Hyun Shin）、哈迪·塔巴塔拜（Hadi Tabatabaee）、吕强（Qiang Lu。2020年。LGSVL模拟器：用于自动驾驶的高保真模拟器。2020年IEEE第23届智能交通系统国际会议（ITSC）。1–6.

[46]

Ari Seff、Wenda Zhou、Farhan Damani、Abigail Doyle和Ryan P Adams。2019.具有可逆归纳结构的离散对象生成。神经信息处理系统进展，32（2019）。

[47]

石承策、徐敏凯、朱兆成、张卫南、张明和唐健。2019.GraphAF：分子图生成的基于流的自回归模型。在学习代表国际会议上。

[48]

杨森（Yang Sun）、克里斯托弗·M·波斯基特（Christopher M Poskitt）、孙军（Jun Sun）、陈宇奇（Yuqi Chen）和杨紫江（Zijiang Yang）。2022.违法者：制定交通法规和模糊自动车辆的方法。第37届IEEE/ACM自动化软件工程国际会议。1–12。

[49]

Jessica Van Brummelen、Marie O'Brien、Dominique Gruyer和Homayoun Najjaran。2018年。自动驾驶汽车感知：当今和未来的技术。交通研究C部分：新兴技术，89（2018），384–406。发行号：0968-090X

[50]

谢宇彤、石晨策、周浩、杨宇伟、张伟南、余勇和李磊。2021。\多目标药物发现的MARS马尔可夫分子抽样。在学习代表国际会议上。https://openreview.net/forum？id=kHSu4ebxFXY

引用人

克雷斯波·罗德里格斯五世内洛法尔阿列蒂A萨达曼德MLonetti F公司巴德尼克C李杰格雷罗A(2024)PAFOT：一种基于位置的自动车辆最优测试方法第五届ACM/IEEE软件测试自动化国际会议记录（AST 2024）10.1145/3644032.3644457(159-170)在线发布日期：2024年4月15日
https://dl.acm.org/doi/10.1145/3644032.3644457

索引术语

通过违反多项法律有效测试自动驾驶系统
1. 软件及其工程
  1. 软件创建和管理
    1. 软件验证和确认
      1. 软件缺陷分析
        软件测试和调试

建议

违法者：一种制定交通法规和模糊自动车辆的方法
ASE’22：第37届IEEE/ACM自动化软件工程国际会议论文集

自动驾驶系统（ADS）必须经过彻底测试才能部署在自动驾驶汽车中。高精度模拟器允许它们在不同的场景下进行测试，包括在现实世界中难以重现的场景。。。
阅读更多信息
自动车辆的变形模糊测试
ICSEW’20:IEEE/ACM第42届国际软件工程研讨会会议记录

驾驶模拟是测试自动驾驶汽车软件组件的主要方法。本文提出了一种自动测试方法，称为变形模糊测试（MFT），用于自动驾驶模拟测试。。。
阅读更多信息
向自动化的过渡：激活车内自动驾驶系统的交互作用
设计、用户体验和可用性。应用程序域
摘要
近年来，自动驾驶系统（ADS）越来越普及，市场上已有多个生产车型配备了二级和三级ADS。ADS的激活相互作用非常重要，因为它是。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

ISSTA 2023：第32届ACM SIGSOFT软件测试与分析国际研讨会会议记录

2023年7月

1554页

国际标准图书编号：9798400702211

内政部：10.1145/3597926

总主席：
雷内只是
美国华盛顿大学
,
项目主席：
弗雷泽
德国帕绍大学

版权所有©2023 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

SIGSOFT：ACM软件工程特别兴趣小组
AITO公司

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年7月13日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

资金来源

MOE第3层

会议

ISSTA’23

主办单位：

SIGSOFT公司

ISSTA’23：第32届ACM SIGSOFT国际软件测试与分析研讨会

2023年7月17日至21日

华盛顿州，美国西雅图

接受率

总体接受率213份提交文件中的58份，27%

即将召开的会议

ISSTA’24

赞助商：
sigsoft软件

第33届ACM SIGSOFT国际软件测试与分析研讨会

2024年9月16日至20日

维也纳，奥地利

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

1
引文总数
查看引文
527
总下载次数

下载次数（过去12个月）527
下载次数（最近6周）32

其他指标

查看作者指标

引文

引用人

克雷斯波·罗德里格斯五世内洛法尔阿列蒂A萨达曼德MLonetti F公司布德尼克C李杰格雷罗A(2024)PAFOT：一种基于位置的自动车辆最优测试方法第五届ACM/IEEE软件测试自动化国际会议记录（AST 2024）10.1145/3644032.3644457(159-170)在线发布日期：2024年4月15日
https://dl.acm.org/doi/10.1145/3644032.3644457

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子