摘要
2016年谷歌自动驾驶脱离报告。。 https://www.dmv.ca.gov/portal/wcm/connect/946b3502-c959-4e3b-b119-91319c27788f/GoogleAutoWaymo_descenta_report_2016.pdf？MOD=AJPERES 谷歌学者 
2016年，谷歌的无人驾驶汽车引发了第一次车祸。。 https://www.wired.com/2016/02/googles-self-driving-car-may-caused-first-clash网站/ 谷歌学者 2016.当自动驾驶汽车撞车时，谁负责？ http://money.cnn.com/2016/07/07/technology/tesla-libility-risk/index.html 谷歌学者 2017年，Waymo训练无人驾驶汽车的秘密世界。。 https://www.theatlantic.com/technology/archive/2017/08/inside-waymos-secret-testing-and-simulation-facilities/537648/ 谷歌学者 罗布·阿什摩尔和伊丽莎白·列侬。 2017年，非传统软件保障进展。 第二十五届安全关键系统研讨会。 谷歌学者 李登。 2012.用于机器学习研究的手写数字图像MNIST数据库。 IEEE信号处理杂志。 谷歌学者 丹尼尔·弗雷蒙特（Daniel J.Fremont）、爱德华·金（Edward Kim）、托马索·德罗西（Tommaso Dreossi）、什罗莫娜·戈什（Shromona Ghosh）、项玉岳（Xiangyu Yue）、阿尔贝托·桑吉奥瓦尼·文森特利（Alberto L.Sangi。 2020年，Scenic:场景规范和数据生成语言。 CoRR，abs/2010.06580（2020）。 谷歌学者 伊恩·古德费罗（Ian Goodfellow）、约舒亚·本吉奥（Yoshua Bengio）和亚伦·库维尔（Aaron Courville）。 2016年，深度学习。 麻省理工学院出版社。 谷歌学者 数字图书馆 
Ian J.Goodfellow、Jonathon Shlens和Christian Szegedy。 2014.解释和利用对手的例子。 arxiv:1412.6572号 谷歌学者 Ian J.Goodfellow、Jonathon Shlens和Christian Szegedy。 2014.解释和利用对手的例子。 arxiv:1412.6572号 谷歌学者 Divya Gopinath、Hayes Converse、Corina Pasareanu和Ankur Taly。 2019.深度神经网络的属性推断。 在自动化软件工程国际会议（ASE）上。 797–809. 谷歌学者 数字图书馆 Divya Gopinath、Mengshi Zhang、Kaiyuan Wang、Ismet Burak Kadron、Corina Pasareanu和Sarfraz Khurshid。 2019.神经网络中重要性分析和对抗生成的符号执行。 2019年，IEEE第30届软件可靠性工程国际研讨会（ISSRE）。 313–322. 谷歌学者 交叉引用 
顾天宇（Tianyu Gu）、刘康（Kang Liu）、布伦丹·多兰·加维特（Brendan Dolan-Gavitt）和西德哈斯·加格（Siddharth Garg），2019年。 Badnets：评估对深层神经网络的后门攻击。 IEEE接入，7（2019），47230–47244。 谷歌学者 交叉引用 郭建民、余江、赵岳、陈泉和孙嘉光。 2018年：深度学习系统的差异模糊测试。 在2018年第26届ACM欧洲软件工程联合会议和软件工程基础研讨会的会议记录中。739–743。 谷歌学者 数字图书馆 Ankush Gupta、Andrea Vedaldi和Andrew Zisserman。 2016.自然图像中文本本地化的合成数据。 2016年6月27日至30日，美国内华达州拉斯维加斯，2016年IEEE计算机视觉和模式识别会议，CVPR 2016。 谷歌学者 黄晓伟、丹尼尔·克罗宁、阮文杰、詹姆斯·夏普、孙有成、埃梅斯·塔莫、吴敏和易新平。 2020.深度神经网络的安全性和可信度调查：验证、测试、对抗性攻击和防御以及可解释性。 《计算机科学评论》，37（2020），100270。 谷歌学者 交叉引用 黄晓伟、玛塔·奎亚特科夫斯卡、王森和吴敏。 2017.深度神经网络的安全性验证。 在CAV中。 谷歌学者 Max Jaderberg、Karen Simonyan、Andrea Vedaldi和Andrew Zisserman。 2014.用于自然场景文本识别的合成数据和人工神经网络。 CoRR，abs/1406.2227（2014）。 谷歌学者 马修·约翰逊-罗宾逊、查尔斯·巴托、鲁纳克·梅塔、沙拉特·尼图尔·斯里达尔和拉姆·瓦苏德凡。 2016.在矩阵中驱动：虚拟世界能否取代现实世界任务中由人类生成的注释？ CoRR，abs/1610.01983（2016）。 谷歌学者 盖伊·卡茨（Guy Katz）、德里克·阿黄（Derek A Huang）、杜利古尔·伊贝林（Duligur Ibeling）、凯尔·朱利安（Kyle Julian）、克里斯托弗·拉扎勒斯（Christopher Lazarus）、雷切尔·林（Rachel Lim）、帕特·沙阿（Parth Shah）、桑塔努·塔科尔（。 2019.深度神经网络验证和分析的marabou框架。 在计算机辅助验证国际会议上。 443–452. 谷歌学者 交叉引用 金汉金（Jinhan Kim）、罗伯特·费尔特（Robert Feldt）和申耀（Shin Yoo）。 2019年，利用出人意料的充分性指导深度学习系统测试。 2019年IEEE/ACM第41届国际软件工程会议（ICSE）。 1039–1049. 谷歌学者 数字图书馆 亚历克斯·克利舍夫斯基（Alex Krizhevsky）和杰弗里·辛顿（Geoffrey Hinton）。 2009年。从微小图像中学习多层特征。 谷歌学者 Seokhyun Lee、Sooyoung Cha、Dain Lee和Hakjoo Oh。 2020年。使用自适应神经元选择策略对深度神经网络进行有效的白盒测试。 第29届ACM SIGSOFT国际软件测试与分析研讨会论文集。 165–176. 谷歌学者 数字图书馆 李建林、刘江超、杨鹏飞、陈丽倩、黄晓伟和张丽君。 2019.使用符号传播分析深层神经网络：实现更高的精度和更快的验证。 在国际静态分析研讨会上。 296–319. 谷歌学者 数字图书馆 马磊（Lei Ma）、费利克斯（Felix Juefei-Xu）、张福源（Fuyuan Zhang）、孙继源（Jiyuan Sun）、薛敏慧（Minhui Xue）、李波（Bo Li）、陈春阳（Chunyang Chen）、苏婷（Ting Su）、。 2018.DeepGauge：深度学习系统的多粒度测试标准。 第33届ACM/IEEE自动化软件工程国际会议论文集。120–131。 谷歌学者 数字图书馆 马磊（Lei Ma）、张福源（Fuyuan Zhang）、孙继源（Jiyuan Sun）、薛敏慧（Minhui Xue）、李波（Bo Li）、费利克斯（Felix Juefei-Xu）、谢超（Chao Xie）、李丽（Li Li，Yang Liu。 2018年，深度变异：深度学习系统的变异测试。 2018年IEEE第29届软件可靠性工程国际研讨会（ISSRE）。 100–111. 谷歌学者 交叉引用 亚尼克·诺勒（Yannic Noller）、科琳娜·斯佩斯雷努（Corina S PaéSéreanu）、马塞尔·博赫梅（Marcel Böhme）、孙友成（Youcheng Sun）、黄林恩（Hoang Lam Nguyen）和拉尔斯·格伦斯克。 2020年，HyDiff：混合差分软件分析。 2020年IEEE/ACM第42届国际软件工程会议（ICSE）。 1273–1285. 谷歌学者 数字图书馆 奥古斯塔斯·奥德纳（Augustus Odena）、凯瑟琳·奥尔森（Catherine Olsson）、大卫·安徒生（David Andersen）和伊恩·古德费罗（Ian Goodfellow）。 2019.Tensorfuzz:使用覆盖引导的模糊调试神经网络。 在机器学习国际会议上。 4901–4911. 谷歌学者 尼古拉斯·帕普诺特（Nicolas Papernot）、帕特里克·D·麦克丹尼尔（Patrick D.McDaniel）、伊恩·古德费罗（Ian J.Goodfellow）、萨默什·贾（Somesh Jha）、Z·贝凯·塞利克（Z.Berkay Celik）。 2016.使用对手示例对深度学习系统进行实际黑盒攻击。 CoRR公司。 谷歌学者 裴可欣、曹银芝、杨俊峰和苏曼·贾纳。 2017.DeepXlore：深度学习系统的自动白盒测试。 在第26届操作系统原理研讨会的会议记录中。 1–18. 谷歌学者 数字图书馆 孙友成、黄晓伟、丹尼尔·克罗宁、詹姆斯·夏普、马修·希尔和罗伯·阿什莫尔。 2019.深度神经网络的结构测试覆盖标准。 ACM嵌入式计算系统交易（TECS），18，5s（2019），1–23。 谷歌学者 数字图书馆 孙友成、吴敏、阮文杰、黄晓伟、玛尔塔·奎亚特科夫斯卡和丹尼尔·克罗宁。 2018.深度神经网络的联合测试。 第33届ACM/IEEE自动化软件工程国际会议论文集。109-119。 谷歌学者 数字图书馆 田玉驰、裴可欣、苏曼·贾纳和白沙基·雷。 2017年，DeepTest：深度神经网络驱动自动汽车的自动测试。 CoRR，abs/1708.08559（2017）。 谷歌学者 Cumhur Erkan Tuncali、Georgios Fainekos、Hisahiro Ito和James Kapinski。 2018.带机器学习组件的自动车辆的基于模拟的对抗性测试生成。 CoRR公司。 谷歌学者 Zan Wang、Hanmo You、Junjie Chen、Yingyi Zhang、Xuyuan Dong和Wenbin Zhang。 2021.通过突变分析确定深层神经网络测试输入的优先级。 2021年，IEEE/ACM第43届国际软件工程会议（ICSE）。 397–409. 谷歌学者 数字图书馆 马修·威克（Matthew Wicker）、黄晓伟（Xiaowei Huang）和玛塔·奎亚特斯卡（Marta Kwiatkowska）。 2018.深度神经网络的特征引导黑盒安全测试。 在系统构建和分析工具和算法国际会议上。 408–426. 谷歌学者 交叉引用 谢晓飞、马磊、费利克斯·觉飞、陈洪旭、薛敏慧、李波、杨柳、赵建军、尹建雄和西蒙·西。 2018年，DeepHunter：通过覆盖引导模糊化搜索深层神经网络缺陷。 arXiv预印arXiv:1809.01266。 谷歌学者 张梦实、张玉群、张玲明、刘聪和库尔希德。 2018年，DeepRoad：基于GAN的自动驾驶系统变形测试和输入验证框架。 在2018年9月3日至7日于法国蒙彼利埃举行的第33届ACM/IEEE自动化软件工程国际会议论文集，ASE 2018，Marianne Huchard、Christian Kästner和Gordon Fraser（编辑）。 谷歌学者 数字图书馆
建议
输入分布覆盖率：测量神经网络测试中的特征交互充分性 近年来，由于深度神经网络（DNN）在许多应用中的应用，其测试引起了人们的极大兴趣。 黑盒测试充分性度量对于指导覆盖输入域的测试过程非常有用。 然而，缺少。。。 基于生成模型的神经网络分布感知测试 ICSE’21：第43届国际软件工程会议记录 鉴于使用深度神经网络（DNN）部署的关键应用程序越来越多，将其作为组件的软件的可靠性在今天显得尤为重要。 可靠性的需要引起了对……进行严格测试的需要。。。 CIT4DNN：使用潜在空间组合测试为神经网络生成多样且罕见的输入 ICSE’24：IEEE/ACM第46届软件工程国际会议论文集 深度神经网络（DNN）正在广泛应用，包括安全关键系统。 已经提出了几种DNN测试生成方法来生成容错测试输入。 然而，现有的测试生成。。。
