研究论文

基于自适应神经元选择策略的深度神经网络有效白盒测试

作者:

Seokhyun公司李,

戴恩李、和

哈乔哦作者信息和声明

ISSTA 2020：第29届ACM SIGSOFT国际软件测试与分析研讨会会议记录

2020年7月

页165-176

https://doi.org/10.1145/33953.3397346

出版:2020年7月18日出版历史

获取访问权限

摘要

我们提出了Adapt，一种用于深层神经网络的新白盒测试技术。随着深度神经网络越来越多地用于安全第一的应用，系统地测试其行为已成为一个关键问题。因此，近年来提出了各种深度神经网络测试技术。然而，神经网络测试仍处于早期阶段，现有技术还不够有效。在本文中，我们旨在通过识别和解决现有技术状态的一个关键局限性来推进这一领域，特别是神经网络的白盒测试方法。我们观察到，所谓的神经元选择策略是白盒测试的一个关键组成部分，并提出了一种新的技术，通过不断调整该策略来有效地应用于正在进行的测试过程。用真实网络模型和数据集进行的实验表明，Adapt在覆盖率和发现的对抗性输入方面比现有测试技术更有效。

工具书类

[1]

Martín Abadi、Paul Barham、陈建民、陈志峰、Andy Davis、Jefrey Dean、Matthieu Devin、Sanjay Ghemawat、Geofrey Irving、Michael Isard、Manjunath Kudlur、Josh Levenberg、Rajat Monga、Sherry Moore、Derek G.Murray、Benoit Steiner、Paul Tucker、Vijay Vasudevan、Pete Warden、Martin Wicke、Yuan和Zhaoqiang Zheng。2016年，TensorFlow：大型机器学习系统。在第12届USENIX操作系统设计与实现会议（OSDI’16）的会议记录中。265-283.

[2]

Mariusz Bojarski、Davide Del Testa、Daniel Dworakowski、Bernhard Firner、Beat Flepp、Prasoon Goyal、Lawrence D Jackel、Mathew Monfort、Urs Muller、Jiakai Zhang等，2016年。针对自动驾驶汽车的端到端学习。arXiv预印arXiv:1604.07316（2016）。

[3]

N.Carlini和D.Wagner。2017.评估神经网络的稳健性。2017年IEEE安全与隐私研讨会（S&P’17）。39-57.

[4]

Cha Sooyoung、Seongjoon Hong、Junhee Lee和Hakjoo Oh。2018.自动生成用于Concolic测试的搜索启发。2018 IEEE/ACM第40届国际软件工程会议（ICSE）（2018），1244-1254。

[5]

苏英查和哈乔哦。2019.具有自适应变化搜索启发的协和测试。2019年第27届ACM欧洲软件工程会议暨软件工程基础研讨会联合会议记录（ESEC/FSE 2019）。235âĂŞ245.

数字图书馆

[6]

François Chollet等人，2015年。凯拉斯。https://keras.io。

[7]

J.Deng、W.Dong、R.Socher、L.Li、Kai Li和Li Fei-Fei。2009年，ImageNet：大型分层图像数据库。2009年IEEE计算机视觉和模式识别会议。248-255.

[8]

Hasan Ferit Eniser、Simos Gerasimou和Alper Sen.2019年。DeepFault：深度神经网络的故障定位。软件工程基本方法（FASE’19）。171-191.

[9]

福井亚基拉、东湖公园、杨达伦、安娜·罗巴赫、特雷弗·达雷尔和马库斯·罗巴赫。2016年，针对视觉问题回答和视觉基础的多模式紧凑双线性池。《2016年自然语言处理实证方法会议论文集》（EMNLP’16）。457-468.

[10]

利昂·A·盖蒂斯、亚历山大·埃克尔和马蒂亚斯·贝奇。2016。使用卷积神经网络的图像风格转移。IEEE计算机视觉和模式识别会议论文集（CVPR’16）。2414-2423.

[11]

伊恩·古德费罗（Ian Goodfellow）、乔纳森·希伦（Jonathon Shlens）和克里斯蒂安·塞格迪（Christian Szegedy）。2015.解释和利用对手示例。在国际学习代表大会（ICLR’15）上。

[12]

郭建民、余江、赵岳、陈泉和孙嘉光。2018年，DLFuzz:深度学习系统的差异模糊测试。在2018年第26届ACM欧洲软件工程联合会议和软件工程基础研讨会（ESEC/FSE’18）的会议记录中。739-743.

数字图书馆

[13]

何凯（K.He）、张旭（X.Zhang）、任志刚（S.Ren）和孙建中（J.Sun）。2016.图像识别的深度剩余学习。2016年IEEE计算机视觉和模式识别会议（CVPR’16）。770-778.

[14]

黄勋和贝隆吉。2017.实时任意风格传输，具有自适应实例规范化。IEEE计算机视觉国际会议（ICCV’17）论文集。1501-1510.

[15]

金汉金（Jinhan Kim）、罗伯特·费尔特（Robert Feldt）和申耀（Shin Yoo）。2019年，利用意外充分性指导深度学习系统测试。第41届国际软件工程会议（ICSE’19）论文集。1039-1049.

数字图书馆

[16]

阿列克谢·库拉金、伊恩·古德费罗和萨米·本吉奥。2017。物理世界中的对抗性例子。在学习代表国际会议（ICLR’17）上。

[17]

Y.Lecun、L.Bottou、Y.Bengio和P.Hafner。1998年，基于梯度的学习应用于文档识别。程序。IEEE（1998），2278-2324。

[18]

马磊（Lei Ma）、费利克斯（Felix Juefei-Xu）、张福源（Fuyuan Zhang）、孙继源（Jiyuan Sun）、薛敏慧（Minhui Xue）、李波（Bo Li）、陈春阳（Chunyang Chen）、苏婷（Ting Su）、李丽（Li Li。2018.DeepGauge：深度学习系统的多粒度测试标准。第33届ACM/IEEE自动化软件工程国际会议（ASE’18）论文集。120-131.

数字图书馆

[19]

马磊、张福源、孙继源、薛敏慧、李波、徐觉飞、谢超、李丽、刘建军、王亚东。2018年，深度突变：深度学习系统的突变测试。CoRR abs/1805.05206（2018年）。

[20]

马仕卿、刘英琪、李文川、张湘玉、阿南斯格拉玛。2018.模式：通过状态差分分析和输入选择进行自动神经网络模型调试。

[21]

维诺德·奈尔（Vinod Nair）和杰弗里·欣顿（Geofrey E.Hinton）。2010年，校正线性单元改善了受限的Boltzmann机器。第27届国际机器学习会议（ICML’10）会议记录。807-814.

数字图书馆

[22]

奥古斯塔斯·奥德纳（Augustus Odena）、凯瑟琳·奥尔森（Catherine Olsson）、大卫·安徒生（David Andersen）和伊恩·古德费罗（Ian J.Goodfellow）。2019.TensorFuzz:使用Coverage-Guided Fuzzing调试神经网络。第36届国际机器学习会议（ICML’19）论文集。4901-4911.

[23]

N.Papernot、P.McDaniel、S.Jha、M.Fredrikson、Z.B.Celik和A.Swami。2016.对手环境下深度学习的局限性。2016年IEEE欧洲安全与隐私研讨会。372-387.

[24]

裴可欣、曹银芝、杨俊峰和苏曼·贾纳。2017.DeepXlore：深度学习系统的自动白盒测试。在第26届操作系统原理研讨会（SOSP'17）的会议记录中。1-18.

数字图书馆

[25]

濮云晨、江哲、李嘉图、欣元、李春元、安德鲁·史蒂文斯和劳伦斯·卡林，2016年。用于深入学习图像、标签和标题的可变自动编码器。《第30届神经信息处理系统国际会议论文集》（NIPS’16）。2360-2368.

数字图书馆

[26]

Pranav Rajpurkar、Jeremy Irvin、Kaylie Zhu、Brandon Yang、Hershel Mehta、Tony Duan、Daisy Ding、Aarti Bagul、Curtis Langlotz、Katie Shpanskaya等，2017年。Chexnet：通过深度学习在胸部x光片上进行放射科医生级别的肺炎检测。arXiv预印arXiv:1711.05225（2017）。

[27]

J.Sekhon和C.Fleming。2019.改进深度学习测试。2019年IEEE/ACM第41届软件工程国际会议：新思想和新兴成果（ICSE'19）。85-88.

[28]

David Silver、Julian Schrittwieser、Karen Simonyan、Ioannis Antonoglou、Aja Huang、Arthur Guez、Thomas Hubert、Lucas Baker、Matthew Lai、Adrian Bolton等，2017年。在没有人类知识的情况下掌握围棋游戏。《自然》550（2017），354。

[29]

凯伦·西蒙扬和安德鲁·齐瑟曼。2015.用于大规模图像识别的极深卷积网络。在第三届国际学习代表大会（ICLR’15）上。

[30]

孙有成、黄晓伟和丹尼尔·克罗宁。2018.测试深度神经网络。CoRR abs/1803.04792（2018）。

[31]

孙友成、黄晓伟、丹尼尔·克罗宁、詹姆斯·夏普、马修·希尔和罗伯·阿什莫尔。2019.DeepConcolic:测试和调试Deep Neural Networks。第41届国际软件工程会议论文集：相关论文集（ICSE'19）。111-114.

数字图书馆

[32]

孙友成、黄晓伟、丹尼尔·克罗宁、詹姆斯·夏普、马修·希尔和罗伯·阿什莫尔。2019.深度神经网络的结构测试覆盖标准。第41届国际软件工程会议论文集：相关论文集（ICSE'19）。320-321.

数字图书馆

[33]

田玉驰、裴可欣、苏曼·贾纳和白沙基·雷。2018年，DeepTest：深度神经网络驱动的自动汽车测试。第40届国际软件工程会议（ICSE’18）论文集。303-314.

数字图书馆

[34]

谢晓飞、马磊、费利克斯·觉飞、薛敏慧、陈洪旭、杨柳、赵建军、李波、尹建雄和西蒙·西。2019.DeepHunter：深度神经网络的覆盖引导模糊测试框架。第28届ACM SIGSOFT国际软件测试与分析研讨会（ISSTA’19）会议记录。146-157.

数字图书馆

[35]

Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho、Aaron Courville、Ruslan Salakhudinov、Rich Zemel和Yoshua Bengio。2015.展示、出席和讲述：视觉关注的神经图像字幕生成。在机器学习国际会议（ICML'15）上。2048-2057.

[36]

问：你、H.Jin、Z.Wang、C.Fang和J.Luo。2016.具有语义关注的图像字幕。2016年IEEE计算机视觉和模式识别会议（CVPR’16）。4651-4659.

[37]

米夏·奥奇·扎勒夫斯基。2007年，美国fuzzy lop。http://lcamtuf.coredump.cx/afl/

[38]

Matthew D.Zeiler和Rob Fergus。2014.可视化和理解卷积网络。在欧洲计算机视觉会议（ECCV’14）上。818-833.

引用人

夏C黄S郑C杨Z白T太阳L(2024)TraModeAVTest：基于交通法规的自动驾驶系统建模场景和违规测试数码产品10.3390/电子1307119713:7(1197)在线发布日期：2024年3月25日
https://doi.org/10.3390/electronics13071197
戴H太阳C刘浩张X(2024)DFuzzer：多样性驱动的深度学习模糊模型种子队列构建可靠性会刊10.1109/TR.2023.332240673:2(1075-1089)网上发布日期：2024年6月
https://doi.org/10.109/TR.2023.3322406
吴X顾毅（Gu Y）林·L郑伟陈X(2024)ISTA+：基于覆盖分析的智能系统测试用例生成与优化计算机程序设计科学2016年10月10日/j.scico.2024.103078(103078)在线发布日期：2024年1月
https://doi.org/10.1016/j.scico.2024.103078
显示更多引用者

索引术语

基于自适应神经元选择策略的深度神经网络有效白盒测试
1. 计算机系统组织
  1. 体系结构
    1. 其他架构
      1. 神经网络
2. 软件及其工程
  1. 软件创建和管理
    1. 软件验证和确认
      1. 软件缺陷分析
        软件测试和调试

建议

结合白盒和黑盒测试方法进行测试用例的选择和优先级排序
ECBS-EERC’13：2013年第三届东欧地区计算机系统工程会议记录

在本文中，我们提出了一种结合白盒和黑盒测试的方法，以提高给定一类嵌入式系统的测试质量。该方法的目标是为新功能生成测试用例。。。
阅读更多信息
测试深层神经网络（主题）
SPLASH Companion 2020：2020年ACM SIGPLAN系统、编程、语言和应用国际会议的会议记录：人性化软件

鉴于使用深度神经网络（DNN）部署的关键应用程序越来越多，将其作为组件的软件的可靠性在今天显得尤为重要。可靠性的需要引起了对……进行严格测试的需要。。。
阅读更多信息
智能合约的白盒变异测试：快速回顾
计算机和通信系统的验证与评估
摘要
一旦部署到区块链上，智能合约就无法更改，需要更多测试。一种称为变异测试（MT）的基于故障的测试技术可以显著提高智能合约测试的效用。机器翻译是一种。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

ISSTA 2020：第29届ACM SIGSOFT国际软件测试与分析研讨会会议记录

2020年7月

591页

国际标准图书编号：9781450380089

内政部：10.1145/3395363

总主席：
萨尔夫拉兹·库希德
美国德克萨斯大学奥斯汀分校
,
项目主席：
科琳娜·S·P·S·雷纳
卡内基梅隆大学硅谷/美国国家航空航天局艾姆斯研究中心

版权所有©2020 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

赞助商

SIGSOFT：ACM软件工程特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2020年7月18日

权限

请求对此文章的权限。

检查更新

徽章

作者标记

限定符

研究文章

会议

ISSTA’20

主办单位：

SIGSOFT公司

ISSTA’20：第29届ACM SIGSOFT软件测试与分析国际研讨会

2020年7月18日至22日

虚拟活动，美国

接受率

总体接受率213份提交文件中的58份，27%

即将召开的会议

ISSTA’24

主办单位：
sigsoft软件

第33届ACM SIGSOFT国际软件测试与分析研讨会

2024年9月16日至20日

维也纳，奥地利

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

34
引文总数
查看引文
1, 148
总下载次数

下载次数（过去12个月）188
下载次数（最近6周）15

其他指标

查看作者指标

引文

引用人

夏C黄S郑C杨Z白T太阳L(2024)TraModeAVTest：基于交通规则的自动驾驶系统建模场景和违规测试数码产品10.3390/电子1307119713:7(1197)在线发布日期：2024年3月25日
https://doi.org/10.3390/electronics13071197
戴H太阳C刘浩张X(2024)DFuzzer：多样性驱动的深度学习模糊模型种子队列构建可靠性会刊10.1109/TR.2023.332240673:2(1075-1089)网上发布日期：2024年6月
https://doi.org/10.109/TR.2023.3322406
吴X顾毅（Gu Y）林·L郑伟陈X(2024)ISTA+：基于覆盖分析的智能系统测试用例生成与优化计算机程序设计科学2016年10月10日/j.scico.2024.103078(103078)在线发布日期：2024年1月
https://doi.org/10.1016/j.scico.2024.103078
王H邵W太阳C杨克（Yang K）曹D李杰(2024)对自动驾驶汽车新出现的安全挑战的调查：预期功能的安全性工程类2016年10月10日/j.eng.2023.10.01133(17-34)网上发布日期：2024年2月
https://doi.org/10.1016/j.eng.2023.10.011
胡Q王菲刘B刘浩(2023)深度神经网络测试技术研究2023年第四届机器学习和计算机应用国际会议记录10.1145/3650215.3650237(113-119)在线发布日期：2023年10月27日
https://dl.acm.org/doi/10.1145/3650215.3650237
郭Y胡Q谢XCordy M系列帕帕达克斯MLe Traon Y酒店(2023)KAPE：基于kNN的深度代码搜索性能测试软件工程及方法论学报10.1145/362473533:2(1-24)在线发布日期：2023年9月16日
https://dl.acm.org/doi/10.1145/3624735
乌斯曼M太阳Y戈皮纳斯DPéséreau C公司Chechik M公司埃尔鲍姆S胡B马尔索L斯坦因·M(2023)基于规则的神经网络测试第一届含机器学习部件的安全关键系统可靠性和可信度国际研讨会会议记录10.1145/3617574.3622747(1-5)在线发布日期：2023年12月4日
https://dl.acm.org/doi/10.1145/3617574.3622747
致Y谢X沈C太阳J张X管X(2023)用于测试深度神经网络的种子选择软件工程及方法论学报10.1145/360719033:1(1-33)在线发布日期：2023年7月7日
https://dl.acm.org/doi/10.1145/3607190
薛Z刘S张Z吴毅张M仅R弗雷泽G(2023)两种近似的故事：通过欠近似对DNN稳健性验证的紧超近似第32届ACM SIGSOFT软件测试与分析国际研讨会论文集10.1145/3597926.3598127(1182-1194)在线发布日期：2023年7月12日
https://dl.acm.org/doi/10.1145/3597926.3598127
陈杰王杰马X太阳Y太阳J张平（Zhang P）程P(2023)引言：深度学习系统的面向质量的测试软件工程及方法论学报10.1145/358257332:5(1-33)在线发布日期：2023年2月10日
https://dl.acm.org/doi/10.1145/3582573
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子