黄晓伟;丹尼尔·克罗宁;阮文杰;詹姆斯·夏普;孙友成;泰莫，Emese;吴敏;易新平 深度神经网络的安全性和可信度调查：验证、测试、对抗性攻击和防御以及可解释性。 （英语） Zbl 1478.68308号 计算。科学。版次。 37，文章ID 100270，34 p.（2020）. 摘要：在过去的几年里，深度神经网络（DNN）在实现几个长期任务的人类级性能方面取得了重大进展。随着DNN在各种应用中的广泛部署，人们对其安全性和可信性的担忧已公开提出，尤其是在广泛报道的涉及自动驾驶汽车的致命事故之后。解决这些问题的研究尤其活跃，过去几年发表了大量论文。这篇调查论文通过关注四个方面：验证、测试、对抗性攻击和防御以及可解释性，对当前使DNN安全可信的研究工作进行了回顾。我们共调查了202篇论文，其中大多数是2017年后发表的。 引用于12文件 MSC公司： 68T07型 人工神经网络与深度学习 68-02 与计算机科学有关的研究博览会（专著、调查文章） 软件：AI2公司;Reluplex公司;深度突变;梯度-CAM;DLFuzz公司;亚当;形状;深度RED;聪明人;掌中宽带;深度（DeepGauge）;TensorFuzz公司;重复性Jac;深度愚人;DeepXlore公司;MagNet公司;科恩平滑 PDF格式BibTeX公司 XML格式引用 \textit{X.Huang}等人，计算。科学。第37版，文章ID 100270，34页（2020年；Zbl 1478.68308） 全文： 内政部 arXiv公司 参考文献： [1] 俄勒冈州Russakovsky。；邓，J。；苏，H。；克劳斯，J。；Satheesh，S。；马，S。；黄，Z。；Karpathy，A。；科斯拉，A。；伯恩斯坦，M。；A.C.Berg。；Fei-Fei，L.，Imagenet大规模视觉识别挑战，国际计算机杂志。视觉。（IJCV），115，3，211-252（2015） [2] 科洛伯特，R。；J·韦斯顿。；博图，L。；卡伦，M。；Kavukcuoglu，K。；Kuksa，P.，自然语言处理（几乎）从头开始，J.Mach。学习。第12号决议，2493-2537（2011年）·Zbl 1280.68161号 [3] 西尔弗·D。；Schrittwieser，J。；Simonyan，K。；安东尼奥卢，I。；黄，A。；A.盖兹。；休伯特，T。；贝克，L。；赖，M。；博尔顿，A。；陈，Y。；Lillicrap，T。；Hui，F。；西夫雷，L。；van den Driessche，G。；Graepel，T。；Hassabis，D.，《在没有人类知识的情况下掌握围棋游戏》，《自然》，550，354-359（2017） [4] NTSB发布特斯拉汽车驾驶仪致命坠毁初步报告（2018年），https://electrek.co/2018/06/07/tesla-fatal-crash-autoprilot-ntsb-releases-preliminary-report/ [5] 优步（Uber）的自动驾驶汽车为何导致行人死亡（2018年），https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-beadder [6] 塞格迪，C。；Zaremba，W。；Sutskever，I。；布鲁纳，J。；Erhan，D。；古德费罗，我。；Fergus，R.，《神经网络的有趣特性》（In ICLR（2014），Citeser） [7] 阿曼，P。；Offutt，J.，《软件测试导论》（2008），剑桥大学出版社·Zbl 1154.68042号 [8] 克拉克，E.M。；格伦伯格，O。；Kroening，D。；贝利德，D。；Veith，H.，《模型检验》（2018），麻省理工学院出版社·Zbl 1423.68002号 [9] Rushby，J.，《鉴证案例的解释和评估技术报告》（2015），SRI International [10] 可解释人工智能（2018），https://www.darpa.mil/program/explanable-artifial-intelligence [11] Voosen，P.，《人工智能侦探如何打开深度学习的黑匣子》，《科学》（2017） [12] 通用数据保护条例（2016），http://data.europa.eu/eli/reg/2016/679/oj [13] V.Nair，G.E.Hinton，《校正线性单位改进受限Boltzmann机器》，载于：《第27届机器学习国际会议论文集》，2010年，第807-814页。 [14] Katz，G。；巴雷特，C。；Dill，D.L。；朱利安，K。；Kochenderfer，M.J.，Reluplex:验证深层神经网络的高效SMT解算器，（计算机辅助验证国际会议（2017），Springer），97-117·Zbl 1494.68167号 [15] 阮，W。；黄，X。；Kwiatkowska，M.，《具有可证明保证的深度神经网络可达性分析》，（第27届国际人工智能联合会议（2018）会议记录，AAAI出版社），2651-2659 [16] 朱，H。；霍尔，宾夕法尼亚州。；May，J.H.，《软件单元测试覆盖率和充分性》，ACM Compute。调查。，29, 4, 366-427 (1997) [17] 豪塞尔，M。；拉姆绍尔，H。；Unterthiner，T。；奈斯勒，B。；Hochreiter，S.，Gans通过两个时间尺度更新规则训练后收敛到局部纳什均衡，（第31届神经信息处理系统国际会议论文集。第31届国际神经信息处理会议论文集，NIPS’17（2017），Curran Associates Inc。美国纽约州Red Hook），6629-6640 [18] Finlayson，S.G。；Kohane，I.S。；Beam，A.L.，《针对医学深度学习系统的Beam对抗性攻击》（2018），arXiv预印本arXiv:1804.05296 [19] 吴，M。；Wicker，M。；阮，W。；黄，X。；Kwiatkowska，M.，《具有可证明保证的深度神经网络的基于游戏的近似验证》，Theoret。计算。科学。，807，298-329（2020），纪念理论计算机科学的创始人莫里斯·尼瓦特（Maurice Nivat）——第二部分·Zbl 1436.68199号 [20] J.Ebrahimi，A.Rao，D.Lowd，D.Dou，《热翻转：文本分类的白盒对抗性示例》，收录于：计算语言学协会第56届年会论文集（第2卷：短文），2018年第2卷，第31-36页。 [21] Wicker，M。；黄，X。；Kwiatkowska，M.，深度神经网络的特征引导黑盒安全测试，（系统构建和分析工具和算法国际会议（2018），Springer），408-426 [22] 张，M。；Zhang，Y。；张，L。；刘，C。；Khurshid，S.，DeepRoad:GAN-based变质自动驾驶系统测试，（自动化软件工程（ASE），第33届IEEE/ACM国际会议（2018年）） [23] 黄，X。；Kwiatkowska，M。；王，S。；Wu，M.，深度神经网络的安全验证，（Majumdar，R.；Kunčak，V.，计算机辅助验证（2017），Springer International Publishing：Springer国际出版公司Cham），3-29·Zbl 1494.68166号 [24] 向伟。；Tran，H.-D。；Johnson，T.T.，多层神经网络的输出可达集估计和验证，IEEE Trans。神经网络。学习。系统。，29, 5777-5783 (2018) [25] 阮，W。；黄，X。；Kwiatkowska，M.，《具有可证明保证的深度神经网络可达性分析》，（第二十七届国际人工智能联合会议论文集，IJCAI-18（2018），国际人工智能组织联合会议），2651-2659 [26] OSearcoid，M.，《度量空间》（2006），施普林格科学与商业媒体·Zbl 1109.54001号 [27] 翁，T.-W。；张，H。；陈，P.-Y。；Yi，J。；苏·D。；高，Y。；谢长杰。；Daniel，L.，《评估神经网络的鲁棒性：极值理论方法》，（国际学习表征会议（ICLR）（2018）） [28] Pulina，L。；Taccella，A.，《人工神经网络验证的抽象再定义方法》（计算机辅助验证国际会议（2010），施普林格），243-257 [29] Ehlers，R.，《分段线性前馈神经网络的形式验证》，（D’Souza，D.；Narayan Kumar，K.，《验证与分析自动化技术》（2017），Springer International Publishing：Springer国际出版公司Cham），269-286·Zbl 1495.68131号 [30] N.Narodytska，S.P.Kasiviswanathan，L.Ryzhyk，M.Sagiv，T.Walsh，验证二值化深度神经网络的属性，收录于：《第三十二届AAAI人工智能会议论文集》，2018年，第6615-6624页。 [31] Narodytska，N.，深度二值化神经网络的形式化分析，（第27届国际人工智能联合会议论文集（2018），AAAI出版社），5692-5696 [32] Lomuscio，A。；Maganti，L.，前馈ReLU神经网络可达性分析方法（2017），arXiv预印本arXiv:1706.07351 [33] Cheng，C.-H。；纽伦堡，G。；Ruess，H.，《人工神经网络的最大弹性》，（D’Souza，D.；Narayan Kumar，K.，《验证和分析自动化技术》（2017），施普林格出版社），251-268 [34] 杜塔，S。；Jha，S。；Sanakaranarayanan，S。；Tiwari，A.，深度神经网络的输出范围分析（2018），arXiv预印本arXiv:1709.09130 [35] 布内尔，R。；特克斯兰，I。；托尔，P.H。；科尔里，P。；Kumar，M.P.，分段线性神经网络验证：比较研究（2017），arXiv预印本arXiv:1711.00455 [36] Neumaier，A。；Shcherbina，O.，线性和混合整数线性规划的安全边界，数学。程序。，99283-296（2004年）·Zbl 1098.90043号 [37] 库索特，P。；库索特，R.，《抽象解释：通过构造或近似不动点对程序进行静态分析的统一格模型》，（第四届ACM程序设计语言原理研讨会（POPL）（1977）），238-252 [38] Gehr，T。；米尔曼，M。；Drachsler-Cohen，D。；Tsankov，P。；南部乔杜里。；Vechev，M.，AI2：具有抽象解释的神经网络的安全性和健壮性认证，（2018年IEEE安全与隐私研讨会（S&P2018）（2018）），948-963 [39] 米尔曼，M。；Gehr，T。；Vechev，M.，可证明鲁棒神经网络的可微抽象解释，（机器学习国际会议（2018）），3575-3583 [40] Li，J.等人。；刘杰。；杨，P。；Chen，L。；Huang，X.，《用符号传播分析深层神经网络：朝着更高精度和更快验证的方向发展》（2018年），提交出版 [41] Wong，E。；Kolter，Z.，《通过凸外部对抗性多边形对抗性示例的可证明防御》，（机器学习国际会议（2018）），5283-5292 [42] Dvijotham，K。；斯坦福思，R。；Gowal，S。；Mann，T.A。；Kohli，P.，深度网络可扩展验证的双重方法，（人工智能不确定性会议（UAI）（2018）），550-559 [43] 王，S。；裴，K。；怀特豪斯，J。；杨，J。；Jana，S.，使用符号区间对神经网络进行形式安全分析，（USENIX安全研讨会（2018年），USENIX协会） [44] 佩克，J。；罗尔斯，J。；Goossens，B。；Saeys，Y.，《对抗性扰动鲁棒性的下限》（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统进展》30（2017），Curran Associates，Inc.），804-813 [45] T.-W.Weng，H.Zhang，H.Chen，Z.Song，C.-J.Hsieh，D.Boning，I.S.Dhillon，L.Daniel，《relu网络认证稳健性的快速计算》，载于《第35届国际机器学习会议论文集》，2018年，第5273-5282页。 [46] 张，H。；翁，T.-W。；陈，P.-Y。；谢长杰。；Daniel，L.，具有一般激活函数的高效神经网络稳健性认证，（神经信息处理系统进展（2018）），4939-4948 [47] 张，H。；张，P。；Xieh，C.-J.，Recurjac:一种有效的神经网络雅可比矩阵定界递归算法及其应用，（AAAI人工智能会议（2019）），arXiv预印本arXiv:1810.11783 [48] 阮，W。；吴，M。；孙，Y。；黄，X。；Kroening，D。；Kwiatkowska，M.，具有可证明汉明距离保证的深度神经网络的全局稳健性评估，（第二十届国际人工智能联合会议论文集，IJCAI-19（2019），国际人工智能组织联合会议），5944-5952 [49] Goodfellow，I.J.，梯度掩蔽导致CLEVER高估对手扰动大小（2018），CoRR，abs/1804.07870 [50] O.巴斯塔尼。；约阿诺，Y。；Lampropulos，L。；病毒性肠炎，D。；Nori，A。；Criminisi，A.，《用约束测量神经网络鲁棒性》，（神经信息处理系统进展（2016）），2613-2621 [51] 贾毅。；Harman，M.，《突变测试发展的分析和调查》，IEEE Trans。柔和。工程师，37,5649-678（2011） [52] 苏，T。；Wu，K。；Miao，W。；Pu，G。；He，J。；陈，Y。；Su，Z.，数据流测试调查，ACM计算。调查。，50，1，5:1-5:35（2017） [53] Hayhurst，K。；Veerhusen，D。；奇伦斯基，J。；Rierson，L.，《关于修改条件/决策覆盖的实用教程技术报告》（2001年），NASA [54] Do-178c，机载系统和设备认证中的软件考虑因素（2011年） [55] 孙，Y。；黄，X。；Kroening，D。；夏普，J。；希尔，M。；Ashmore，R.，深度神经网络的结构测试覆盖标准，（第41届国际软件工程会议：相关会议记录（ICSE-Companion）（2019），IEEE），320-321 [56] 裴，K。；曹毅。；杨，J。；Jana，S.，DeepXplore:深度学习系统的自动白盒测试，（第26届操作系统原理研讨会论文集（2017），ACM），1-18 [57] 田，Y。；裴，K。；贾纳，S。；Ray，B.，《DeepTest:深度神经网络驱动自动汽车的自动测试》，（2018 IEEE/ACM第40届国际软件工程会议（ICSE）（2018）），303-314 [58] 孙，Y。；吴，M。；阮，W。；黄，X。；Kwiatkowska，M。；Kroening，D.，深度神经网络的一致性测试，（自动化软件工程（ASE），第33届IEEE/ACM国际会议（2018年）） [59] 阿什莫尔，R。；Hill，M.，《拳击智慧：洞察训练数据和监测分配变化的实用技术》（第一届人工智能安全工程国际研讨会（2018年）） [60] 马，L。；觉非苏，F。；Sun，J。；陈，C。；苏，T。；张，F。；薛，M。；李，B。；李，L。；刘，Y。；赵，J。；Wang，Y.，DeepGauge:衡量深度学习系统稳健性的综合和多粒度测试标准，（自动化软件工程（ASE），第33届IEEE/ACM国际会议（2018年）） [61] 古德费罗，I.J。；Shlens，J。；Szegedy，C.，《解释和利用对抗性示例》（2014），CoRR，abs/1412.6572 [62] 马，L。；张，F。；薛，M。；李，B。；刘，Y。；赵，J。；Wang，Y.，深度学习系统的组合测试（2018），arXiv预印本arXiv:1806.07723 [63] 孙，Y。；黄，X。；Kroening，D.，《测试深度神经网络》（2018），arXiv预印本arXiv:1803.04792 [64] 孙，Y。；黄，X。；Kroening，D。；夏普，J。；希尔，M。；Ashmore，R.，深度神经网络的结构测试覆盖标准，ACM Trans。嵌入。计算。系统。，18、5秒（2019年） [65] 王，Z。；Simoncelli，E.P。；Bovik，A.C.，图像质量评估的多尺度结构相似性，（信号、系统和计算机，第三十七届Asilomar会议会议记录，2003年） [66] Cheng，C.-H。；黄，C.-H。；Yasuoka，H.，测试ML自动系统的定量投影覆盖率，（验证和分析自动化技术国际研讨会（2018年），施普林格） [67] C.-H.Cheng，G.Nuhrenberg，C.-H.Huang，H.Yasuoka，朝向神经网络的可靠性度量，收录于：第16届ACM-IEEE系统设计形式方法和模型国际会议论文集，2018年。 [68] Cheng，C.-H。；黄，C.-H。；Nührenberg，G.，Nn-可靠性工具包：安全关键系统的工程神经网络（2018），arXiv预印本arXiv:1811.06746 [69] Kim，J。；费尔特·R。；Yoo，S.，《使用惊喜充分性指导深度学习系统测试》（2018），arXiv预印本arXiv:1808.08444 [70] 魔杖，M.P。；Jones，M.C.，Kernel Smoothing（1994），Chapman和Hall/CRC·Zbl 0854.62043号 [71] 库拉金，A。；古德费罗，I.J。；Bengio，S.，《物理世界中的对手示例》（2016），CoRR，abs/1607.02533 [72] Papernot，北卡罗来纳州。；医学博士麦克丹尼尔。；Jha，S。；弗雷德里克森，M。；贝尔凯·塞利克，Z。；Swami，A.，《对抗环境中深度学习的局限性》，（安全与隐私（EuroS&P），2016年IEEE欧洲研讨会（2016年），IEEE），372-387 [73] 卡里尼，N。；Wagner，D.，对手示例不容易检测：绕过十种检测方法，（第十届ACM人工智能与安全研讨会论文集（2017），ACM），3-14 [74] 萨拉伊，R。；Czarnecki，K.，《在汽车软件中安全使用机器学习：iso 26262（2018）中软件过程要求的评估和调整》，arXiv预印本arXiv:1808.01614 [75] 南部乌德西。；阿罗拉，P。；Chattopadhyay，S.，《自动定向公平测试》，（自动化软件工程（ASE），第33届IEEE/ACM国际会议（2018年）） [76] 奥德纳，A。；Goodfellow，I.，TensorFuzz:使用覆盖引导模糊化调试神经网络（2018），arXiv预印本arXiv:1807.10875 [77] 谢，X。；马，L。；觉非苏，F。；陈，H。；薛，M。；李，B。；刘，Y。；赵，J。；尹，J。；参见，S.，深度神经网络的覆盖引导模糊化（2018），arXiv预印本arXiv:1809.01266 [78] J.Guo，Y.Jiang，Y.Zhao，Q.Chen，J.Sun，DLFuzz:深度学习系统的差异模糊测试，摘自：2018年第12届软件工程基础联席会议记录，ESEC/FSE 2018，2018。 [79] 孙，Y。；黄，X。；Kroening，D。；夏普，J。；希尔，M。；Ashmore，R.，《Deepconcolic:测试和调试深层神经网络》，（第41届国际软件工程会议：相关会议记录（ICSE-Companion）（2019年），IEEE），111-114 [80] 戈皮纳斯，D。；王凯。；张，M。；Pasareanu，C.S。；Khurshid，S.，深度神经网络的符号执行（2018），arXiv预印本arXiv:1807.10439 [81] 阿加瓦尔，A。；Lohia，P。；Nagar，S。；Dey，K。；Saha，D.，检测人工智能模型中个体歧视的自动测试生成（2018），arXiv预印本arXiv:1809.03260 [82] 马，S。；刘，Y。；张，X。；Lee，W.C。；Grama，A.，MODE:通过状态微分分析和输入选择进行自动神经网络模型调试，（第12届软件工程基础联合会议论文集（2018），ACM） [83] 沈伟（Shen，W.）。；Wan，J。；Chen，Z.，MuNN:神经网络突变分析，（软件质量、可靠性和安全协会国际会议，QRS-C（2018），IEEE） [84] 马，L。；张，F。；Sun，J。；薛，M。；李，B。；觉非苏，F。；谢，C。；李，L。；刘，Y。；Zhao，J.，《深度变异：深度学习系统的变异测试》，（软件可靠性工程，IEEE第29届国际研讨会，2018年） [85] Cheng博士。；曹，C。；徐，C。；Ma，X.，《机器学习代码中的明显错误：变异测试的探索性研究》，（软件质量、可靠性和安全国际会议（QRS）（2018），IEEE），313-324 [86] Y.Noller，C.S.PăSăreanu，M.Böhme，Y.Sun，H.L.Nguyen，L.Grunske，HyDiff:混合差分软件分析，载于：第42届软件工程国际会议论文集，ICSE，2020。 [87] 黄，W。；孙，Y。；夏普，J。；Huang，X.，Testrnn：递归神经网络的覆盖引导测试（2019），arXiv预印本arXiv:1906.08557 [88] 黄，W。；孙，Y。；夏普，J。；Huang，X.，递归神经网络的测试指标（2019），arXiv预印本arXiv:1911.01952 [89] X.Du，X.Xie，Y.Li，L.Ma，Y.刘，J.Zhao，Deepstar:基于模型的有状态深度学习系统定量分析，载于：第27届ACM欧洲软件工程会议联合会议论文集和软件工程基础研讨会，2019年，第477-487页。 [90] 穆萨维·德兹万利，S.-M。；Fawzi，A。；法齐，O。；Frossard，P.，《通用对抗扰动》（2017 IEEE计算机视觉和模式识别会议（CVPR）（2017）），86-94 [91] 比吉奥，B。；科罗纳，I。；Maiorca，D。；B.纳尔逊。；Šrndić，N。；拉斯科夫，P。；Giacinto，G。；Roli，F.，《测试时对机器学习的规避攻击》，（数据库中机器学习和知识发现联合欧洲会议（2013），施普林格），387-402 [92] S.-M Moosavi-Dezfouli，A.Fawzi，P.Frossard，《深度愚弄：愚弄深度神经网络的简单而准确的方法》，摘自：《IEEE计算机视觉和模式识别会议论文集》，2016年，第2574-2582页。 [93] 卡里尼，N。；Wagner，D.，《评估神经网络的鲁棒性》，（安全与隐私（SP），IEEE研讨会，2017年），39-57 [94] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），arXiv预印本arXiv:1412.6980 [95] Engstrom，L。；Tsipras，D。；施密特，L。；Madry，A.，旋转和平移就足够了：用简单变换愚弄cnns（2017），arXiv预印本arXiv:1712.02779 [96] 何凯、张旭、任正生、孙建军，图像识别的深度剩余学习，载《IEEE计算机视觉与模式识别会议论文集》，2016年，第770-778页。 [97] 肖，C。；朱建勇。；李，B。；He，W。；刘，M。；Song，D.，《空间转化的对抗性示例》（2018），arXiv预印本arXiv:1801.02612 [98] Papernot，N。；Faghri，F。；卡里尼，N。；古德费罗，我。；Feinman，R。；Kurakin，A。；谢，C。；夏尔马，Y。；Brown，T。；罗伊，A。；马蒂亚斯科，A。；贝扎丹，V。；Hambardzumyan，K。；张，Z。；Juang，Y.-L。；李，Z。；Shetsley，R。；加格，A。；尤萨托，J。；吉尔克，W。；Dong，Y。；Berthelot，D。；亨德里克斯，P。；劳伯，J。；Long，R.，《关于聪明人v2.1.0对抗性示例库的技术报告》（2018），arXiv预印本arXiv:1610.00768 [99] 裴，K。；曹毅。；杨，J。；Jana，S.，《走向机器学习的实践验证：计算机视觉系统的案例》（2017），arXiv预印本arXiv:1712.01785 [100] 海耶斯，J。；Danezis，G.，《使用生成模型学习通用对抗扰动》，（2018 IEEE安全与隐私研讨会（SPW）（2018），IEEE），43-49 [101] Poursaeed，O。；凯茨曼，I。；高，B。；Belongie，S.J.，生成性对抗扰动（计算机视觉和模式识别会议（2018）） [102] O.Ronneberger。；菲舍尔，P。；Brox，T.，U-net：生物医学图像分割的卷积网络，（医学图像计算和计算机辅助干预国际会议（2015），Springer），234-241 [103] 约翰逊，J。；Alahi，A。；Fei-Fei，L.，实时风格传输和超分辨率的感知损失，（欧洲计算机视觉会议（2016），施普林格），694-711 [104] J.H.Metzen，M.C.Kumar，T.Brox，V.Fischer，针对语义图像分割的普遍对抗性扰动，收录于：IEEE国际计算机视觉会议论文集，2017年，第2755-2764页。 [105] J.Li，R.Ji，H.Liu，X.Hong，Y.Gao，Q.Tian，针对图像检索的通用微扰攻击，收录于：IEEE国际计算机视觉会议论文集，2019年，第4899-4908页。 [106] P.Neekhara，S.Hussain，P.Pandey，S.Dubnov，J.McAuley，F.Koushanfar，语音识别系统的通用对抗干扰，摘自：Proc。2019年、2019年的Interspeech，第481-485页。 [107] 莫普里，K.R。；Ganeshan，A。；Venkatesh Babu，R.，用于构建通用对抗扰动的通用无数据目标，IEEE Trans。模式分析。马赫。智力。，41, 10, 2452-2465 (2018) [108] Papernot，N。；麦克丹尼尔，P。；吴，X。；Jha，S。；Swami，A.，《蒸馏作为对抗深度神经网络的对抗性扰动的防御措施》，（安全与隐私（SP），2016年IEEE研讨会（2016年），IEEE），582-597 [109] Metzen，J.H。；Genewein，T。；费舍尔，V。；Bischoff，B.，《关于检测对抗性扰动》（2017），arXiv预印本arXiv:1702.04267 [110] 亨德里克斯，D。；Gimpel，K.，《检测对手图像的早期方法》（2016），arXiv预印本arXiv:1608.00530 [111] 孟，D。；Chen，H.，Magnet:对抗性示例的双重防御，（2017年ACM SIGSAC计算机和通信安全会议论文集（2017），ACM），135-147 [112] 卡里尼，N。；Wagner，D.，《对抗性攻击的磁铁和有效防御对于对抗性示例来说并不强大》（2017），arXiv预印本arXiv:1711.08478 [113] Madry，A。；马克洛夫，A。；施密特，L。；Tsipras，D。；Vladu，A.，《对抗性攻击的深度学习模型》（2017），arXiv预印本arXiv:1706.06083 [114] Na，T。；Ko，J.H。；Mukhopadhyay，S.，用统一嵌入正则化的级联对抗性机器学习，（国际学习表征会议（ICLR）（2018）） [115] 有轨电车，F。；Kurakin，A。；Papernot，北卡罗来纳州。；古德费罗，我。；Boneh，D。；McDaniel，P.，《合奏对抗训练：攻击与防御》，（国际学习代表大会（2018年）） [116] 辛顿，G。；葡萄酒，O。；Dean，J.，《在神经网络中提取知识》（2015），arXiv电子版，第arXiv页：1503.02531 [117] Papernot，N。；麦克丹尼尔，P。；吴，X。；Jha，S。；Swami，A.，《蒸馏作为对抗深度神经网络的对抗性扰动的防御》，（2016年IEEE安全与隐私研讨会（SP）（2016）），582-597 [118] 巴戈吉，A.N。；库利纳，D。；Mittal，P.，《降维作为防御对机器学习分类器的回避攻击的方法》（2017），CoRR，abs/1704.02654 [119] 徐伟（Xu，W.）。；Evans，D。；Qi，Y.，《特征压缩：检测深层神经网络中的对抗性示例》，（网络与分布式系统安全研讨会（NDSS）（2018）） [120] 孟，D。；Chen，H.，Magnet:对抗性示例的双重防御（ACM计算机与通信安全会议（2017）） [121] Song，Y。；Kim，T。；Nowozin，S。；埃蒙，S。；Kushman，N.，Pixeldefend:利用生成模型来理解和防御对抗性示例（学习表征国际会议（2018）） [122] van den Oord，A。；Kalchbrenner，N。；葡萄酒，O。；Espeholt，L。；格雷夫斯，A。；Kavukcuoglu，K.，使用pixelcnn解码器的条件图像生成，（NIPS（2016）） [123] Samangouei，P。；卡卡布，M。；Chellappa，R.，《Defense-gan:使用生成模型保护分类器免受对手攻击》，（国际学习表征会议（ICLR）（2018）） [124] 古德费罗，我。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，（神经信息处理系统进展（2014）），2672-2680 [125] 郭，C。；拉纳，M。；西塞，M。；van der Maaten，L.，《使用输入转换对抗对手图像》（2017），arXiv预印本arXiv:1711.00117 [126] 谢，C。；Wang，J。；张，Z。；任，Z。；Yuille，A.，《通过随机化缓解对抗效应》（国际学习表征会议（ICLR）（2017年）） [127] 巴克曼，J。；罗伊，A。；拉斐尔，C。；Goodfellow，I.，《温度计编码：对抗对抗性示例的一种热门方法》（国际学习代表大会（2018）） [128] 迪隆，G.S。；Azizzadenesheli，K。；利普顿，Z.C。；伯恩斯坦，J。；Kossaifi，J。；Khanna，A。；Anandkumar，A.，用于鲁棒对抗性防御的随机激活修剪，（国际学习表征会议（2018）） [129] 马，X。；李，B。；Wang，Y。；埃尔法尼，S.M。；Wijewickrema，S。；Houle，M.E。；Schoenebeck，G。；宋，D。；Bailey，J.，使用局部内在维数刻画对抗子空间（2018），arXiv预印本arXiv:1801.02613 [130] Feinman，R。；科廷，R.R。；Shintre，S。；Gardner，A.B.，《从人工制品中检测对手样本》（2017），arXiv电子打印，第arXiv页：1703.00410 [131] Houle，M.E.，《局部内在维度i：相似应用的极值理论基础》，（Beecks，C.；Borutta，F.；Kröger，P.；Seidl，T.，《相似性搜索与应用》（2017），Springer International Publishing：Springer国际出版公司Cham），64-79 [132] 斯坦哈特，J。；梁，P。；Koh，P.W.，数据中毒攻击的认证防御，（神经信息处理系统进展30（2017）） [133] 海因，M。；Andriushchenko，M.，《分类器对抗对抗性操纵鲁棒性的形式保证》（NIPS（2017）） [134] Raghunathan，A。；斯坦哈特，J。；Liang，P.，对抗性示例的认证抗辩（2018），arXiv预印本arXiv:1801.09344 [135] 辛哈，A。；Namkoong，H。；Duchi，J.，《原则性对抗训练的可认证分布稳健性》，（学习表现国际会议（2018年）） [136] Gowal，S。；Dvijotham，K.D。；斯坦福思，R。；布内尔，R。；秦，C。；尤萨托，J。；Arandjelovic，R。；Mann，T。；Kohli，P.，可扩展验证训练，用于证明稳健的图像分类，（IEEE国际计算机视觉会议（ICCV）（2019）） [137] Erhan，D。；Y.本吉奥。；科尔维尔，A。；Vincent，P.，《可视化深层网络技术报告的高层特征》（2009年），蒙特利尔大学 [138] Mahendran，A。；Vedaldi，A.，通过反转来理解深层图像表示，（2015年IEEE计算机视觉和模式识别会议（CVPR）（2015）），5188-5196 [139] Dosovitskiy，A。；Brox，T.，《用卷积网络反演卷积网络》（2015），CoRR，abs/1506.02753 [140] Yosinski，J。；克伦，J。；Nguyen，A.M。；富克斯，T.J。；Lipson，H.，《通过深度可视化理解神经网络》，（机器学习国际会议（ICML）深度学习研讨会（2015）） [141] 里贝罗，M.T。；辛格，S。；Guestrin，C.，我为什么要信任你解释任何分类器的预测，（HLT-NAACL Demos（2016）） [142] Sundararajan，M。；Taly，A。；Yan，Q.，深度网络公理化归因，（机器学习国际会议（2017）） [143] 巴赫，S。；粘合剂A。；蒙塔文，G。；Klauschen，F。；穆勒，K.-R。；Samek，W.，《通过分层相关传播对非线性分类器决策的像素解释》，《公共科学图书馆·综合》，第10期，第7期（2015年） [144] A.Shrikumar、P.Greenside、A.Kundaje，《通过传播激活差异学习重要特征》，载《机器学习研究论文集》，2017年第70卷，第3145-3153页。 [145] Selvaraju，R.R。；Das，A。；韦丹坦，R。；Cogswell，M。；Parikh，D。；巴特拉·D·格拉德坎：你为什么这么说？通过基于梯度的本地化从深层网络中进行可视化解释，（NIPS 2016复杂系统中可解释机器学习研讨会（2016）） [146] 伦德伯格，S。；Lee，S.，《解释模型预测的统一方法》（NIPS（2017）） [147] Zintgraf，L.M。；科恩，T.S。；阿德尔，T。；Welling，M.，《可视化深层神经网络决策：预测差异分析》，（国际机器学习会议（ICML）（2017）） [148] Kim，B。；Wattenberg，M。；Gilmer，J。；蔡，C。；韦克斯勒，J。；维埃加斯，F。；sayres，R.，《超越特征归因的可解释性：用概念激活向量（TCAV）进行定量测试》，（Dy，J.；Krause，A.，《第35届机器学习国际会议论文集》，第35届国际机器学习会议论文集，《机器学习研究论文集》第80卷（2018），PMLR:PMLR Stockholmsmässan，瑞典斯德哥尔摩），2668-2677 [149] 陈，J。；宋，L。；Wainwright，M.J。；Jordan，M.I.，《学习解释：模型解释的信息理论视角》（机器学习国际会议（2018）） [150] Simonyan，K。；Vedaldi，A。；Zisserman，A.，《深层卷积网络：可视化图像分类模型和显著图》（2013），CoRR，abs/1312.6034 [151] Smilkov，D。；托拉特，N。；Kim，B。；维加斯，F.B。；Wattenberg，M.，Smoothgrad:通过添加噪声来去除噪声（2017），CoRR，abs/1706.03825 [152] 医学博士泽勒。；Fergus，R.，《卷积网络的可视化和理解》（欧洲计算机视觉会议（ECCV）（2014）） [153] 施普林伯格，J.T。；Dosovitskiy，A。；布罗克斯，T。；Riedmiller，M.A.，《追求简单：全卷积网络》（2014），CoRR，abs/1412.6806 [154] Dabkowski，P。；Gal，Y.，黑箱分类器的实时图像显著性，（NIPS（2017）） [155] 方，R。；Vedaldi，A.，通过有意义的扰动解释黑盒，（2017 IEEE国际计算机视觉会议（ICCV）（2017）），3449-3457 [156] Koh，P.W。；Liang，P.，通过影响函数理解黑盒预测，（机器学习国际会议（2017）） [157] M.T.Ribeiro、S.Singh、C.Guestrin，《锚：高精度模型-认知解释》，载于《第三十二届AAAI人工智能会议论文集》，2018年。 [158] 齐尔克，J.R。；Loza Mencía，E。；Janssen，F.，Deepred–从深度神经网络中提取规则，（Calders，T.；Ceci，M.；Malerba，D.，《发现科学》（2016），Springer International Publishing:Springer国际出版社Cham），457-473 [159] 佐藤，M。；Tsukimoto，H.，通过决策树归纳从神经网络中提取规则，（IJCNN'01）。国际神经网络联合会议。《会议记录》（分类号：01CH37222），第3卷（2001年），1870-1875 [160] Chu，L。；胡，X。；胡，J。；Wang，L。；Pei，J.，《分段线性神经网络的精确和一致解释：封闭形式解》，（ACM SIGKDD知识发现和数据挖掘国际会议（2018），ACM），1244-1253 [161] 魏斯，G。；Goldberg，Y。；Yahav，E.，使用查询和反例从递归神经网络中提取自动机，（机器学习国际会议（2018）） [162] Angluin，D.，从查询和反例中学习regaular集，Inform。和计算。，75, 87-106 (1987) ·Zbl 0636.68112号 [163] Omlin，C.W。；Lee Giles，C.，从离散时间递归神经网络中提取规则，神经网络。，9, 1, 41-52 (1996) [164] 蒂什比，N。；佩雷拉，F.C。；Bialek，W.，《信息瓶颈方法》（2000），arXiv e-prints，页面物理/0004057 [165] Shwartz-Ziv，R。；Tishby，N.，《通过信息打开深度神经网络的黑匣子》（2017），CoRR，abs/1703.00810 [166] 佐治亚州戈德菲尔德。；范登伯格，E。；Greenewald，K。；Melnyk，I。；Nguyen，N。；金斯伯里，B。；Polyanskiy，Y.，估计神经网络中的信息流（2018），arXiv电子指纹，第页arXiv:11810.05728 [167] 新理论打开了深度学习的黑匣子（2017），https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/ [168] 萨克斯，A.M。；班萨尔，Y。；Dapello，J。；阿德瓦尼，M。；科尔钦斯基，A。；特蕾西，B.D。；Cox，D.D.，《深度学习的信息瓶颈理论》，（学习代表国际会议（2018）） [169] Amjad，R.A。；Geiger，B.C.，《如何（不）利用信息瓶颈原理训练神经网络》（2018），CoRR，abs/1802.09766 [170] 卢，J。；Sibai，H。；法布里，E。；Forsyth，D.，无需担心自动车辆目标检测中的对抗性示例，（计算机视觉和模式识别会议，聚焦口头研讨会（2017）） [171] Lipton，Z.C.，《模型可解释性的神话》，Commun。ACM，61，36-43（2018） [172] 布鲁尼，V。；Vitulano，D.，基于熵的ssim加速方法，信号处理。，135, 198-209 (2017) [173] 克拉克，E。；格伦伯格，O。；Jha，S。；卢，Y。；Veith，H.，符号模型检查的反示例引导抽象求精，J.ACM，50，5，752-794（2003）·Zbl 1325.68145号 [174] Könighfer，R。；Bloem，R.，《带现场程序分析的修复》，（Biere，A.；Nahir，A.；Vos，T.，《硬件和软件：验证和测试》（2013），施普林格柏林-海德堡：施普林格-柏林-海德堡-柏林，海德堡），56-71 [175] Mnih，V。；Kavukcuoglu，K。；西尔弗·D。；Rusu，A.A。；Veness，J。；Bellemare，M.G。；格雷夫斯，A。；里德米勒，M。；Fidjeland，A.K。；奥斯特罗夫斯基，G。；彼得森，S。；比蒂，C。；萨迪克，A。；安东尼奥卢，I。；金·H。；库马兰，D。；Wierstra，D。；腿，S。；Hassabis，D.，《通过深度强化学习实现人类层面的控制》，《自然》，518529（2015），EP- [176] Schaul，T。；Quan，J。；安东尼奥卢，I。；Silver，D.，优先体验回放（2015），CoRR，abs/1511.05952 [177] 王，Z。；德弗里塔斯，N。；Lanctot，M.，《深度强化学习的决斗网络架构》（2016年国际机器学习会议） [178] 范哈塞尔特，H。；A.盖兹。；Silver，D.，双q学习的深度强化学习，（人工智能促进协会（2015）） [179] 黄，S.H。；Papernot，北卡罗来纳州。；古德费罗，I.J。；Duan，Y。；Abbeel，P.，《神经网络政策的对抗性攻击》（2017），CoRR，abs/1702.02284 [180] Pattanaik，A。；唐，Z。；刘，S。；Bommannan，G。；Chowdhary，G.，《对抗性攻击下的鲁棒深度强化学习》，（自治代理和多代理系统国际会议（AAMAS）（2018）） [181] Lin，Y。；Z.Hong。；Liao，Y。；Shih，M。；刘，M。；Sun，M.，《深度强化学习代理的对抗性攻击策略》，（国际人工智能联合会议（2017）） [182] Tretschk，E。；哦，S.J。；Fritz，M.，《为实现长期敌对目标而对代理人进行的连续攻击》（2018年），CoRR，abs/1805.12487 [183] 魏，X。；朱，J。；Su，H.，《视频的稀疏对抗干扰》（2018），CoRR，abs/1803.02536 [184] 克拉克，E。；格伦伯格，O。；Jha，S。；卢，Y。；Veith，H.，《反例引导的抽象精化》（Emerson，E.A.；Sistla，A.P.，《计算机辅助验证》（2000），施普林格柏林-海德堡：施普林格-柏林-海德堡-柏林，海德堡），154-169·兹伯利0974.68517 [185] Sifakis，J.，《自治系统——建筑特征》（2018），CoRR，abs/1811.10277 [186] Dreossi，T。；Ghosh，S。；Sangiovanni-Vincentelli，A。；Seshia，S.A.，《自动驾驶卷积神经网络的系统测试》（2017），arXiv预印本arXiv:1708.03309 [187] 孙，Y。；周，Y。；马斯凯尔，S。；夏普，J。；Huang，X.，学习型车辆跟踪的可靠性验证，（ICRA（2020）） [188] 黄，W。；周，Y。；孟，J。；夏普，J。；马斯凯尔，S。；Huang，X.，《机器人可学习状态估计系统鲁棒性和弹性的形式验证技术报告》（2020） [189] X.赵。；Banks，A。；夏普，J。；罗布，V。；弗林，D。；费希尔，M。；Huang，X.，《利用深度神经网络的关键系统安全框架》（2020），arXiv电子版，第arXiv:2003.05311页 [190] 古德费罗，我。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号 [191] 阿莫代伊·D·。；奥拉，C。；斯坦哈特，J。；克里斯蒂亚诺，P。；舒尔曼，J。；Mané，D.，《人工智能安全中的具体问题》（2016），arXiv预印本arXiv:1606.06565 [192] Moreno-Torres，J.G。；Raeder，T。；阿莱兹·罗德里格斯，R。；查拉，N.V。；Herrera，F.，《关于分类中数据集移动的统一观点》，模式识别。，45, 1, 521-530 (2012) [193] 阿巴斯，M。；Rajabi，A。；萨达特·莫扎法里，A。；博巴，R.B。；Gagne，C.，控制泛化及其对对抗性示例生成和检测的影响（2018），ArXiv电子指纹 [194] Liang，S。；李毅。；Srikant，R.，增强神经网络中分布外图像检测的可靠性，（学习表征国际会议（2018）） [195] 德弗里斯，T。；Taylor，G.W.，神经网络中分布外检测的学习置信度（2018），arXiv电子指纹，第页arXiv:1802.04865 [196] Cheng，C.-H。；纽伦堡，G。；Yasuoka，H.，《运行时监测神经元激活模式》（2018），arXiv电子版，第arXiv:1809.06573页 [197] 奥拉，C。；Mordvintsev，A。；舒伯特，L.，《特征可视化》，《蒸馏》（2017），https://direct.pub/2017/feature-visualization网站 [198] 安科纳，M。；Ceolini，E。；奥兹蒂雷利，C。；Gross，M.，《更好地理解深度神经网络的基于梯度的归因方法》（学习表征国际会议（2018年）） [199] Tamagnini，P。；克劳斯，J。；Dasgupta，A。；Bertini，E.，使用实例级视觉解释解释黑盒分类器，（《人在回路数据分析第二次研讨会论文集》，《人在循环数据分析第2次研讨会论文集中》，HILDA’17（2017），ACM:美国纽约州纽约市ACM），6:1-6:6 [200] Hardin，R.，《信任与诚信》（2002），罗素·塞奇基金会 【201】 梅耶，R.C。；Davis，J.H。；Schoorman，F.D.，《组织信任的综合模型》，美国科学院。管理。第20、3、709-734版（1995年） [202] 黄，X。；Kwiatkowska，M.，《随机多智能体系统中认知信任的推理》（AAAI2017（2017）），3768-3774 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。