×
萨拉·穆罕默德·内贾德;布兰登·保尔森;Jyotirmoy V.德斯穆赫。;王超

DiffRNN：递归神经网络的微分验证。 （英语） Zbl 07498004号

Dima，Catalin（编辑）等，《定时系统的形式化建模和分析》。第19届国际会议，FORMATS 2021，巴黎，法国，2021年8月24-26日。诉讼程序。查姆：斯普林格。莱克特。注释计算。科学。12860, 117-134 (2021).
摘要：递归神经网络（RNN），如长短期记忆（LSTM）网络，在图像处理、数据分类、语音识别以及作为自治系统中的控制器等各种应用中都很流行。在实际环境中，通常需要在资源受限的平台（如手机或嵌入式设备）上部署此类RNN。随着这些组件的内存占用和能耗成为瓶颈，人们有兴趣使用一系列启发式技术压缩和优化这些网络。然而，这些技术并不能保证优化网络的安全性，例如，对抗对抗性输入，或保证优化网络与原始网络的等效性。为了解决这个问题，我们建议差异RNN，RNN的第一种差分验证方法，用于证明两个结构相似的神经网络的等效性。现有的差异验证工作ReLU公司-基于前馈神经网络不适用于RNN，其中非线性激活函数如乙状结肠和坦恩（Tanh）无法避免。RNN也带来了独特的挑战，例如处理顺序输入、复杂的反馈结构以及门和状态之间的交互。在差异RNN我们通过用线性约束限定非线性激活函数，然后解决约束优化问题，在高维空间中计算非线性曲面上的紧包围盒来克服这些挑战。然后使用d真实SMT求解器。我们证明了我们的技术在各种基准上的实际效果，并表明差异RNN优于最先进的RNN验证工具，如波普科恩.
关于整个系列，请参见[Zbl 1482.68018号].

引用于1文件

MSC公司：

68季度xx 计算理论

关键词：

循环神经网络;资源约束平台;压缩技术;差异验证

软件：

马拉布;TensorFuzz公司;MNIST公司;神经差异;深度愚人;数据链路2;DeepXlore公司;差异RNN;Reluplex公司;AI2公司;相对差异;波普尔;深度（DeepGauge）;d真实
PDF格式BibTeX公司 XML格式引用
\textit{S.Mohammadinejad}等人，Lect。注释计算。科学。12860117-134（2021年；兹bl 07498004）
全文： 内政部 arXiv公司

参考文献：

[1] Anguita，D.，Ghio，A.，Oneto，L.，Parra，X.，Reyes-Ortiz，J.L.：使用智能手机识别人类活动的公共领域数据集。In:ESANN（2013）
[2] Bastani，O.，Ioannou，Y.，Lampropoulos，L.，Vytiniotis，D.，Nori，A.V.，Criminisi，A.：用约束测量神经网络的鲁棒性。摘自：神经信息处理系统年度会议，第2613-2621页（2016年）
[3] Bojarski，M.等人：自动驾驶汽车的端到端学习。arXiv预印arXiv:1604.07316（2016）
[4] Carlini，N.，Wagner，D.A.：评估神经网络的鲁棒性。摘自：IEEE安全与隐私研讨会，第39-57页（2017年）
[5] Cheng，Y.，Wang，D.，Zhou，P.，Zhang，T.：深度神经网络模型压缩和加速综述。arXiv预印arXiv:1710.09282（2017）
[6] 库索，P.，库索，R.：抽象解释：通过构造或近似不动点对程序进行静态分析的统一格模型。摘自：ACM SIGACT-SIGPLAN编程语言原理研讨会，第238-252页（1977年）
[7] Cousot，P.，Halbwachs，N.：程序变量之间线性约束的自动发现。摘自：ACM SIGACT-SIGPLAN编程语言原理研讨会，第84-96页（1978年）
[8] Dvijotham，K.、Stanforth，R.、Gowal，S.、Mann，T.A.、Kohli，P.：深层网络可扩展验证的双重方法。摘自：人工智能不确定性国际会议，第550-559页（2018年）
[9] Ehlers，R.：分段线性前馈神经网络的形式验证。In:验证和分析自动化技术-第15届国际研讨会，2017年10月3日至6日，印度浦那，2017年，ATVA，会议记录，第269-286页（2017）·Zbl 1495.68131号
[10] Fischer，M.、Balunovic，M.，Drachsler-Cohen，D.、Gehr，T.、Zhang，C.、Vechev，M.T.：DL2：用逻辑训练和查询神经网络。摘自：国际机器学习会议，第1931-1941页（2019年）
[11] 高，S。；孔，S。；EM克拉克；Bonacina，MP，dReal:实域上非线性理论的SMT求解器，自动演绎-CADE-24208-214（2013），海德堡：斯普林格·Zbl 1381.68268号 ·doi:10.1007/978-3-642-38574-2_14
[12] Gehr，T.、Mirman，M.、Drachsler-Cohen，D.、Tsankov，P.、Chaudhuri，S.、Vechev，M.T.：AI2：具有抽象解释的神经网络的安全性和稳健性认证。摘自：IEEE安全与隐私研讨会，第3-18页（2018年）
[13] Ghorbal，K。；Goubault，E。；推杆，S。；Bouajjani，A。；Maler，O.，分区抽象域Taylor1+，计算机辅助验证，627-633（2009），海德堡：施普林格·文件编号：10.1007/978-3-642-02658-4_47
[14] Goodfellow，I.J.，Shlens，J.，Szegedy，C.：解释和利用对抗性例子。参加：国际学习代表大会（2015年）
[15] Gopinath，D.，Katz，G.，Pasareanu，C.S.，Barrett，C.W.：深度安全：评估神经网络稳健性的数据驱动方法。在：验证和分析自动化技术-第16届国际研讨会，ATVA 2018，美国加利福尼亚州洛杉矶，2018年10月7-10日，会议记录，第3-19页（2018）·Zbl 1517.68342号
[16] Han，S.，Mao，H.，Dally，W.J.：深度压缩：使用修剪、训练量化和哈夫曼编码压缩深度神经网络。参加：国际学习代表大会（2016年）
[17] Huang，X.，Kwiatkowska，M.，Wang，S.，Wu，M.：深度神经网络的安全验证。摘自：计算机辅助验证国际会议，第3-29页（2017年）·Zbl 1494.68166号
[18] Jia，R.，Raghunathan，A.，Göksel，K.，Liang，P.：证明对对抗性词语替换的稳健性。arXiv预印本arXiv:1909.00986（2019）
[19] 杜兰特·朱利安；MJ Kochenderfer；Owen，MP，飞机防撞系统的深度神经网络压缩，J.Guid。控制动态。，42, 3, 598-608 (2019) ·doi:10.2514/1.G003724
[20] Katz，G.、Barrett，C.W.、Dill，D.L.、Julian，K.、Kochenderfer，M.J.：Reluplex：用于验证深层神经网络的高效SMT解算器。摘自：计算机辅助验证国际会议，第97-117页（2017年）·Zbl 1494.68167号
[21] Katz，G.等人：深度神经网络验证和分析的Marabou框架。摘自：计算机辅助验证国际会议，第443-452页（2019年）
[22] Ko，C.Y.，Lyu，Z.，Weng，T.W.，Daniel，L.，Wong，N.，Lin，D.：Popqorn：量化递归神经网络的鲁棒性。arXiv预印本arXiv:1905.07387（2019）
[23] Kurakin，A.，Goodfellow，I.J.，Bengio，S.：物理世界中的对抗性例子。参加：国际学习代表大会（2017年）
[24] LeCun，Y.，Cortes，C.：MNIST手写数字数据库（2010年）。http://yann.lecun.com/exdb/mnist/
[25] Lyu，Z.、Ko，C.Y.、Kong，Z.，Wong，N.、Lin，D.、Daniel，L.：固定冠：加强神经网络稳健性证书。arXiv预印arXiv:1912.00574（2019）
[26] Ma，L.等：深度测量：深度学习系统的多粒度测试标准。参见：IEEE/ACM自动化软件工程国际会议，第120-131页。ACM（2018）
[27] Ma，S.，Liu，Y.，Lee，W.，Zhang，X.，Grama，A.：模式：通过状态差分分析和输入选择进行自动神经网络模型调试。摘自：2018年ACM欧洲软件工程会议联合会议记录和软件工程基础研讨会，ESEC/SIGSOFT FSE 2018，Lake Buena Vista，FL，USA，2018年11月4日至9日，第175-186页（2018）
[28] Madry，A.、Makelov，A.、Schmidt，L.、Tsipras，D.、Vladu，A.：面向对抗性攻击的深度学习模型。参加：学习代表国际会议（2018年）
[29] Mirman，M.，Gehr，T.，Vechev，M.T.：可证明鲁棒神经网络的不同抽象解释。在：国际机器学习会议，第3575-3583页（2018）
[30] Moore，R.E.，Kearfott，R.B.，Cloud，M.J.：区间分析导论，第110卷。SIAM（2009）·Zbl 1168.65002号
[31] Moosavi Dezbulli，S.，Fawzi，A.，Frossard，P.：DeepFool：一种欺骗深度神经网络的简单而准确的方法。摘自：IEEE计算机视觉和模式识别会议，第2574-2582页（2016）
[32] Nguyen，A.M.，Yosinski，J.，Clune，J.：深度神经网络很容易被愚弄：对无法识别的图像的高置信度预测。摘自：IEEE计算机视觉和模式识别会议，第427-436页（2015）
[33] Odena，A.，Goodfellow，I.：Tensorfuzz：使用覆盖引导模糊化调试神经网络。arXiv预印arXiv:1807.10875（2018）
[34] Paulsen，B.、Wang，J.和Wang，C.：Reludiff：深度神经网络的差异验证。arXiv预印arXiv:2001.03662（2020）
[35] Paulsen，B.，Wang，J.，Wang。arXiv预印arXiv:2009.09943（2020）
[36] Pei，K.，Cao，Y.，Yang，J.，Jana，S.：深度探索：深度学习系统的自动白盒测试。摘自：ACM操作系统原理研讨会，第1-18页（2017年）
[37] 价格，KV；斯托恩，RM；JA Lampinen，《差分进化：全局优化的实用方法》（2005），海德堡：斯普林格出版社·Zbl 1186.90004号 ·doi:10.1007/3-540-31306-0
[38] Raghunathan，A.，Steinhardt，J.，Liang，P.：对抗性例子的认证辩护。参加：学习代表国际会议（2018年）
[39] Ruan，W.，Huang，X.，Kwiatkowska，M.：具有可证明保证的深度神经网络的可达性分析。摘自：国际人工智能联合会议，第2651-2659页（2018年）
[40] Shi，Z.，Zhang，H.，Chang，K.W.，Huang，M.，Hsieh，C.J.：变压器的鲁棒性验证。arXiv预打印arXiv:2002.06622（2020）
[41] Singh，G.，Gehr，T.，Püschel，M.，Vechev，M.T.：证明神经网络的抽象领域。摘自：ACM SIGACT-SIGPLAN编程语言原理研讨会，第41:1-41:30页（2019年）
[42] Singh，G.，Gehr，T.，Püschel，M.，Vechev，M.T.：增强神经网络的稳健性认证。参加：国际学习代表大会（2019年）
[43] 斯特林，T。；Farrugia，N。；Gripon，V.，香草RNN和GRU模型之间的内在差异，COGNTIVE，2017，84（2017）
[44] Sun，Y.、Wu，M.、Ruan，W.、Huang，X.、Kwiatkowska，M.和Kroening，D.：深层神经网络的和谐测试。参见：第33届ACM/IEEE自动化软件工程国际会议论文集，ASE 2018，法国蒙彼利埃，2018年9月3-7日，第109-119页（2018）
[45] Szegedy，C.等人：神经网络的有趣特性。arXiv预印arXiv:1312.6199（2013）
[46] Tian，Y.，Pei，K.，Jana，S.，Ray，B.：深度测试：深度神经网络驱动的自动驾驶汽车的自动化测试。摘自：软件工程国际会议，第303-314页（2018年）
[47] Wang，S.、Pei，K.、Whitehouse，J.、Yang，J.和Jana，S.：神经网络的有效形式安全分析。摘自：神经信息处理系统年度会议，第6369-6379页（2018年）
[48] Wang，S.，Pei，K.，Whitehouse，J.，Yang，J.，Jana，S.：使用符号区间的神经网络的形式安全分析。收录于：USENIX安全研讨会，第1599-1614页（2018年）
[49] Weng，T.等人：快速计算relu网络的认证鲁棒性。摘自：机器学习国际会议，第5273-5282页（2018年）
[50] Wicker，M.、Huang，X.、Kwiatkowska，M.：深度神经网络的特征引导黑盒安全测试。摘自：国际系统构建和分析工具和算法会议，第408-426页（2018年）
[51] Wong，E.，Kolter，J.Z.：通过凸外部对抗性多胞体对抗性示例的可证明防御。摘自：机器学习国际会议，第5283-5292页（2018年）
[52] Xie，X.等人：Deephunter：深度神经网络的覆盖引导模糊测试框架。摘自：第28届ACM SIGSOFT国际软件测试与分析研讨会论文集，第146-157页（2019年）
[53] Xie，X.，Ma，L.，Wang，H.，Li，Y.，Liu，Y.、Li，X.：差异：检测深层神经网络的分歧。摘自：《第28届国际人工智能联合会议记录》，第5772-5778页。AAAI出版社（2019）
[54] Xu，W.，Qi，Y.，Evans，D.：自动回避分类器：PDF恶意软件分类器的案例研究。In:网络与分布式系统安全研讨会（2016）
[55] Zhang，H.，Weng，T.W.，Chen，P.Y.，Hsieh，C.J.，Daniel，L.：具有通用激活函数的高效神经网络鲁棒性证明。摘自：神经信息处理系统年度会议，第4939-4948页（2018年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。