×
爱德华多·马尼诺;伊奥里·贝萨;卢卡斯·科迪罗（Lucas C.Cordeiro）。

面向具有局部精确重建的全局神经网络抽象。 （英语） Zbl 07755779号

神经网络。 165, 344-357 (2023).
摘要：神经网络是一类强大的非线性函数。然而，它们的黑匣子性质使得很难解释它们的行为并证明它们的安全性。抽象技术通过将神经网络转换为更简单、过近似的函数来解决这一挑战。不幸的是，现有的抽象技术很松散，这限制了它们对输入域的局部小区域的适用性。在本文中，我们提出了带中心精确重构的全局区间神经网络抽象（GINNACER）。我们的新抽象技术在整个输入域上产生声音过近似界，同时保证对任何给定的局部输入进行精确重建。我们的实验表明，GINNACER比最先进的全局抽象技术要紧几个数量级，同时与本地抽象技术竞争。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

神经网络;抽象解释;全局抽象

软件：

二进制网络;马拉布;ReachNN公司;[希神]尼纳姆;Reluplex公司
PDF格式BibTeX公司 XML格式引用
\textit{E.Manino}等人，神经网络。165344--357（2023年；Zbl 07755779）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] 阿达迪，A。；Berrada，M.，《窥视黑匣子：可解释人工智能（XAI）的调查》，IEEE Access，652138-52160（2018）
[2] 亚当斯。；拉希贾尼扬，M。；Laurenti，L.，随机神经网络动态模型的形式化控制综合，IEEE控制系统快报，62858-2863（2022）
[3] Bak，S.（2020年）。用于提高神经网络验证可扩展性的执行引导过逼近（EGO）。在神经网络验证国际研讨会上。
[4] Bak，S.（2021）。nnenum：使用优化的抽象细化验证ReLU神经网络。在美国国家航空航天局的正式方法研讨会上（第19-36页）。
[5] 巴列斯特里罗（Balestriero，R.）。；Baraniuk，R.G.，Mad-max:深入学习的仿射样条洞察，IEEE学报，109，5，704-727（2021）
[6] 班伯里，C.、雷迪，V.J.、托雷利，P.、杰弗里斯，N.、基拉利，C.、霍勒曼，J.等人（2021年）。MLPerf微型基准测试。在第35届神经信息处理系统数据集和基准跟踪会议上。
[7] Carroll，S.M.和Dickinson，B.W.（1989）。使用Radon变换构建神经网络。1989年国际神经网络联合会议，第1卷（第607-611页）。
[8] 库索特，P。；Cousot，R.，抽象解释框架，《逻辑与计算杂志》，2，4，511-547（1992）·Zbl 0783.68073号
[9] Dhillon，G.S.、Azizzadenesheli，K.、Bernstein，J.D.、Kossaifi，J.、Khanna，A.、Lipton，Z.C.等人（2018年）。稳健对抗防御的随机激活剪枝。在学习代表国际会议上。
[10] Elboher，Y.Y。；J.Gottschlich。；Katz，G.，神经网络验证的基于抽象的框架，（计算机辅助验证（2020）），43-65·Zbl 1478.68154号
[11] Fan，J.、Huang，C.、Li，W.、Chen，X.和Zhu，Q.（2019年）。面向神经网络控制系统的验证感知知识提取：特邀论文。IEEE/ACM计算机辅助设计国际会议（第1-8页）。
[12] Gehr，T.等人。；米尔曼，M。；Drachsler-Cohen，D。；Tsankov，P。；南部乔杜里。；Vechev，M.，AI^2：具有抽象解释的神经网络的安全性和健壮性认证，（安全与隐私研讨会（2018年），IEEE），3-18
[13] Han，S.、Mao，H.和Dally，W.J.（2016）。深度压缩：使用剪枝、训练量化和哈夫曼编码压缩深度神经网络。在学习代表国际会议上。
[14] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络，2，5，359-366（1989）·Zbl 1383.92015年
[15] 黄，C。；范，J。；陈，X。；李伟（Li，W.）。；Zhu，Q.，POLAR：用于验证神经网络控制系统的多项式算法框架，（Bouajjani，A.；Holík，L.；Wu，Z.，《验证和分析自动化技术》（2022），施普林格国际出版公司：施普林格国际出版公司Cham），414-430
[16] 黄，C。；范，J。；李伟（Li，W.）。；陈，X。；Zhu，Q.，ReachNN:神经网络控制系统的可达性分析，ACM嵌入式计算系统事务，18，5，1-22（2019）
[17] 胡巴拉，I。；Courbariaux，M。；Soudry，D。；El-Yaniv，R。；Bengio，Y.，量化神经网络：用低精度权重和激活训练神经网络，机器学习研究杂志，18，1，6869-6898（2017）·Zbl 1468.68183号
[18] 伊万诺夫·R。；木匠，T。；韦默，J。；阿鲁尔（Alur，R.）。；帕帕斯，G。；Lee，I.，用神经网络控制器验证自治系统的安全性，ACM嵌入式计算系统事务，20，1，1-26（2021）
[19] Jaulin，L。；Kieffer，M。；Didrit，O。；Walter，E.，应用区间分析（2001），Springer·Zbl 1023.65037号
[20] Jordáo，A.和Pedrini，H.（2021）。关于剪枝对对抗鲁棒性的影响。IEEE/CVF计算机视觉研讨会国际会议论文集（第1-11页）。
[21] Julian，K.D.、Lopez，J.、Brush，J.S.、Owen，M.P.和Kochenderfer，M.J.（2016）。飞机防撞系统的政策压缩。IEEE/AIAA第35届数字航空电子系统会议（第1-10页）。
[22] Katz，G。；巴雷特，C。；Dill，D.L。；朱利安，K。；Kochenderfer，M.J.，Reluplex:验证深层神经网络的高效SMT求解器，（计算机辅助验证（2017）），97-117·兹比尔1494.68167
[23] Katz，G。；黄，D.A。；伊贝林，D。；朱利安，K。；拉扎勒斯，C。；Lim，R.，深度神经网络验证和分析的Marabou框架，（计算机辅助验证（2019）），443-452
[24] Kochdumper，N。；Althoff，M.，《稀疏多项式分区：可达性分析的新集合表示法》，IEEE自动控制学报，66，9，4043-4058（2021）·Zbl 1471.93026号
[25] 库马尔，A。；塞拉，T。；Ramalingam，S.，深度神经网络的等效和近似变换（2019）
[26] Lecun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，IEEE会议记录，86，11，2278-2324（1998）
[27] Lee，J.-W。；Kang，H。；Lee，Y。；Choi，W。；Eom，J。；Deryabin，M.，深度神经网络的全同态加密保隐私机器学习，IEEE Access，1030039-30054（2022）
[28] Liang，T。；格罗斯纳，J。；Wang，L。；Shi，S。；Zhang，X.，深度神经网络加速的剪枝和量化：一项调查，神经计算，46137-403（2021）
[29] Lin，J.、Gan，C.和Han，S.（2019年）。防御性量化：当效率满足稳健性时。在学习代表国际会议上。
[30] Lin，H。；Jegelka，S.，ResNet具有单神经元隐藏层，是一种通用近似方法，（神经信息处理系统进展，第31卷，31（2018），Curran Associates，Inc.），6172-6181
[31] 刘，C。；Arnon，T。；拉扎勒斯，C。；强，C。；巴雷特，C。；Kochenderfer，M.J.，验证深层神经网络的算法，优化的基础和趋势，4，3-4，244-404（2021）
[32] Makino，K。；Berz，M.，Taylor模型和其他经验证的函数包含方法，《国际纯粹和应用数学杂志》，4，4，379-456（2003）·Zbl 1022.65051号
[33] 马尼诺，E。；贝萨，I。；Cordeiro，L.，《利用局部精确重建实现全球神经网络抽象：数据、网络和代码》（2022）
[34] Mirman，M.、Gehr，T.和Vechev，M.（2018年）。可证明鲁棒神经网络的可微抽象解释。第35届机器学习国际会议论文集（第3578-3586页）。
[35] 缪勒，M.N。；布里克斯，C。；贝克·S。；刘，C。；Johnson，T.T.，第三届神经网络国际验证竞赛（VNN-COMP 2022）：总结和结果（2022）
[36] 缪勒，M.N。；Makarchuk，G。；辛格，G。；Püschel，M。；Vechev，M.，PRIMA：通过可扩展凸壳近似进行一般和精确的神经网络认证，Proc。ACM计划。Lang.，6岁，POPL（2022年）
[37] 牛顿，M。；Papachristodoulou，A.，使用平方和的非线性神经反馈回路的稳定性（2022）
[38] Obla，S。；龚，X。；阿鲁菲，A。；胡，P。；Takabi，D.，深度神经网络同态评估的有效激活函数，IEEE Access，8，153098-153112（2020）
[39] 保尔森，B。；Wang，C.，LinSyn：合成任意神经网络激活函数的紧线性界（2022）
[40] Petrosyan，A.、Dereventsov，A.和Webster，C.G.（2020年）。ReLU激活函数的神经网络积分表示。第一届数学和科学机器学习会议论文集（第128-143页）。
[41] Polino，A.、Pascanu，R.和Alistarh，D.（2018年）。通过蒸馏和量化进行模型压缩。在学习代表国际会议上。
[42] Prabhakar，P.和Afzal，Z.R.（2019年）。基于抽象的神经网络输出范围分析。第33届神经信息处理系统国际会议论文集。
[43] Sadeghzadeh，A。；Garoche，P.-L.，带神经网络控制器的闭环非线性系统可达集分析，（美国控制会议（2022），IEEE），2289-2294
[44] Salman，H.、Yang，G.、Zhang，H.，Hsieh，C.-J.和Zhang等人（2019年）。用于神经网络紧鲁棒性验证的凸松弛障碍。第33届神经信息处理系统国际会议论文集。
[45] 塞拉，T。；库马尔，A。；Ramalingam，S.，深度神经网络的无损压缩，（约束编程、人工智能和运筹学的集成（2020）），417-430·Zbl 07636034号
[46] 塞拉，T。；Yu，X。；库马尔，A。；Ramalingam，S.，通过ReLU稳定性放大精确神经网络压缩，（Ranzato，M.；Beygelzimer，A.；Dauphin，Y.；Liang，P.；Vaughan，J.W.，《神经信息处理系统的进展》，第34卷（2021年），Curran Associates，Inc.），27081-27093
[47] 辛格，G。；Ganvir，R。；Püschel，M。；Vechev，M.，《超越神经网络认证的单神经元凸屏障》，（神经信息处理系统进展，第32卷（2019年））
[48] 辛格，G。；Gehr，T。；米尔曼，M。；Püschel，M。；Vechev，M.，快速有效的稳健性认证，（Bengio，S.；Wallach，H.；Larochelle，H.；Grauman，K.；Cesa Bianchi，N.；Garnett，R.，神经信息处理系统进展，第31卷（2018），Curran Associates，Inc.），网址https://proceedings.neurips.cc/paper/2018/file/f2f446980d8e971ef3da97af089481c3-paper.pdf
[49] 辛格，G。；Gehr，T。；Püschel，M。；Vechev，M.，神经网络认证的抽象领域，Proc。ACM计划。Lang.，3，POPL（2019年）
[50] 索诺达，S。；Murata，N.，具有无界激活函数的神经网络是通用逼近器，应用和计算谐波分析，43，2，233-268（2017）·Zbl 1420.68177号
[51] Sourek，G.、Zelezny，F.和Kuzelka，O.（2021）。通过提升对结构化卷积模型进行无损压缩。在学习代表国际会议上。
[52] Telgarsky，M.，深度前馈网络的表示优势（2015）
[53] Tran，H.-D。；Manzanas Lopez，D。；穆索，P。；杨，X。；Nguyen，L.V。；Xiang，W.，深度神经网络的基于星的可达性分析，（ter Beek，M.H.；McIver，A.；Oliveira，J.N.，《形式方法——未来30年》（2019年），Springer International Publishing：Springer国际出版公司Cham），670-686
[54] Wang，Z。；Albarghouthi，A。；普拉克里亚，G。；Jha，S.，神经网络的区间通用逼近，ACM程序设计语言会议论文集，6，POPL（2022）
[55] Wang，L。；Yoon，K.-J.，《视觉智能的知识蒸馏和学生教师学习：回顾和新展望》，IEEE模式分析和机器智能汇刊，44，6，3048-3068（2022）
[56] 翁·L、张·H、陈·H、宋·Z、谢·C·J、丹尼尔·L等（2018）。ReLU网络认证鲁棒性的快速计算。第35届机器学习国际会议论文集（第5276-5285页）。
[57] Xu，K。；施，Z。；张，H。；Wang，Y。；Chang，K.-W。；Huang，M.，《可扩展认证鲁棒性及其以外的自动扰动分析》（Larochelle，H.；Ranzato，M.；Hadsell，R.；Balcan，M.）；Lin，H..，《神经信息处理系统的进展》，第33卷（2020年），Curran Associates，Inc.），1129-1141，URLhttps://proceedings.neurips.cc/paper/2020/file/0cbc5671ae26f67871cb914d81ef8fc1-paper.pdf
[58] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络，94，103-114（2017）·Zbl 1429.68260号
[59] Ye，S.、Xu，K.、Liu，S.，Cheng，H.、Lambrechts，J.-H.、Zhang，H.等人（2019年）。对抗性稳健性与模型压缩，或两者兼而有之？。《IEEE/CVF计算机视觉国际会议论文集》（第111-120页）。
[60] Zhang，H.，Weng，T.-W.，Chen，P.-Y.，Hsieh，C.-J.，&Daniel，L.（2018）。具有通用激活函数的高效神经网络鲁棒性证明。第32届神经信息处理系统国际会议论文集（第4944-4953页）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。