×
米尔科·贾科布；托马斯·亨辛格（Thomas A.Henzinger）。；马蒂亚斯·莱切纳

量化你的神经网络需要多少比特？ （英语） 兹比尔1483.68192

Biere，Armin（编辑）等人，《系统构建和分析的工具和算法》。第26届国际会议，TACAS 2020，作为欧洲软件理论和实践联席会议的一部分，ETAPS 2020，2020年4月25日至30日，爱尔兰都柏林。诉讼程序。第二部分。查姆：斯普林格。莱克特。注释计算。科学。12079, 79-97 (2020).
概述：量化将神经网络转换为低比特定点计算，可由高效的集成硬件执行，是在实时嵌入式设备上部署神经网络的标准做法。然而，与实数网络一样，量化网络也无法避免对手攻击造成的恶意错误分类。我们研究了量化如何影响网络对对抗性攻击的鲁棒性，这是一个形式验证问题。我们证明，无论是鲁棒性还是非鲁棒性，都不会随着表示比特数的改变而单调变化，也不会通过实数网络的量化而保持不变。为此，我们引入了一种量化神经网络的验证方法，该方法使用位向量上的SMT求解，解释了它们的精确性，比特-精确语义。我们构建了一个工具，并分析了量化对MNIST数据集分类器的影响。我们证明，与我们的方法相比，现有的实数网络分析方法在确定鲁棒性和检测攻击时，往往会得出关于其量化的错误结论，而现有的量化网络方法往往会漏掉攻击。此外，我们将我们的方法应用到了稳健性之外，展示了量化中的位数如何扩大学生成绩预测器的性别偏见。
关于整个系列，请参见[Zbl 1471.68010号].

引用于4文件

MSC公司：

60年第68季度 规范和验证（程序逻辑、模型检查等）
62H30型 分类和区分；聚类分析（统计方面）
2006年第68季度 作为计算模型的网络和电路；电路复杂性
PDF格式BibTeX公司 XML格式引用
\textit{M.Giacobbe}等人，Lect。注释计算。科学。12079，79-97（2020；Zbl 1483.68192）
全文： 内政部

参考文献：

[1] Zhao，Y.，Shumailov，I.，Mullins，R.，Anderson，R.：压缩或不压缩：理解对抗性攻击和神经网络压缩之间的相互作用
[2] Xiang，W.，Tran，H.，Johnson，T.T.：多层神经网络的输出可达集估计和验证。IEEE传输。神经网络。学习系统。29(11), 5777-5783 (2018)
[3] Tsipras，D.，Santurkar，S.，Engstrom，L.，Turner，A.，Madry，A.：稳健性可能与准确性不一致。参加：国际学习代表大会（2019年）
[4] Tjeng，V.，Xiao，K.Y.，Tedrake，R.：使用混合整数规划评估神经网络的鲁棒性（2018）
[5] Szegedy，C.，Zaremba，W.，Sutskever，I.，Bruna，J.，Erhan，D.，Goodfellow，I.J.，Fergus，R.：神经网络的有趣特性。CoRR abs/1312.6199（2013）
[6] Singh，G.，Gehr，T.，Püschel，M.，Vechev，M.T.：证明神经网络的抽象领域。输入：POPL。ACM（2019年）
[7] Schönherr，L.、Kohls，K.、Zeiler，S.、Holz，T.、Kolossa，D.：通过心理声学隐藏对自动语音识别系统的对抗性攻击。In:接受出版，NDSS（2019）
[8] Pulina，L.，Tacchella，A.：挑战SMT求解器来验证神经网络。AI通讯。25(2), 117-135 (2012) ·Zbl 1248.68462号
[9] Pulina，L.，Tacchella，A.：用于验证人工神经网络的抽象-细化方法。输入：CAV。计算机科学课堂讲稿，第6174卷，第243-257页。施普林格（2010）
[10] Niemetz，A.，Preiner，M.，Biere，A.：Boolector 2.0。JSAT 9，53-58（2014）
[11] Narodytska，N.，Kasiviswanathan，S.P.，Ryzhyk，L.，Sagiv，M.，Walsh，T.：验证二值化深度神经网络的属性。输入：AAAI。第6615-6624页。AAAI出版社（2018）
[12] Nair，V.，Hinton，G.E.：整流线性单元改善了受限的boltzmann机器。输入：ICML。第807-814页。《Omnipress》（2010）
[13] Moosavi-Dezfouli，S.、Fawzi，A.、Frossard，P.：深度愚弄：愚弄深度神经网络的简单而准确的方法。In:CVPR。第2574-2582页。IEEE计算机学会（2016）
[14] Krizhevsky，A.，Hinton，G.：cifar-10上的卷积深信念网络。未出版手稿40（7）（2010）
[15] Katz，G.、Barrett，C.W.、Dill，D.L.、Julian，K.、Kochenderfer，M.J.：Reluplex：用于验证深层神经网络的高效SMT解算器。输入：CAV（1）。计算机科学课堂讲稿，第10426卷，第97-117页。施普林格（2017）·Zbl 1494.68167号
[16] Jacob，B.、Kligys，S.、Chen，B.、Zhu，M.、Tang，M.，Howard，A.G.、Adam，H.、Kalenichenko，D.：神经网络的量化和训练，用于有效的整数算术推理。In:CVPR。第2704-2713页。IEEE计算机学会（2018）
[17] Huang，X.，Kwiatkowska，M.，Wang，S.，Wu，M.：深度神经网络的安全验证。输入：CAV（1）。计算机科学课堂讲稿，第10426卷，第3-29页。施普林格（2017）·Zbl 1494.68166号
[18] Hadarean，L.、Hyvarinen，A.、Niemetz，A.、Reger，G.：2019年Smt-comp。https://smt-comp.github.io/2019/results (2019)
[19] Gehr，T.、Mirman，M.、Drachsler-Cohen，D.、Tsankov，P.、Chaudhuri，S.、Vechev，M.T.：AI2：具有抽象解释的神经网络的安全性和稳健性认证。摘自：IEEE安全与隐私研讨会。第3-18页。IEEE（2018）
[20] Evtimov，I.、Eykholt，K.、Fernandes，E.、Kohno，T.、Li，B.、Prakash，A.、Rahmati，A.、Song，D.：对深度学习模型的稳健物理世界攻击。arXiv预印arXiv:1707.08945 1（2017）
[21] Ehlers，R.：分段线性前馈神经网络的形式验证。输入：ATVA。计算机科学课堂讲稿，第10482卷，第269-286页。施普林格（2017）·Zbl 1495.68131号
[22] Dutta，S.，Jha，S.，Sankaranarayanan，S.，Tiwari，A.：深度前馈神经网络的输出范围分析。In:NFM。计算机科学课堂讲稿，第10811卷，第121-138页。施普林格（2018）
[23] Dutertre，B.：Yices 2.2。参加：计算机辅助验证国际会议。第737-744页。斯普林格（2014）。
[24] De Moura，L.，Björner，N.：Z3：一个高效的smt求解器。在：关于系统构建和分析的工具和算法的国际会议。第337-340页。施普林格（2008）
[25] Bunel，R.R.，Turkaslan，I.，Torr，P.H.S.，Kohli，P.，Mudigonda，P.K.：分段线性神经网络验证的统一观点。In:NeurIPS。第4795-4804页（2018年）
[26] Barrett，C.、Conway，C.L.、Deters，M.、Hadarean，L.、Jovanović，D.、King，T.、Reynolds，A.、Tinelli，C.：Cvc4。参加：计算机辅助验证国际会议。第171-177页。施普林格（2011）
[27] Barocas，S.、Hardt，M.、Narayanan，A.：机器学习中的公平。In:NIPS程序（2017）
[28] 学生在考试中的表现。https://www.kaggle.com/spscientist/students-performance-in-exams网站
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。