崔春峰;张凯奇;塔尔加特·多尔巴耶夫;朱莉娅·古萨克;伊凡·奥塞莱德茨;张，郑 神经网络的主动子空间：结构分析和通用攻击。 （英语） Zbl 1486.90152号 SIAM J.数学。数据科学。 2，第4期，1096-1122（2020）。 摘要：主动子空间是一种广泛应用于不确定性量化领域的模型约简方法。在本文中，我们建议使用主动子空间来分析深度神经网络的内部结构和脆弱性。首先，我们使用活动子空间来测量每个中间层的“活动神经元”的数量，这表明神经元的数量可以从数千个减少到几十个。这促使我们改变网络结构，开发一个新的更紧凑的网络，称为ASNet，它的模型参数少得多。其次，我们提出使用主动子空间来分析神经网络的脆弱性，方法是找到一个附加的通用攻击向量，该攻击向量可能会以很高的概率对数据集进行错误分类。我们在CIFAR-10上的实验表明，ASNet可以减少23.98倍的参数和7.30倍的触发器。与我们的数值实验中的现有方法相比，通用主动子空间攻击向量的攻击率可以提高20%左右。本文的PyTorch代码可在线获取。 引用于4文件 MSC公司： 90C26型 非凸规划，全局优化 15甲18 特征值、奇异值和特征向量 62G35型 非参数稳健性 关键词：活动子空间;深度神经网络;网络缩减;普遍对抗摄动 软件：阿波罗3;GXNOR网络;FitNets公司;AMC公司;深度愚人;二进制网络;图像网络;AlexNet公司;亚当;ProxylessNAS公司 PDF格式BibTeX公司 XML格式引用 \textit{C.Cui}等人，SIAM J.数学。数据科学。2，第4号，1096--1122（2020；Zbl 1486.90152） 全文： 内政部 arXiv公司 参考文献： [1] S.Abdoli、L.G.Hafemann、J.Rony、I.B.Ayed、P.Cardinal和A.L.Koerich，《通用对抗音频干扰》，arXiv预印本，arXiv:1908.031732019年。 [2] A.Aghasi、A.Abdi、N.Nguyen和J.Romberg，《Net-Trim:具有性能保证的深层神经网络的凸修剪》，《神经信息处理系统会议记录》，2017年，第3177-3186页。 [3] L.Armijo，具有Lipschitz连续一阶偏导数的函数的最小化，《太平洋数学杂志》，16（1966），第1-3页·Zbl 0202.46105号 [4] S.Baluja和I.Fischer，《对抗转换网络：学习生成对抗示例》，arXiv预印本，arXiv:1703.093872017年。 [5] M.Behjati、S.-M Moosavi-Dezfuli、M.S.Baghshah和P.Frossard，文本分类器的通用对抗性攻击，《IEEE声学、语音和信号处理国际会议论文集》，IEEE，2019年，第7345-7349页。 [6] E.G.Birgin，J.M.Martiínez，M.Raydan，凸集上的非单调谱投影梯度方法，SIAM J.Optim。，10（2000），第1196-1211页·Zbl 1047.90077号 [7] H.Cai、L.Zhu和S.Han，《ProxylessNAS：目标任务和硬件的直接神经架构搜索》，arXiv预印本，arXiv:1812.003322018年。 [8] N.Carlini和D.Wagner，《朝向评估神经网络的稳健性》，载于2017年IEEE安全与隐私研讨会（SP）论文集，IEEE，2017年，第39-57页。 [9] P.G.Constantine，《主动子空间：参数研究中降维的新思路》，SIAM，宾夕法尼亚州费城，2015年·Zbl 1431.65001号 [10] P.G.Constantine、E.Dow和Q.Wang，《理论和实践中的主动子空间方法：克里金曲面的应用》，SIAM J.Sci。计算。，36（2014），第A1500-A1524页·Zbl 1464.62049号 [11] P.G.Constantine、M.Emory、J.Larsson和G.Iacarino，利用有源子空间量化HyShot II超燃冲压发动机数值模拟中的不确定性，J.Compute。物理。，302（2015），第1-20页·Zbl 1349.76153号 [12] M.Courbariaux、I.Hubara、D.Soudry、R.El-Yaniv和Y.Bengio，《二值化神经网络：训练权重和激活约束为+1或-1的深度神经网络》，arXiv预印本，arXiv:1602.02830，2016年·Zbl 1468.68183号 [13] C.Cui和Z.Zhang，非高斯相关过程变量的随机配置：理论、算法和应用，IEEE Trans。《组件包装制造技术》，9（2019），第1362-1375页。 [14] C.Cui和Z.Zhang，具有非高斯相关工艺变化的电子和光子IC的高维不确定性量化，IEEE Trans。计算机辅助设计集成。电路系统。，39（2020），第1649-1661页。 [15] L.Deng，P.Jiao，J.Pei，Z.Wu，G.Li，GXNOR-Net：在统一离散化框架下，使用三元权重和无全精度记忆的激活训练深度神经网络，《神经网络》，100（2018），第49-58页·兹比尔1434.68504 [16] G.K.Dziugaite、Z.Ghahramani和D.M.Roy，《JPG压缩对对手图像影响的研究》，arXiv预印本，arXiv:1608.008532016年。 [17] J.Frankle和M.Carbin，《彩票假设：发现稀疏、可训练的神经网络》，arXiv预印本，arXiv:1803.036352018年。 [18] T.Garipov、D.Podoprikhin、A.Novikov和D.Vetrov，《终极张力化：压缩卷积层和类FC层》，arXiv预印本，arXiv:1611.03214，2016年。 [19] R.Ge、R.Wang和H.Zhao，轻度参数化神经网络可以有效记忆训练数据，arXiv预印本，arXiv:1909.118372019。 [20] R.G.Ghanem和P.D.Spanos，《随机有限元方法：响应统计》，摘自《随机有限元素：谱方法》，Springer，Cham，1991年，第101-119页·Zbl 0722.73080号 [21] M.Ghashami、E.Liberty、J.M.Phillips和D.P.Woodruff，《频繁方向：简单确定性矩阵绘制》，SIAM J.Compute。，45（2016），第1762-1792页·Zbl 1348.65075号 [22] I.J.Goodfellow、J.Shlens和C.Szegedy，《解释和利用对抗性示例》，arXiv预印本，arXiv:1412.65722014年。 [23] A.Graves、S.Fernaández、F.Gomez和J.Schmidhuber，《连接主义时间分类：用递归神经网络标记未分段序列数据》，载《第23届机器学习国际会议论文集》，美国计算机学会，2006年，第369-376页。 [24] N.Halko、P.-G.Martinsson和J.A.Tropp，《发现随机结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53（2011），第217-288页·Zbl 1269.65043号 [25] S.Han、H.Mao和W.J.Dally，《深度压缩：用剪枝、训练量化和哈夫曼编码压缩深度神经网络》，arXiv预印本，arXiv:1510.00149，2015年。 [26] C.Hawkins和Z.Zhang，带自动秩选择的贝叶斯张量神经网络，arXiv预印本，arXiv:1905.104782019。 [27] Y.He，J.Lin，Z.Liu，H.Wang，L.-J.Li，and S.Han，AMC:移动设备上模型压缩和加速的AutoML，《欧洲计算机视觉会议论文集》，2018年，第784-800页。 [28] G.Hinton、O.Vinyals和J.Dean，《在神经网络中提取知识》，arXiv预印本，arXiv:1503.025312015年。 [29] W.Hoeffing，有界随机变量和的概率不等式，《瓦西里·霍夫丁文集》，Springer，Cham，1994年，第409-426页。 [30] D.W.Hosmer，Jr.、S.Lemeshow和R.X.Sturdivant，《应用逻辑回归》，John Wiley&Sons，纽约，2013年·Zbl 1276.62050号 [31] I.Jolliffe，主成分分析，收录于《国际统计科学百科全书》，施普林格，查姆，2011年，第1094-1096页。 [32] C.Kanbak、S.-M Moosavi-Dezfuli和P.Frossard，深度网络的几何稳健性：分析和改进，《IEEE计算机视觉和模式识别会议论文集》，2018年，第4441-4449页。 [33] V.Khrulkov和I.Oseledets，奇异向量和普遍对抗扰动的艺术，《IEEE计算机视觉和模式识别会议论文集》，2018年，第8562-8570页。 [34] D.P.Kingma和J.Ba，Adam：随机优化方法，arXiv预印本，arXiv:1412.6980，2014年。 [35] A.Krizhevsky、I.Sutskever和G.E.Hinton，深度卷积神经网络的图像网络分类，《神经信息处理系统会议论文集》，2012年，第1097-1105页。 [36] V.Lebedev、Y.Ganin、M.Rakhuba、I.Oseledets和V.Lempitsky，使用微调CP-分解加速卷积神经网络，arXiv预印本，arXiv:1412.65532014。 [37] D.R.Lide，《数学函数手册》，《计量、标准和技术卓越世纪》，CRC出版社，佛罗里达州博卡拉顿，2018年，第135-139页。 [38] L.Liu，L.Deng，X.Hu，M.Zhu，G.Li，Y.Ding，Y.Xie，高效深度学习的动态稀疏图，arXiv预印本，arXiv:1810.008592018。 [39] Z.Liu、M.Sun、T.Zhou、G.Huang和T.Darrell，重新思考网络修剪的价值，arXiv预印本，arXiv:1810.052702018。 [40] S.-M Moosavi-Dezfuli、A.Fawzi、O.Fawzi.和P.Frossard，《通用对抗扰动》，《IEEE计算机视觉和模式识别会议论文集》，2017年，第1765-1773页。 [41] S.-M Moosavi-Dezfouli、A.Fawzi和P.Frossard，《深度愚弄：愚弄深度神经网络的简单而准确的方法》，《IEEE计算机视觉和模式识别会议论文集》，2016年，第2574-2582页。 [42] P.Neekhara、S.Hussain、P.Pandey、S.Dubnov、J.McAuley和F.Koushanfar，语音识别系统的通用对抗扰动，arXiv预印本，arXiv:1905.038282019。 [43] A.Novikov、D.Podoprikhin、A.Osokin和D.P.Vetrov，《神经信息处理系统会议论文集》，2015年，第442-450页。 [44] S.Oymak和M.Soltanolkotabi，走向适度的过度参数化：训练浅层神经网络的全局收敛保证，IEEE J.Sel。区域通知。Theory，1（2020），第84-105页。 [45] N.Papernot、P.McDaniel、S.Jha、M.Fredrikson、Z.B.Celik和A.Swami，《对抗环境下深度学习的局限性》，摘自2016年IEEE欧洲安全与隐私研讨会（EuroS&P）会议记录，IEEE，2016年，第372-387页。 [46] A.Romero、N.Ballas、S.E.Kahou、A.Chassang、C.Gatta和Y.Bengio，FitNets:Hints for Thin Deep Nets，arXiv预印本，arXiv:1412.65502014。 [47] H.L.Royden，《真实分析》，麦克米伦出版社，纽约，2010年·Zbl 1191.26002号 [48] T.M.Russi，《实验数据和复杂系统模型的不确定性量化》，博士论文，加州大学伯克利分校，加利福尼亚州伯克利，2010年。 [49] T.N.Sainath、B.Kingsbury、V.Sindhwani、E.Arisoy和B.Ramabhadran，《高维输出目标深层神经网络训练的低秩矩阵分解》，《IEEE声学、语音和信号处理国际会议论文集》，2013年，第6655-6659页。 [50] S.Scardapane、D.Comminiello、A.Hussain和A.Uncini，深度神经网络的群稀疏正则化，神经计算，241（2017），第81-89页。 [51] M.Schmidt、E.Berg、M.Friedlander和K.Murphy，《用简单约束优化代价高昂的函数：有限内存投影准Newton算法》，《国际人工智能与统计会议论文集》，2009年，第456-463页。 [52] A.C.塞族人和E.Poll，《对抗性案例——现象的完整表征》，arXiv预印本，arXiv:1810.01185，2018年。 [53] S.Shalev-Shwartz和T.Zhang，用于正则化损失最小化的加速近端随机双坐标上升，《机器学习国际会议论文集》，2014年，第64-72页·Zbl 1342.90103号 [54] C.Szegedy、W.Zaremba、I.Sutskever、J.Bruna、D.Erhan、I.Goodfellow和R.Fergus，《神经网络的有趣特性》，arXiv预印本，arXiv:1312.6199，（2013）。 [55] D.Xiu和G.E.Karniadakis，通过广义多项式混沌建模稳态扩散问题中的不确定性，计算。方法应用。机械。工程，191（2002），第4927-4948页·Zbl 1016.65001号 [56] D.Xiu和G.E.Karniadakis，随机微分方程的Wiener-Askey多项式混沌，SIAM J.Sci。计算。，24（2002），第619-644页·Zbl 1014.65004号 [57] S.Ye、X.Feng、T.Zhang、X.Ma、S.Lin、Z.Li、K.Xu、W.Wen、S.Liu、J.Tang、M.Fardad、X.Lin、Y.Liu和Y.Wang，渐进式DNN压缩：使用ADMM实现超高重量修剪和量化率的关键，arXiv预印本，arXiv:1903.097692019。 [58] T.Young、D.Hazarika、S.Poria和E.Cambria，基于深度学习的自然语言处理的最新趋势，IEEE计算。英特尔。Mag.，13（2018），第55-75页。 [59] V.P.Zankin、G.V.Ryzhakov和I.Oseledets，基于梯度下降的最小二乘多项式逼近D-最优设计，arXiv预印本，arXiv:1806.066312018。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。