×

用于二值分类的深度神经网络的噪声敏感性和稳定性。 (英语) Zbl 1524.68318号

小结:第一步是理解深度神经网络(DNN)分类器经常观察到的非鲁棒性现象。这是从布尔函数的角度进行的,方法是询问由常见DNN模型表示的布尔函数的某些序列是噪声敏感的还是噪声稳定的,布尔函数文献中定义了这些概念。由于DNN模型中的自然随机性,这些概念被扩展到退火和淬火版本。在这里,我们整理了这些定义之间的关系,并研究了两种标准DNN体系结构(完全连通模型和卷积模型)在使用高斯权重初始化时的特性。

MSC公司:

68T07型 人工神经网络与深度学习
06E30年 布尔函数
60二氧化碳 组合概率
60K35型 相互作用的随机过程;统计力学类型模型;渗流理论
62H30型 分类和歧视;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ahlberg,D.,《部分观察到的布尔序列和噪声敏感性》,《组合概率》。计算。,23, 3, 317-330 (2014) ·兹比尔1326.60012
[2] Ahlberg,D。;Griffiths,S。;莫里斯,R。;Tassion,V.,《淬火voronoi渗流》,高等数学。,286889-911(2016),网址https://www.sciencedirect.com/science/article/pii/S0001870815003436 ·Zbl 1335.60178号
[3] Ahlberg,D。;de la Riva,D。;Griffiths,S.,《关于淬火voronoi渗流的收敛速度》,电子。J.概率。,26,无,1-26(2021)·Zbl 1491.60168号
[4] 本杰米尼,I。;卡莱,G。;Schramm,O.,布尔函数的噪声敏感性及其对渗流的应用,Publ。数学。高等科学研究院。,90, 1, 5-43 (1999) ·Zbl 0986.60002号
[5] Cybenko,G.,通过sigmoid函数的叠加进行逼近,数学。控制信号系统,2,4,303-314(1989)·Zbl 0679.94019号
[6] 加尔班,C。;Steif,J.E.,《布尔函数和渗流的噪声敏感性》,第5卷(2014),剑桥大学出版社
[7] 古德费罗,I.J。;Shlens,J。;Szegedy,C.,《解释和利用对抗性示例》(2014),arXiv预印本arXiv:1412.6572
[8] 格里彭,V。;Hacene,G.B。;Löwe,M。;Vermet,F.,通过矢量分割提高非参数传递学习的准确性,(2018 IEEE声学、语音和信号处理国际会议,2018 IEEE国际声学、语音与信号处理会议,ICASSP(2018),IEEE),2966-2970
[9] Koh,P.W。;Liang,P.,通过影响函数理解黑盒预测,(机器学习国际会议(2017),PMLR),1885-1894
[10] O'Donnell,R.,《布尔函数分析》(2014),剑桥大学出版社·Zbl 1336.94096号
[11] 佩克索托,T.P。;Drossel,B.,随机布尔网络中的噪声,物理。版本E,79,3,第036108条pp.(2009)
[12] Peres,Y.,加权多数的噪声稳定性,(In and Out of Equilibrium 3:Celerating Vladas Sidoravicius(2021),Springer),677-682·Zbl 1469.60341号
[13] Vanneuville,H.,《定量淬火voronoi渗流和应用》(2018),arXiv预印本arXiv:1806.08448
[14] Xiao,Y。;Dougherty,E.R.,布尔网络中函数扰动的影响,生物信息学,23,10,1265-1273(2007)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。