计算机科学>机器学习
职务: 深层神经网络自信地感知到什么? 高确定性流形的有效维数及其低置信边界
摘要: 深度神经网络分类器将每个类的输入空间划分为高置信区域。 这些类流形(CM)的几何结构被广泛研究,并与模型性能密切相关; 例如,裕度取决于CM边界。 我们利用高斯宽度和Gordon逃逸定理的概念,通过与变维随机仿射子空间的层析相交,很容易地估计CMs及其边界的有效维数。 我们展示了CMs维度、泛化和稳健性之间的一些联系。 特别是,我们研究了CM维度如何依赖于1)数据集,2)体系结构(包括ResNet、WideResNet和Vision Transformer),3)初始化,4)训练阶段,5)类,6)网络宽度,7)集合大小,8)标签随机化,9)训练集大小,以及10)对数据损坏的鲁棒性。 总的来说,更高性能和更健壮的模型具有更高维的CM。 此外,我们还提供了通过CM交点进行集成的新视角。 我们的代码位于 此https URL