随机神经网络的分离能力
Sjoerd Dirksen、Martin Genzel、Laurent Jacques、Alexander Stollenwerk; 23(309):1−47, 2022.
摘要
具有随机权重的神经网络出现在各种机器学习应用中，最突出的是作为许多深度学习算法的初始化，以及作为完全学习神经网络的廉价计算替代品。在本文中，我们通过解决以下数据分离问题来增强对随机神经网络的理论理解：在什么条件下，随机神经网络可以使两类$\mathcal{X}^-，\mathcal{X}^+\subset\mathbb{R}^d$（带正距离）线性可分？我们证明了一个具有标准高斯权重和均匀分布偏差的足够大的双层ReLU网络可以很好地解决这个问题。关键的是，所需神经元的数量与基础集$\mathcal{X}^-、\mathcal{X}^+$及其相互排列的几何属性明确相关。这种特定实例的观点使我们能够在数据具有低复杂性结构的非病理情况下克服通常的维数灾难（层的指数宽度）。我们根据相互复杂性的新概念（基于高斯平均宽度的本地化版本）量化了数据的相关结构，这导致了可靠和信息的分离保证。我们将结果与近似、记忆和泛化的相关工作联系起来。
[腹肌]
[pdf格式][围兜]
