神经希尔伯特阶梯：函数空间中的多层神经网络
陈正道; 25(109):1−65, 2024.
摘要
刻画神经网络所探索的函数空间是学习理论的一个重要方面。在这项工作中，注意到多层NN隐式生成再生核Hilbert空间（RKHS）的层次结构，称为神经Hilbert阶梯（NHL），我们将函数空间定义为RKHSs的无限并集，这推广了现有的双层NN的Barron空间理论。然后我们建立了新空间的几个理论性质。首先，我们证明了由L层NN表示的函数与属于L层NHL的函数之间的对应关系。其次，我们证明了学习具有受控复杂性测度的NHL的泛化保证。第三，我们导出了一个随机场的非马尔可夫动力学，它控制由多层NN在无限宽平均场极限下的训练所诱导的NHL的演化。第四，我们展示了在ReLU激活函数下NHL中深度分离的示例。最后，我们通过NHL镜头进行了数值实验来说明神经网络训练的特征学习方面。
[腹肌]
[pdf格式][围兜]
