神经网络和脊样条的Banach空间表示定理
拉胡尔·帕希、罗伯特·诺瓦克; 22(43):1−40, 2021.
摘要
我们开发了一个变分框架来理解神经网络学习的函数的特性，这些函数适合于数据。我们提出并研究了一类受数据拟合约束的Radon域中具有类全变分正则化的连续域线性反问题。我们推导了一个表示定理，表明有限宽的单隐层神经网络是这些反问题的解。我们借鉴了变分样条理论中的许多技术，因此我们提出了多项式脊样条的概念，它对应于以截断幂函数作为激活函数的单隐层神经网络。表示器定理类似于经典的再生核Hilbert空间表示器定理，但我们证明了神经网络问题是在非Hilbertian Banach空间上提出的。虽然学习问题是在连续域中提出的，与核方法类似，但这些问题可以重新描述为有限维神经网络训练问题。这些神经网络训练问题具有与众所周知的权重衰减和路径形式正则化器相关的正则化器。因此，我们的结果揭示了训练神经网络的功能特性，也揭示了神经网络正则化器的设计。我们还表明，这些正则化子促进神经网络解具有理想的泛化性质。
[腹肌]
[pdf格式][围兜]
