有限与无限神经网络的实证研究

的一部分神经信息处理系统的进展33（NeurIPS 2020）

作者

Jaehoon Lee、Samuel Schoenholz、Jeffrey Pennington、Ben Adlam、Lechao Xiao、Roman Novak、Jascha Sohl-Dickstein

摘要

我们对宽神经网络和核方法之间的对应关系进行了仔细、彻底和大规模的实证研究。通过这样做，我们解决了与无限宽神经网络研究相关的各种开放性问题。我们的实验结果包括：核方法优于全连通有限宽度网络，但不如卷积有限宽度网络；神经网络高斯过程（NNGP）核经常优于神经切线（NT）核；中心有限网络和集合有限网络降低了后验方差，表现出与无限网络更相似的行为；权重衰减和使用较大的学习速率打破了有限网络和无限网络之间的对应关系；对于有限宽网络，NTK参数化优于标准参数化；核的对角正则化作用类似于提前停止；浮点精度限制内核性能超过临界数据集大小；正则化ZCA白化提高了准确性；有限的网络性能非单调地依赖于宽度，这是双下降现象无法捕捉到的；CNN的等方差只对远离核机制的窄网络有利。我们的实验还激励了改进的权重衰减分层缩放，从而改进了有限宽度网络中的泛化。最后，我们开发了使用NNGP和NT核进行预测的改进最佳实践，包括一种新的集成技术。使用这些最佳实践，我们在CIFAR-10分类中获得了与我们考虑的每个架构类对应的内核的最新结果。