计算机科学>机器学习
标题: 快速有限宽度神经切线核
摘要: 神经切线核(NTK),定义为$\Theta_\Theta^f(x_1,x_2)=\left[\partial f(\Theta,x_1)\big/\partial\Theta\right]\left[\partical f(\ttheta,x_2,big/\ partial\T Theta\right]^T$,其中$\left[\partial-f(\tea,\cdot)\big/\partial/Theta\right]$是一个神经网络(NN)雅可比, 已成为深度学习的中心研究对象。 在无限宽度限制下,NTK有时可以解析计算,有助于理解神经网络体系结构的训练和泛化。 在有限宽度下,NTK还用于更好地初始化NN、比较模型之间的条件、执行架构搜索和进行元学习。 不幸的是,有限宽度NTK的计算成本非常昂贵,这严重限制了它的实用性。 我们首次深入分析了有限宽度网络中NTK计算的计算和内存需求。 利用神经网络的结构,我们进一步提出了两种新的算法,可以改变有限宽度NTK的计算和内存需求指数,从而显著提高效率。 我们的算法可以以黑盒的方式应用于任何可微函数,包括那些实现神经网络的函数。 我们在Neural Tangents包中开源了我们的实现( arXiv:1912.02803号 )在 此https URL .