2022年10月 神经网络中的插值相变:惰性训练下的记忆和泛化
安德烈亚·蒙塔纳里,钟一桥
作者关联+
安。统计师。 50(5): 2816-2847 (2022年10月)。 数字对象标识码:10.1214/22-AOS2211

摘要

现代神经网络通常在一个高度超参数化的状态下运行:它们包含如此多的参数,以至于可以对训练集进行插值,即使实际的标签被纯随机的标签所取代。尽管如此,他们在未发现的数据上取得了良好的预测误差:插值训练集不会导致较大的泛化误差。此外,过度参数化似乎是有益的,因为它简化了优化布局。在这里,我们在神经切线(NT)区域的两层神经网络的背景下研究这些现象。我们考虑一个简单的数据模型,其中包含各向同性协变量向量d日尺寸,以及N个隐藏的神经元。我们假设样本量n个和尺寸d日都很大,并且它们是多项式相关的。我们的第一个主要结果是对过参数化区域中经验NT核的本征结构的表征N个d日n个此特征表示,作为一个推论,经验NT核的最小特征值一旦从零开始就有界N个d日n个因此,该网络可以在同一区域内精确地内插任意标签。

我们的第二个主要结果是NT岭回归泛化误差的一个特征,作为一个特例,包括min-2范数插值。我们证明,只要N个d日n个对于无限宽的核,核岭回归的误差很好地逼近了测试误差。后者又由多项式岭回归的误差很好地近似,其中正则化参数由与激活函数的高阶分量相关的“自我诱导”项增加。多项式次数取决于样本大小和维数(尤其是日志n个/日志d日).

资金报表

这项工作得到了NSF的支持,获得了DMS-2031883奖,并获得了西蒙斯基金会814639奖,以表彰深度学习理论基础的合作。我们还感谢国家科学基金会拨款CCF-1714305、IIS-1741162和ONR拨款N00014-18-1-2729。

致谢

我们感谢Behrooz Ghorbani和Song Mei的有益讨论。

引用

下载引文

安德烈亚·蒙塔纳里(Andrea Montanari)。 钟一桥。 “神经网络中的插值相变:惰性训练下的记忆和泛化。” Ann.Statist公司。 50 (5) 2816 - 2847, 2022年10月。 https://doi.org/10.1214/22-AOS2211

问询处

收到日期:2020年8月1日;修订日期:2022年6月1日;出版时间:2022年10月
欧几里德项目首次提供:2022年10月27日

数学科学网:4500626奈米
zbMATH公司:07628842
数字对象标识符:10.1214/22-AOS2211

学科:
主要用户:62J07型
次要:62J05型

关键词:核岭回归,记忆,神经切线核,过盈,过度参数化

版权所有©2022数学统计研究所

期刊文章
32页

此文章仅适用于订户.
它不可单独出售。
+ 保存到我的库中

第50卷•第5期•2022年10月
返回页首