摘要
现代神经网络通常在一个高度超参数化的状态下运行:它们包含如此多的参数,以至于可以对训练集进行插值,即使实际的标签被纯随机的标签所取代。尽管如此,他们在未发现的数据上取得了良好的预测误差:插值训练集不会导致较大的泛化误差。此外,过度参数化似乎是有益的,因为它简化了优化布局。在这里,我们在神经切线(NT)区域的两层神经网络的背景下研究这些现象。我们考虑一个简单的数据模型,其中包含各向同性协变量向量d日尺寸,以及N个隐藏的神经元。我们假设样本量n个和尺寸d日都很大,并且它们是多项式相关的。我们的第一个主要结果是对过参数化区域中经验NT核的本征结构的表征此特征表示,作为一个推论,经验NT核的最小特征值一旦从零开始就有界因此,该网络可以在同一区域内精确地内插任意标签。
我们的第二个主要结果是NT岭回归泛化误差的一个特征,作为一个特例,包括min-范数插值。我们证明,只要对于无限宽的核,核岭回归的误差很好地逼近了测试误差。后者又由多项式岭回归的误差很好地近似,其中正则化参数由与激活函数的高阶分量相关的“自我诱导”项增加。多项式次数取决于样本大小和维数(尤其是).
资金报表
这项工作得到了NSF的支持,获得了DMS-2031883奖,并获得了西蒙斯基金会814639奖,以表彰深度学习理论基础的合作。我们还感谢国家科学基金会拨款CCF-1714305、IIS-1741162和ONR拨款N00014-18-1-2729。
致谢
我们感谢Behrooz Ghorbani和Song Mei的有益讨论。
引用
下载引文
安德烈亚·蒙塔纳里(Andrea Montanari)。
钟一桥。
“神经网络中的插值相变:惰性训练下的记忆和泛化。”
Ann.Statist公司。
50
(5)
2816 - 2847,
2022年10月。
https://doi.org/10.1214/22-AOS2211
问询处
收到日期:2020年8月1日;修订日期:2022年6月1日;出版时间:2022年10月
欧几里德项目首次提供:2022年10月27日
数字对象标识符:10.1214/22-AOS2211
学科:
主要用户:62J07型
次要:62J05型
关键词:核岭回归,记忆,神经切线核,过盈,过度参数化
版权所有©2022数学统计研究所