×
丹尼尔·比格勒霍尔;米哈伊尔·贝尔金;帕提·潘迪特

关于定维核无脊回归的不一致性。 （英语） Zbl 07768236号

SIAM J.数学。数据科学。 5，第4号，854-872（2023）.
摘要：“良性过拟合”（Benign overfitting）是指某些算法能够插值有噪声的训练数据，但在样本外表现良好的能力，这是一个最近颇受关注的话题。我们使用固定的设计设置表明，一类重要的预测器，即具有平移不变核的核机器，在固定维中不会出现良性过拟合。特别是，对于任何非零回归函数和任何（甚至自适应）带宽选择，随着样本量的增加，估计的预测器都不会收敛到基本真理。为了证明这些结果，我们根据近似误差和估计误差给出了泛化误差及其分解的精确表达式，估计误差会导致基于核带宽选择的权衡。我们的结果适用于常用的平移不变核，如高斯、拉普拉斯和柯西。

理学硕士：

62G05型 非参数估计

关键词：

内核计算机;插值;一致性;无脊回归;良性过盈;非参数回归
PDF格式BibTeX公司 XML格式引用
\textit{D.Beaglehole}等人，SIAM J.Math。数据科学。5，编号4，854--872（2023；Zbl 07768236）
全文： 内政部 arXiv公司

参考文献：

[1] Bartlett，P.L.、Long，P.M.、Lugosi，G.和Tsigler，A.，线性回归中的Benign过拟合，Proc。国家。阿卡德。科学。美国，117（2020），第30063-30070页·Zbl 1485.62085号
[2] Belkin，M.、Hsu，D.、Ma，S.和Mandal，S.，《协调现代机器学习实践与经典偏差-方差权衡》，Proc。国家。阿卡德。科学。美国，116（2019），第15849-15854页·兹比尔1433.68325
[3] Belkin，M.、Hsu，D.和Xu，J.，弱特征的两种双重下降模型，SIAM J.Math。数据科学。，2（2020），第1167-1180页，doi:10.1137/20M1336072·Zbl 1484.62090号
[4] Belkin，M.、Hsu，D.J.和Mitra，P.，“过度合身还是完美合身？”？分类和插值回归规则的风险边界，见《神经信息处理系统进展》31，Curran Associates，2018年，第2300-2311页。
[5] Belkin，M.、Ma，S.和Mandal，S.，要理解深度学习，我们需要理解内核学习，见国际机器学习会议，PMLR，2018，第541-549页。
[6] Belkin，M.、Rakhlin，A.和Tsybakov，A.B.，《数据插值是否与统计优化相矛盾？》？，第22届国际人工智能与统计会议，PMLR，2019年，第1611-1619页。
[7] Bian，G.和Dickey，J.M.，《多元Cauchy和多元Cauchi分布的贝叶斯G-优先应用的性质》，技术报告，明尼苏达大学，1991年。
[8] Devroye，L.、Györfi，L.和Krzyżak，A.，《希尔伯特核回归估计》，《多元分析杂志》。，65（1998），第209-227页·Zbl 1126.62339号
[9] Donhauser，K.，Wu，M.和Yang，F.，《公共核的旋转不变性如何防止高维泛化》，机器学习国际会议，PMLR，2021年，第2804-2814页。
[10] Györfi，L.、Kohler，M.、Krzyzak，A.和Walk，H.，《非参数回归的无分布理论》，Springer，纽约，2002年·Zbl 1021.62024号
[11] Hastie，T.、Montanari，A.、Rosset，S.和Tibshirani，R.J.，《高维无脊最小二乘插值的惊喜》，《统计年鉴》。，50（2022年），第949-986页·Zbl 1486.62202号
[12] Jacot，A.、Gabriel，F.和Hongler，C.，《神经切线核：神经网络中的收敛和泛化》，摘自《神经信息处理系统进展》31，Curran Associates，2018年，第8571-8580页。
[13] Liang，T.和Rakhlin，A.，插入：核“无脊”回归可以推广，Ann.统计师。，48（2020年），第1329-1347页·Zbl 1453.68155号
[14] Lieb，E.H.和Loss，M.，《分析》，美国数学学会，2001年·Zbl 0966.26002号
[15] Mallinar，N.，Simon，J.B.，Abedsoltan，A.，Pandit，P.，Belkin，M.，and Nakkiran，P..，Benign，Tempered，or Catastrophic:A Taxonomy of Overfitting，preprint，arXiv:2207.065692022。
[16] Mardia，K.V.、Jupp，P.E.和Mardia（K.V），《方向统计》，第2卷，威利在线图书馆，2000年·Zbl 0935.62065号
[17] Mei，S.，Misiakiewicz，T.和Montanari，A.，随机特征和核方法的推广误差：超收缩性和核矩阵集中，Appl。计算。哈蒙。分析。，59（2022），第3-84页·Zbl 07522503号
[18] Mei，S.和Montanari，A.，随机特征回归的泛化误差：精确渐近和双下降曲线，Comm.Pure Appl。数学。，75（2022），第667-766页·Zbl 07513415号
[19] Muthukumar，V.、Vodrahalli，K.、Subramanian，V.和Sahai，A.，回归中噪声数据的无害插值，IEEE J.Sel。区域信息理论，1（2020），第67-83页。
[20] Neyshabur，B.、Tomioka，R.和Srebro，N.，《寻找真正的归纳偏见：关于内隐规则化在深度学习中的作用》，预印本，arXiv:1412.66142014年。
[21] Radhakrishnan，A.、Beaglehole，D.、Pandit，P.和Belkin，M.，《递归学习特征的神经网络和内核机器中的特征学习》，预印本，arXiv:2212.138812022年。
[22] Rakhlin，A.和Zhai，X.，拉普拉斯核插值的一致性是一种高维现象，发表在学习理论会议上，PMLR，2019，第2595-2623页。
[23] Schölkopf，B.、Herbrich，R.和Smola，A.J.，《广义代表定理》，《计算学习理论国际会议》，施普林格，2001年，第416-426页·Zbl 0992.68088号
[24] Scholkopf，B.和Smola，A.J.，《使用内核学习：支持向量机、正则化、优化及其他》，麻省理工学院出版社，2018年。
[25] Zhang，C.、Bengio，S.、Hardt，M.、Recht，B.和Vinyals，O.，《理解深度学习（仍然）需要重新思考泛化》，《美国医学会委员会》，64（2021），第107-115页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。