×
邢、岳;宋启凡;程广

最近邻算法中插值的优点。 （英语） Zbl 1493.62180号

SIAM J.数学。数据科学。 4，编号2，935-956（2022）.
总结：在一些研究中（例如[C.张等，“理解深度学习需要重新思考泛化”，载于：《第五届学习表征国际会议论文集》，2017年（2017），https://openreview.net/pdf？id=Sy8gdB9xx])对于深度学习，可以观察到，即使在训练误差几乎为零的情况下，过参数化的深度神经网络也能获得较小的测试误差。尽管为理解这种所谓的双下降现象（例如[M.贝尔金等，Proc。国家。阿卡德。科学。美国116，第32号，15849–15854（2019年；Zbl 1433.68325号); SIAM J.数学。数据科学。第2期，第4期，1167–1180页（2020年；Zbl 1484.62090号)])在本文中，我们转向另一种方法，通过数据插值机制来实现零训练误差（无过参数化）。具体地，我们考虑最近邻（NN）算法中的一类插值加权方案。通过仔细描述统计风险中的乘法常数，我们揭示了分类和回归设置中数据插值水平的U型性能曲线。这将锐化现有结果[M.贝尔金等，“数据插值是否与统计优化相矛盾？”，Proc。机器。学习。研究（PMLR）89，1611–1619严格地与（非插入）-（k）-NN算法相比，改进了预测性能和统计稳定性。最后，还将讨论我们的结果的普遍性，例如距离测量的变化和损坏的测试数据。

引用于三文件

MSC公司：

62G05型 非参数估计

关键词：

插值;最近邻算法;遗憾分析;双下降;回归，回归;分类

引文：

兹比尔1433.68325;Zbl 1484.62090号

软件：

Scikit公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Xing}等人，SIAM J.数学。数据科学。4，编号2，935--956（2022；Zbl 1493.62180）
全文： 内政部 arXiv公司

参考文献：

[1] M.Anthony和P.Bartlett，《插值函数学习》，欧洲计算学习理论会议，纽约斯普林格，1995年，第211-221页。
[2] S.Arora、S.S.Du、W.Hu、Z.Li和R.Wang，超参数双层神经网络优化和泛化的细粒度分析，载《第36届国际机器学习会议论文集》，机器学习研究论文集，97，PMLR，2019年，第322-332页。
[3] S.Arora，R.Ge，B.Neyshabur，Y.Zhang，通过压缩方法实现深层网络的强泛化边界，预印本，arXiv:1802.052962018。
[4] J.-Y.Audibert和A.B.Tsybakov，插件分类器的快速学习率，Ann.Statist。，35（2007年），第608-633页·Zbl 1118.62041号
[5] P.L.Bartlett、D.J.Foster和M.J.Telgarsky，神经网络的光谱规范化边界，《神经信息处理系统进展》，2017年，第6240-6249页。
[6] P.L.Bartlett、P.M.Long、G.Lugosi和A.Tsigler，线性回归中的Benign过拟合，Proc。国家。阿卡德。科学。美国，117（2020），第30063-30070页·兹比尔1485.62085
[7] P.L.Bartlett、P.M.Long和R.C.Williamson，《脂肪分割和实值函数的可学习性》，J.Compute。系统科学。，52（1996年），第434-452页·Zbl 0858.68076号
[8] M.Belkin、D.Hsu、S.Ma和S.Mandal，《协调现代机器学习和偏差-方差权衡》，Proc。国家。阿卡德。科学。美国，116（2019），第15849-15854页·Zbl 1433.68325号
[9] M.Belkin、D.Hsu和P.Mitra，合身还是完美合身？内插分类和回归规则的风险边界，《神经信息处理系统进展》312018年，第2300-2311页。
[10] M.Belkin，D.Hsu和J.Xu，弱特征的两个双重下降模型，SIAM J.Math。数据科学。，2（2020年），第1167-1180页·Zbl 1484.62090号
[11] M.Belkin、A.Rakhlin和A.B.Tsybakov，数据插值是否与统计优化相矛盾？，《第30届国际机器学习会议论文集》，《机器学习研究论文集》89，PMLR，2019年，第1611-1619页。
[12] O.Bousquet和A.Elisseeff，稳定性和泛化，J.Mach。学习。Res.，2（2002），第499-526页·Zbl 1007.68083号
[13] T.I.Cannings、T.B.Berrett和R.J.Samworth，《局部最近邻分类及其在半监督学习中的应用》，《统计年鉴》。，48（2020），第1789-1814页·Zbl 1451.62071号
[14] Y.Cao和Q.Gu，宽深度神经网络随机梯度下降的广义界，《神经信息处理系统进展》，2019，第10836-10846页。
[15] Y.Cao、Q.Gu和M.Belkin，亚高斯混合模型上过度参数化最大边际分类的风险界，《神经信息处理系统进展》，342021年。
[16] N.S.Chatterji和P.M.Long，过参数化区域内插线性分类器的有限样本分析，J.Mach。学习。研究，22（2021），第1-30页·Zbl 07370646号
[17] K.Chaudhuri和S.Dasgupta，最近邻分类的收敛速度，《神经信息处理系统进展》，2014年，第3437-3445页。
[18] L.Chen、Y.Min、M.Belkin和A.Karbasi，《多重血统：设计自己的泛化曲线》，《神经信息处理系统的进展》，第34期，2021年。
[19] Y.Chen，C.Jin，B.Yu，迭代优化算法的稳定性和收敛权衡，预印本，arXiv:1804.016192018。
[20] T.M.Cover，最近邻程序的收敛速度，《夏威夷系统科学国际会议论文集》，1968年，第413-415页。
[21] J.Duan，X.Qiao，G.Cheng，分布式最近邻分类，预印本，arXiv:1812.050052018。
[22] J.Fritz，最近邻模式分类的无分布指数误差界，IEEE Trans。通知。《理论》，21（1975），第552-557页·Zbl 0313.62030号
[23] M.Hardt、B.Recht和Y.Singer，《训练更快，概括更好：随机梯度下降的稳定性》，《机器学习国际会议论文集》，2016年，第1225-1234页。
[24] T.Hastie、A.Montanari、S.Rosset和R.J.Tibshirani，《高维无脊最小二乘插值的惊喜》，《统计年鉴》。，50（2022年），第949-986页·Zbl 1486.62202号
[25] Z.Li，Z.-H.Zhou和A.Gretton，《理解神经网络中的良性过度拟合》，预印本，arXiv:2106.03212021。
[26] F.Liu、Z.Liao和J.Suykens，《高维核回归：超越双重下降的精细分析》，载于《国际人工智能与统计会议论文集》，PMLR，2021，第649-657页。
[27] R.J.Lyon、B.Stappers、S.Cooper、J.Brooke和J.Knowles，《脉冲星候选选择五十年：从简单滤波器到新的原则性实时分类方法》，《皇家天文学会月刊》，459（2016），第1104-1123页。
[28] Y.Min、L.Chen和A.Karbasi，《对抗性稳健模型的奇怪案例：更多数据可以帮助、加倍下降或损害推广》，载于《人工智能中的不确定性》，PMLR，2021年，第129-139页。
[29] B.Neyshabur、S.Bhojanapalli和N.Srebro，《神经网络光谱规范化边界的PAC-Baysian方法》，预印本，arXiv:1707.095642017年。
[30] F.Pedregosa、G.Varoqueaux、A.Gramfort、V.Michel、B.Thirion、O.Grisel、M.Blondel、P.Prettenhofer、R.Weiss、V.Dubourg、J.Vanderplas、A.Passos、D.Cournapeau、M.Brucher、M.Perrot和E.Duchesnay，《Scikit-learn：Python中的机器学习》，J.Mach。学习。Res.，12（2011），第2825-2830页·Zbl 1280.68189号
[31] R.J.Samworth，最优加权最近邻分类器，Ann.Statist。，40（2012年），第2733-2763页·兹比尔1373.62317
[32] A.Sanyal、P.K.Dokania、V.Kanade和P.Torr，良性过盈有多良性？，《2020年学习代表国际会议论文集》。
[33] J.Schoenmakers、J.Zhang和J.Huang，最优对偶鞅，它们的分析，以及在百慕大积新算法中的应用，SIAM J.金融数学。，4（2013），第86-116页·Zbl 1282.91346号
[34] C.Sitawarin和D.Wagner，《基于KNN和KNN模型的最小范数对抗示例》，载于《2020年IEEE安全与隐私研讨会论文集》，IEEE，2020年，第34-40页。
[35] 孙文伟，乔晓霞，程国荣，稳定最近邻分类器及其统计特性，J.Amer。统计师。协会，111（2016），第1254-1265页。
[36] A.B.Tsybakov，统计学习中分类器的最佳聚合，《统计年鉴》。，32（2004），第135-166页·兹比尔1105.62353
[37] T.Wagner，最近邻规则的收敛，IEEE Trans。通知。《理论》，17（1971），第566-571页·Zbl 0225.62040号
[38] Y.Wang、S.Jha和K.Chaudhuri，《分析最近邻对敌对示例的稳健性》，载于《第35届机器学习国际会议论文集》，《机器学习研究论文集》（Proceedings of the Machine Learning Research），80，PMLR，2018年，第5133-5142页。
[39] B.Xie，Y.Liang，and L.Song，Diverse neural network learns true target functions，载《第20届国际人工智能与统计会议论文集》，《机器学习研究论文集》第54期，PMLR，2017年，第1216-1224页。
[40] Xing Y.Xing，Q.Song，G.Cheng，随机扰动下最近邻算法的预测能力，《国际人工智能与统计会议论文集》，PMLR，2021年，第496-504页。
[41] L.Xue和S.Kpotufe，实现1-NN的时间，但实现k-NN的准确性，《国际人工智能与统计会议论文集》，机器学习研究论文集，84，PMLR，2018年，第1628-1636页。
[42] I.-C.Yeh和C.-h.Lien，《数据挖掘技术对信用卡客户违约概率预测准确性的比较》，《应用专家系统》，36（2009），第2473-2480页。
[43] C.Zhang、S.Bengio、M.Hardt、B.Recht和O.Vinyals，《理解深度学习需要重新思考概括》，载于《第五届学习代表国际会议论文集》，OpenReview.net，2017年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。