托马斯·哈姆;因戈斯坦瓦特 内核方法的内在维度自适应分区。 （英文） Zbl 1491.68154号 SIAM J.数学。数据科学。 4，编号2，721-749（2022）. 摘要：基于输入空间的数据相关划分，我们分别证明了核岭回归支持向量机的极小极大最优学习率，其中输入空间维数的相关性被数据生成分布的支持分形维数所取代。我们进一步表明，这些最佳速率可以通过训练验证程序实现，而无需事先了解数据的这一内在维度。最后，我们进行了大量的实验，证明我们考虑的学习方法实际上能够从一个非平凡地嵌入到更高维空间的数据集和从原始数据集进行推广。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62J07型 岭回归；收缩估计器（拉索） 68T09年 数据分析和大数据的计算方面 关键词：维数灾难;学习率;回归，回归;分类 PDF格式BibTeX公司 XML格式引用 \textit{T.Hamm}和\textit{I.Steinwart}，SIAM J.数学。数据科学。4，编号2，721--749（2022；Zbl 1491.68154） 全文： 内政部 arXiv公司 参考文献： [1] L.Ambrosio、A.Colesanti和E.Villa，Outer Minkowski对一些闭集类的内容，数学。Ann.，342（2008），第727-748页，https://doi.org/10.1007/s00208-008-0254-z。 ·Zbl 1152.28005号 [2] J.-Y.Audibert和A.B.Tsybakov，插件分类器的快速学习率，Ann.Statist。，35（2007），第608-633页，https://doi.org/10.1214/00905360000001217。 ·Zbl 1118.62041号 [3] B.Bauer和M.Kohler，《深度学习作为非参数回归中维度诅咒的补救方法》，《统计年鉴》。，47（2019），第2261-2285页，https://doi.org/10.1214/18-AOS1747。 ·Zbl 1421.62036号 [4] M.Belkin和P.Niyogi，用于降维和数据表示的拉普拉斯特征映射，神经计算。，15（2003），第1373-1396页，https://doi.org/10.1162/089976603321780317。 ·Zbl 1085.68119号 [5] M.Belkin、P.Niyogi和V.Sindhwani，流形正则化：从标记和未标记示例学习的几何框架，J.Mach。学习。Res.，7（2006），第2399-2434页·Zbl 1222.68144号 [6] P.J.Bickel和B.Li，未知流形上的局部多项式回归，《复杂数据集和反问题》，IMS讲稿Monogr。序列号。54，数学统计研究所，俄亥俄州比奇伍德，2007年，第177-186页，https://doi.org/10.1214/0749217070000148。 [7] I.Blaschzyk和I.Steinwart，本地化SVM的改进分类率，https://arXiv:1905.01502, 2019. ·兹比尔1473.62211 [8] A.Cuevas，集估计：统计学和几何学之间的另一座桥梁，Bol。Estad公司。投资。操作。，25（2009年），第71-85页。 [9] S.Dasgupta和Y.Freund，随机投影树和低维流形，收录于《STOC'08会议录》，美国医学会，纽约，2008年，第537-546页，https://doi.org/10.1145/1374376.1374452。 ·Zbl 1231.68114号 [10] D.Dua和C.Graff，UCI机器学习知识库，2017年，http://archive.ics.uci.edu/ml。 [11] M.Eberts和I.Steinwart，使用高斯核的SVM的最优回归率，电子。《美国统计杂志》，第7卷（2013年），第1-42页，https://doi.org/10.1214/12-EJS760。 ·Zbl 1337.62073号 [12] J.M.Fraser，《Assouad Dimension and Fractal Geometry》，剑桥数学丛书。222，剑桥大学出版社，英国剑桥，2020年，https://doi.org/10.1017/9781108778459。 [13] T.Hamm和I.Steinwart，支持向量机对低内在维数数据的自适应学习率，《统计年鉴》。，49（2021），第3153-3180页，https://doi.org/10.1214/21-AOS2078。 ·Zbl 1486.62107号 [14] S.Har-Peled，几何近似算法，数学。调查专著173，AMS，普罗维登斯，RI，2011，https://doi.org/10.1090/surv/173。 ·Zbl 1230.68215号 [15] J.Heinonen，《度量空间分析讲座》，Universitext，Springer-Verlag，纽约，2001年，https://doi.org/10.1007/978-1-4613-0131-8。 ·Zbl 0985.46008号 [16] S.Kpotufe，k-NN回归适应局部内在维度，摘自《神经信息处理系统进展24》，J.Shawe-Taylor，R.S.Zemel，P.L.Bartlett，F.Pereira，and k.Q.Weinberger，eds.，Curran Associates，2011年，第729-737页，http://papers.nips.cc/paper/4455-k-nn-regression-adapts-to-local-intrinsic-dimension.pdf。 [17] S.Kpotufe和S.Dasgupta，适应内在维度的基于树的回归变量，J.Compute。系统科学。，78（2012），第1496-1515页，https://doi.org/10.1016/j.jcss.2012.01.002。 ·Zbl 1435.62143号 [18] S.Kpotufe和V.Garg，核回归中局部光滑性和维数的适应性，摘自《神经信息处理系统进展》26，C.J.C.Burges、L.Bottou、M.Welling、Z.Ghahramani和K.Q.Weinberger编辑，Curran Associates，2013年，第3075-3083页，http://papers.nips.cc/paper/5103-adaptivity-to-local-smootheness-and-dimension-in-kernel-regression.pdf。 [19] S.Kpotufe和N.Verma，《内核预测中的时间准确性权衡：控制预测质量》，J.Mach。学习。决议，18（2017），44·Zbl 1437.62146号 [20] S.R.Kulkarni和S.E.Posner，任意采样下最近邻估计的收敛速度，IEEE Trans。通知。《理论》，41（1995），第1028-1039页，https://doi.org/10.109/18.391248。 ·兹比尔0839.3070 [21] J.Lehrbaáck和H.Tuominen，《关于阿苏阿德和艾卡瓦维度的注释》，J.Math。《日本社会》，65（2013），第343-356页，http://projecteuclid.org/euclid.jmsj/1366896636。 ·Zbl 1279.54022号 [22] O.H.Madrid Padilla，J.Sharpnack，Y.Chen，和D.M.Witten，使用（K）-最近邻融合套索的自适应非参数回归，生物统计学，107（2020），第293-310页，https://doi.org/10.1093/biomet/asz071。 ·Zbl 1441.62100号 [23] E.Mammen和A.B.Tsybakov，平滑判别分析，Ann.Statist。，27（1999），第1808-1829页，https://doi.org/10.1214/aos/1017939240。 ·Zbl 0961.62058号 [24] A.McRae、J.Romberg和M.Davenport，流形上回归的样本复杂性和有效维数，摘自《神经信息处理系统进展》33，H.Larochelle、M.Ranzato、R.Hadsell、M.F.Balcan和H.Lin编辑，Curran Associates，2020年，第12993-13004页，https://proceedings.neurips.cc/paper/2020/file/977f8b33d303564416bf9f4ab1c39720-paper.pdf。 [25] M.Meister和I.Steinwart，本地化SVM的最佳学习率，J.Mach。学习。Res.，17（2016），194·Zbl 1433.68368号 [26] N.Muícke，《通过有效的局部核回归减少训练时间》，载《机器学习研究论文集》，K.Chaudhuri和M.Sugiyama主编，机器学习研究文献集892019年，第2603-2610页，http://proceedings.mlr.press/v89/muecke19a.html。 [27] R.Nakada和M.Imaizumi，具有内在维数的深度神经网络的自适应逼近和泛化，J.Mach。学习。《决议》，21（2020），174·Zbl 1525.68135号 [28] P.Pope、C.Zhu、A.Abdelkader、M.Goldblum和T.Goldstein，《图像的内在维度及其对学习的影响》，《学习表征国际会议论文集》，2021年，https://openreview.net/forum？id=XJk19XzGq2J。 [29] A.Rahimi和B.Recht，大型内核机器的随机特征，摘自《神经信息处理系统的进展》20，J.Platt、D.Koller、Y.Singer和S.Roweis编辑，Curran Associates，2008年，https://proceedings.neurips.cc/paper/2007/file/013a006f03dbc5392effeb8f18fda755-paper.pdf。 [30] A.Rudi、R.Camoriano和L.Rosasco，《少即是多：Nystrom计算正则化》，摘自《神经信息处理系统进展》28，C.Cortes、N.Lawrence、D.Lee、m.Sugiyama和R.Garnett编辑，Curran Associates，2015年。 [31] A.Rudi和L.Rosasco，随机特征学习的泛化特性，摘自《神经信息处理系统进展》30，I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett编辑，Curran Associates，2017年。 [32] C.Scott和R.D.Nowak，用二元决策树进行最小最大最优分类，IEEE Trans。通知。《理论》，52（2006），第1335-1353页，https://doi.org/10.109/TIT.2006.871056。 ·Zbl 1318.62216号 [33] E.M.Stein，奇异积分和函数的可微性，普林斯顿数学。序列号。30，普林斯顿大学出版社，新泽西州普林斯顿，1970年·Zbl 0207.13501号 [34] I.Steinwart和A.Christmann，支持向量机，Springer，纽约，2008年·Zbl 1203.68171号 [35] I.Steinwart和C.Scovel，使用高斯核的支持向量机的快速速度，Ann.Statist。，35（2007），第575-607页，https://doi.org/10.1214/00905360000001226。 ·Zbl 1127.68091号 [36] I.Steinwart和P.Thomann，liquidSVM：一个快速而通用的SVM包，arXiv:1702068992017。 [37] C.J.Stone，非参数回归的最优全局收敛速度，Ann.Statist。，10（1982年），第1040-1053页·Zbl 0511.62048号 [38] P.Thomann、I.Blaschzyk、M.Meister和I.Steinwart，《大规模SVM的空间分解》，载于《第20届国际人工智能与统计会议论文集》，A.Singh和J.Zhu主编，《机器学习研究论文集54》，佛罗里达州劳德代尔堡，2017年，第1329-1337页，http://proceedings.mlr.press/v54/thoman17a.html。 [39] A.B.Tsybakov，统计学习中分类器的最佳聚合，《统计年鉴》。，32（2004），第135-166页，https://doi.org/10.1214/aos/1079120131。 ·Zbl 1105.62353号 [40] C.Williams和M.Seeger，《使用nystrom方法加速内核机器》，摘自《神经信息处理系统进展》第13期，T.Leen、T.Dietterich和V.Tresp主编，麻省理工学院出版社，2001年。 [41] 杨扬，邓生，贝叶斯流形回归，统计年鉴。，44（2016），第876-905页，https://doi.org/10.1214/15-AOS1390。 ·Zbl 1341.62196号 [42] G.-B.Ye和D.-X.Zhou，Gaussians在黎曼流形上的学习和逼近，高级计算。数学。，29（2008），第291-310页，https://doi.org/10.1007/s10444-007-9049-0。 ·Zbl 1156.68045号 [43] G.-B.Ye和D.-X.Zhou，黎曼流形上高斯的SVM学习和（L^p）逼近，Ana。申请。（新加坡），7（2009），第309-339页，https://doi.org/10.1142/S0219530509001384。 ·Zbl 1175.68346号 [44] Y.Zhang、J.Duchi和M.Wainwright，《分治核岭回归：具有最小最大最优速率的分布式算法》，J.Mach。学习。第16号决议（2015年），第3299-3340页，http://jmlr.org/papers/v16/zhang15d.html。 ·Zbl 1351.62142号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。