×

核回归,极小极大率和有效维数:超出常规情况。 (英语) Zbl 1443.62091号

摘要:我们研究了核正则化方法在目标函数的源条件正则性假设下是否能达到极小极大收敛速度。在过去的文献中已经考虑过这些问题,但只是在关于核映射协方差算子谱的衰减(通常是多项式)的特定假设下。从无分布结果的角度来看,我们在对特征值衰减的较弱假设下研究这个问题,考虑到更复杂的行为,可以反映不同尺度下数据的不同结构。

MSC公司:

62G08号 非参数回归和分位数回归
62M15型 随机过程和谱分析的推断
62C20个 统计决策理论中的Minimax过程
15甲18 特征值、奇异值和特征向量
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bauer,F.、Pereverzev,S.和Rosasco,L.,《学习理论中的正则化算法》,J.Complex,23(1)(2007)52-72·Zbl 1109.68088号
[2] Blanchard,G.和Mücke,N.,统计逆学习问题正则化的最佳速率,发现。计算。数学18(4)(2018)971-1013·Zbl 1412.62042号
[3] A.Caponetto,《学习理论中正则化算子的最优速率》,麻省理工学院技术报告(2006年)。
[4] Cristianini,N.和Shawe-Taylor,J.,《模式分析的核心方法》(剑桥大学出版社,2004年)·Zbl 0994.68074号
[5] Cucker,F.和Smale,S.,学习理论中正则化参数的最佳选择:关于偏差方差问题,发现。计算。数学式2(4)(2002)413-428·Zbl 1057.68085号
[6] De Vito,E.和Caponnetto,A.,正则化最小二乘算法的最佳速率,发现。计算。数学7(3)(2006)331-368·Zbl 1129.68058号
[7] De Vito,E.、Rosasco,L.、Caponnetto,A.和De Giovannini,U.,《作为反问题的示例学习》,J.Mach。学习。第6号决议(2005)883-904·Zbl 1222.68180号
[8] DeVore,R.、Kerkyacharian,G.、Picard,D.和Temlyakov,V.,《监督学习的近似方法》,Found。计算。数学6(1)(2006)3-58·Zbl 1146.62322号
[9] Dicker,L.H.等人,《核岭与主成分回归:极小极大界和正则化算子的限定》,Electron。《统计学杂志》11(1)(2017)1022-1047·Zbl 1362.62087号
[10] Engl,H.、Hanke,M.和Neubauer,A.,《反问题的正则化》(Kluwer学术出版社,2000年)·Zbl 0859.65054号
[11] Gerfo,L.L.、Rosasco,L.、Odone,F.、De Vito,E.和Verri,A.,监督学习的谱算法,神经计算,20(7)(2008)1873-1897·Zbl 1147.68643号
[12] 郭振聪,林诗斌,周德兴,分布式谱算法学习理论,反问题33(7)(2017)074009·Zbl 1372.65162号
[13] Lin,S.-B.,Guo,X.和Zhou,D.-X.,正则最小二乘分布式学习,J.Mach。学习。第18(1)号决议(2017)3202-3232·Zbl 1435.68273号
[14] Lin,K.,Lu,S.和Mathé,P.,贝叶斯逆问题中的Oracle型后收缩率,逆问题。图9(3)(2015)895-915·Zbl 1332.62098号
[15] Lin,J.,Rudi,A.,Rosasco,L.和Cevher,V.,希尔伯特空间上最小二乘回归谱算法的最佳速率,应用。计算。哈蒙。分析。(2018). ·Zbl 1436.62146号
[16] Lin,S.-B.和Zhou,D.-X.,基于分布式核的梯度下降算法,构造。约47(2)(2018)249-276·Zbl 1390.68542号
[17] Lu,S.,Mathé,P.和Pereverzev,S.V.,一般正则化方案监督学习中的平衡原则,应用。计算。哈蒙。分析48(1)(2020)123-148·Zbl 07140131号
[18] N.Mücke,Lepskii原理正则化核方法的适应性,预印本(2018),arXiv:1804.05433。
[19] Mücke,N.,《通过有效的局部核回归减少训练时间》,第(22)届国际人工智能与统计会议(日本冲绳那霸,2019年),第2603-2610页。
[20] Mücke,N.和Blanchard,G.,《频谱正则化核算法的并行化》,J.Mach。学习。第19(1)号决议(2018)1069-1097·兹比尔1461.68189
[21] Steinwart,I.和Christmann,A.,《支持向量机》(Springer Science&Business Media,2008)·Zbl 1203.68171号
[22] Stone,C.,非参数回归的最优全局收敛速度,《统计年鉴》,10(4)(1982)1040-1053·Zbl 0511.62048号
[23] Szabó,Z.,Sriperumbudur,B.K.,Póczos,B.和Gretton,A.,分布回归学习理论,J.Mach。学习。第17(1)号决议(2016)5272-5311·Zbl 1392.62124号
[24] Tsybakov,A.,《非参数估计导论》(Springer,2008)·Zbl 1176.62032号
[25] Zhang,T.,使用有效数据维度的核回归学习界,《神经计算》17(9)(2005)2077-2098·Zbl 1080.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。