×
德维托，E。;Pereverzyev，S。;罗萨斯科，L。

使用平衡原理的自适应核方法。 （英语） Zbl 1204.68154号

已找到。计算。数学。 10，第4期，455-479（2010）.
摘要：正则化参数的选择是学习理论中的一个基本问题，因为大多数有监督算法的性能关键取决于一个或多个此类参数的选择。特别是一个主要的理论问题是，为了获得良好的学习率，选择正则化参数所需的先验知识量。本文提出了一种参数选择策略，称为平衡原理，用于在不知道目标函数正则性的情况下选择正则化参数。这样的选择自适应地获得最佳错误率。我们的主要结果适用于正则化算法在具有平方损失的再生核Hilbert空间中的应用，尽管我们也研究了类似的原理如何在其他情况下使用。作为一个简单的推论，我们可以立即为最近研究的各种内核方法导出自适应参数选择。文中还用提出的参数选择规则进行了数值实验。

引用于27文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68问题32 计算学习理论

关键词：

学习理论;型号选择;自适应正则化;反问题
PDF格式BibTeX公司 XML格式引用
\textit{E.De Vito}等人，发现。计算。数学。10，编号4，455--479（2010年；Zbl 1204.68154）
全文： 内政部 链接

参考文献：

[1] N.Aronszajn，再生核理论，Trans。美国数学。Soc.68，337–404（1950）·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7
[2] A.Barron，L.Birgé，P.Massart，通过惩罚选择模型的风险边界，Probab。理论关联。字段113（3），301–413（1999）·Zbl 0946.62036号 ·doi:10.1007/s004400050210
[3] P.L.Bartlett，S.Boucheron，G.Lugosi，模型选择和误差估计，《第十三届计算学习理论年会论文集》（2000年），第286-297页。
[4] F.Bauer，S.Pereverzev，L.Rosasco，《学习理论中的正则化算法》，J.Complex。23(1), 52–72 (2007). ·Zbl 1109.68088号 ·doi:10.1016/j.jco.2006.07.001
[5] S.Boucheron，O.Bousquet，G.Lugosi，分类理论：一些最新进展的综述，ESAIM Probab。Stat.9，323–375（2005）（电子版）·Zbl 1136.62355号 ·doi:10.1051/ps:2005018
[6] P.Bühlmann，B.Yu，《以1-2损失推动：回归和分类》，《美国统计协会杂志》，第98期，第324–340页（2002年）·Zbl 1041.62029号 ·doi:10.1198/0162145003000125
[7] A.Caponetto，《学习理论中正则化算子的最优速率》，技术报告，CBCL论文#264/CSAIL-TR#2006-062，麻省理工学院（2006）。可在http://cbcl.mit.edu/projects/cbcl/publications/ps/mit-CSAIL-TR-2006-062.pdf .
[8] A.Caponetto，E.De Vito，正则化最小二乘算法的最优速率，Found。计算。数学。7(3), 331–368 (2007). ·Zbl 1129.68058号 ·doi:10.1007/s10208-006-0196-8
[9] A.Caponetto，Y.Yao，《正则化算子在学习理论中的适应性》，技术报告CBCL论文265，CSAIL-TR 2006-063，麻省理工学院，马萨诸塞州剑桥（2006）·Zbl 1209.68405号
[10] A.Christmann，I.Steinwart，凸风险最小化中基于核回归的一致性和稳健性，Bernoulli 13（3），799-819（2007）·Zbl 1129.62031号 ·doi:10.3150/07-BEJ5102
[11] F.Cucker，S.Smale，《学习的数学基础》，布尔。美国数学。Soc.（NS）39（1），1-49（2002）（电子版）·Zbl 0983.68162号 ·doi:10.1090/S0273-0979-01-00923-5
[12] F.Cucker，D.-X.Zhou，学习理论：近似理论观点。剑桥应用和计算数学专著（剑桥大学出版社，剑桥，2007）。带有S.Smale的前言·Zbl 1274.41001号
[13] C.De Mol，E.De Vito，L.Rosasco，学习理论中的弹性网络正则化，J.Complex。25（2），201–230（2009年）·Zbl 1319.62087号 ·doi:10.1016/j.jco.2009.01.002
[14] E.De Vito，L.Rosasco，A.Caponetto，U.De Giovannini，F.Odone，《作为反问题的示例学习》，J.Mach。学习。第6883–904号决议（2005年）·Zbl 1222.68180号
[15] E.De Vito，L.Rosasco，A.Verri，学习理论中正则化的谱方法，技术报告DISI-TR-05-18，DISI，意大利热那瓦大学（2005）。
[16] R.DeVore，G.Kerkyacharian，D.Picard，V.Temlyakov，《论数学学习方法》，Found。计算。数学。6(1), 3–58 (2006). ·Zbl 1146.62322号 ·doi:10.1007/s10208-004-0158-6
[17] L.Devroye，L.Györfi，G.Lugosi，模式识别概率理论，数学应用，第31卷（Springer，纽约，1996）·Zbl 0853.68150号
[18] S.Dudoit，M.van der Laan，估计器选择和性能评估中交叉验证风险估计的渐近性，Stat.Methodol。2(2), 131–154 (2005). ·Zbl 1248.62004号 ·doi:10.1016/j.stamet.2005.02.003
[19] H.W.Engl、M.Hanke、A.Neubauer，《反问题的正则化》，《数学及其应用》，第375卷（Kluwer Academic，Dordrecht，1996）·Zbl 0859.65054号
[20] T.Evgeniou，M.Pontil，T.Poggio，正则化网络和支持向量机，高级计算。数学。13, 1–50 (2000). ·Zbl 0939.68098号 ·doi:10.1023/A:1018946025316
[21] S.Gaíffas，G.Lecué，《回归中受惩罚经验风险最小化者的聚合》，预印本（2009年）。
[22] A.Goldenshluger，S.Pereverzev，《关于Hilbert尺度下线性泛函的自适应逆估计》，Bernoulli 9（5），783-807（2003）·Zbl 1055.62034号 ·doi:10.3150/bj/1066418878
[23] L.Györfi，M.Kohler，A.Krzyzak，H.Walk，非参数回归的无分布理论，统计学中的Springer级数（Springer，纽约，2002）。
[24] T.Hastie，R.Tibshirani，J.Friedman，《统计学习的要素》（Springer，纽约，2001年）·Zbl 0973.62007号
[25] V.Koltchisnkii，风险最小化中的局部Rademacher复杂性和预言不等式，《Ann.Stat.34》（6），2593–2656（2004）·Zbl 1118.62065号 ·doi:10.1214/009053606000001019
[26] O.Lepskii，关于高斯白噪声中的自适应估计问题，理论问题。其应用。35, 454–466 (1990). ·Zbl 0745.62083号 ·doi:10.1137/1135065
[27] G.Lugosi，M.Wegkamp，《通过局部随机惩罚进行复杂性正则化》，《统计年鉴》。32(4), 1679–1697 (2004). ·兹比尔1045.62060 ·doi:10.1214/009053604000000463
[28] P.Mathé，重温Lepski原理，逆问题。22（3），L11–L15（2006）·Zbl 1095.65045号 ·doi:10.1088/0266-5611/22/3/L02
[29] C.Michelli，M.Pontil，通过正则化学习核函数，J.Mach。学习。第6号决议，1099–1125（2005）（电子版）·Zbl 1222.68265号
[30] S.Pereverzev，E.Schock，关于不适定问题正则化中参数的自适应选择，SIAM J.Numer。分析。43（5），2060–2076（2005）（电子版）·Zbl 1103.65058号 ·doi:10.1137/S0036142903433819
[31] T.Poggio，F.Girosi，《学习网络理论》，《科学》247978-982（1990）·Zbl 1226.92005号 ·doi:10.1126/science.247.4945.978
[32] L.Rosasco，《学习理论中的规则化方法》，Genova大学博士论文（2006年）。
[33] R.Rosipal，L.J.Trejo，A.Cichocki，采用EM方法提取非线性主成分的Kernel主成分回归，佩斯利大学技术报告（2000）。
[34] B.Schölkopf，A.J.Smola，《用内核学习》（麻省理工学院出版社，剑桥，2002年）·Zbl 1019.68094号
[35] S.Smale，D.-X.Zhou，《通过积分算子及其近似进行学习理论估计》，Constr。约26（2），153-172（2007）·Zbl 1127.68088号 ·doi:10.1007/s00365-006-0659-y
[36] I.Steinwart，A.Christmann，《支持向量机，信息科学与统计》（Springer，纽约，2008）·Zbl 1129.62031号
[37] A.N.Tikhonov，V.B.Glasko，非线性问题中正则化方法的使用，Zh。维奇尔。Mat.Mat.Fiz公司。5, 463–473 (1965).
[38] A.Tsybakov，《非参数估计导论》，《统计学中的Springer系列》（Springer，柏林，2008）·Zbl 1176.62032号
[39] A.B.Tsybakov，《统计学习中分类器的最佳聚合》，《Ann.Stat.32》，135–166（2004）·Zbl 1105.62353号 ·doi:10.1214/aos/1079120131
[40] A.van der Vaart，S.Dudoit，M.van der Laan，《Oracle多重交叉验证不等式》。统计折旧。24(3), 2006. ·Zbl 1117.62042号
[41] V.N.Vapnik，《统计学习理论，信号处理、通信和控制的自适应和学习系统》（威利，纽约，1998年）·Zbl 0935.62007号
[42] G.Wahba，观测数据的样条模型，CBMS-NSF应用数学区域会议系列，第59卷（SIAM，费城，1990年）·Zbl 0813.62001号
[43] 吴强，颖颖，周德兴，最小二乘正则回归学习率，发现。计算。数学。6(2), 171–192 (2006). ·Zbl 1100.68100号 ·doi:10.1007/s10208-004-0155-9
[44] Y.Yao，L.Rosasco，A.Caponetto，《关于梯度下降学习中的早期停止》，Constr。约26（2），289–315（2007）·兹比尔1125.62035 ·doi:10.1007/s00365-006-0663-2
[45] H.Zou，T.Hastie，《通过弹性网的正则化和变量选择》，JRSSB 67（2），301-320（2005）·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。