×
弗兰克·鲍尔;谢尔盖·佩雷弗泽夫;洛伦佐·罗萨斯科

学习理论中的正则化算法。 （英语） Zbl 1109.68088号

J.复杂性 23，第1期，第52-72页（2007年）.
摘要：本文讨论了学习理论与线性不适定反问题正则化之间的关系。众所周知，Tikhonov正则化可以在有监督学习的环境中得到有益的应用，在这种环境中，它通常被称为正则化最小二乘算法。此外，最近研究了梯度下降算法，这是一种类似于Landweber正则化方案的算法。在本文中，我们证明了根据不适定逆问题通常所做的工作定义的正则化概念可以导出一致的学习算法，并提供快速的收敛速度。结果表明，对于再生核Hilbert空间中以可变Hilbert尺度表示的先验，我们的Tikhonov正则化结果与S.Smale公司和D.周[通过积分算子及其近似值进行学习理论估计，提交出版，可在\（\langle\）检索http://www.tti-c.org/smale.html\（\rangle\）（2005）]，并改进了Landweber迭代的结果Y.Yao和L.Rosasco和A.卡彭托【关于梯度下降学习中的提前停止，《构造逼近》（2005），提交出版】。值得注意的是，我们的分析表明，一大类学习算法具有相同的特性，这些算法本质上都是线性正则化方案。算子单调函数的概念成为分析的重要工具。

引用于90文件

理学硕士：

68T05型 人工智能中的学习和自适应系统

关键词：

学习理论;正则化理论;非参数统计
PDF格式BibTeX公司 XML格式引用
\textit{F.Bauer}等人，《复杂性杂志》第23期，第1期，第52-72页（2007年；Zbl 1109.68088）
全文： 内政部

参考文献：

[1] Aronszajn，N.，《再生核理论》，译。阿默尔。数学。Soc.，68，337-404（1950）·Zbl 0037.20701号
[2] P.L.Bartlett、M.J.Jordan、J.D.McAuliffe，凸性、分类和风险边界，技术报告638，统计部，加州大学伯克利分校，2003年。；P.L.Bartlett、M.J.Jordan、J.D.McAuliffe，凸性、分类和风险边界，技术报告638，统计部，加州大学伯克利分校，2003年·Zbl 1118.62330号
[3] 伯曼，M.S。；Solomyak，M.，希尔伯特空间中的双算子积分，积分方程Oper。理论，131-168（2003）·Zbl 1054.47030号
[4] N.Bissantz，T.Hohage，A，Munk，F.Ruymgaart，统计反问题和应用的一般正则化方法的收敛速度，预印本，2006。；N.Bissantz，T.Hohage，A，Munk，F.Ruymgaart，统计反问题和应用的一般正则化方法的收敛速度，预印本，2006年·Zbl 1234.62062号
[5] O.布斯克。；Boucheron，S。；Lugosi，G.，（《统计学习理论导论》，《人工智能课堂讲稿》，第3176卷（2004），施普林格：施普林格-海德堡，德国，威利国际科学出版社），169-207·Zbl 1120.68428号
[6] O.Bousquet，S.Boucheron，G.Lugosi，分类理论：最新进展综述，ESAIM Probab。统计师。（2004），出炉。；O.Bousquet，S.Boucheron，G.Lugosi，分类理论：最新进展综述，ESAIM Probab。统计师。（2004），即将发布·Zbl 1136.62355号
[7] A.Caponetto，E.De Vito，正则化最小二乘算法的快速率，《CBCL论文248/AI备忘录2005-033技术报告》，麻省理工学院，剑桥，马萨诸塞州，2005年。；A.Caponetto，E.De Vito，正则化最小二乘算法的快速率，《CBCL论文248/AI备忘录2005-033技术报告》，麻省理工学院，马萨诸塞州剑桥，2005年·Zbl 1129.68058号
[8] A.Caponetto，E.De Vito，正则化最小二乘算法的最优速率，基础计算。数学。（2005），接受出版。；A.Caponetto，E.De Vito，正则化最小二乘算法的最优速率，基础计算。数学。（2005），接受出版·Zbl 1129.68058号
[9] A.Caponetto，L.Rosasco，E.De Vito，A.Verri，正则化最小二乘算法的经验有效维数和快速率，技术报告CBCL论文252/AI备忘录2005-019，马萨诸塞州剑桥市麻省理工学院，2005年。；A.Caponetto，L.Rosasco，E.De Vito，A.Verri，正则化最小二乘算法的经验有效维数和快速率，技术报告CBCL论文252/AI备忘录2005-019，马萨诸塞州剑桥市麻省理工学院，2005年。
[10] C.Carmeli，E.De Vito，A.Toigo，再现核希尔伯特空间和mercer定理，eprint arXiv:math/0504071。在\（\langle；\）上提供http://arxiv.org\（\rangle；\）；C.Carmeli，E.De Vito，A.Toigo，再生核Hilbert空间和mercer定理，eprint arXiv:math/0504071。在\（\langle；\）上提供http://arxiv.org\（\rangle；\）
[11] Cucker，F。；Smale，S.，《学习的数学基础》，布尔。阿默尔。数学。Soc.（N.S.），39，1，1-49（2002），（电子版）·兹伯利0983.68162
[12] E.De Vito，L.Rosasco，A.Caponnetto，tikhonov正则化的离散化误差分析，分析。申请。（2005），出炉。；E.De Vito，L.Rosasco，A.Caponetto，tikhonov正则化的离散化误差分析，Anal。申请。（2005），即将发布·Zbl 1088.65056号
[13] De Vito，E。；罗莎科，L。；Caponetto，A。；德乔瓦尼尼，美国。；Odone，F.，作为反问题的示例学习，J.Mach。学习研究，6883-904（2005）·Zbl 1222.68180号
[14] R.DeVore，G.Kerkyacharian，D.Picard，V.Temlyakov，《关于数学学习方法》，技术报告2004:10，南卡罗来纳大学数学系工业数学研究所，检索网址：http://www.math/sc/edu/imip/04papers/0410.ps\（\rangle；\）；R.DeVore，G.Kerkyacharian，D.Picard，V.Temlyakov，《关于数学学习方法》，技术报告2004:10，南卡罗来纳大学数学系工业数学研究所，检索网址：http://www.math/sc/edu/imip/04papers/0410.ps\（\rangle；\）·Zbl 1146.62322号
[15] Devroye，L。；Györfi，L。；Lugosi，G.，模式识别的概率理论，数学应用，第31卷（1996），Springer:Springer纽约·Zbl 0853.68150号
[16] 英国，H.W。；汉克，M。；Neubauer，A.，《反问题的正则化，数学及其应用》，第375卷（1996年），Kluwer学术出版集团：Kluwer-学术出版集团Dordrecht·Zbl 0859.65054号
[17] Evgeniou，T。；庞蒂尔，M。；Poggio，T.，正则化网络和支持向量机，Adv.Comp。数学。，13, 1-50 (2000) ·Zbl 0939.68098号
[18] Györfi，L。；科勒，M。；Krzyzak，A。；Walk，H.，《非参数回归的无分布理论》（1996），《统计学中的Springer级数：纽约统计中的Spring er级数》
[19] F.Hansen，与Jensen不等式相关的算子不等式，“经典不等式”调查，第67-i98页。；F.Hansen，与Jensen不等式相关的算子不等式，“经典不等式”综述，第67-i98页·Zbl 1040.47012号
[20] Mathé，P。；Pereverzev，S.，算子单调函数的连续模，Numer。功能。分析。最佳。，23, 623-631 (2002) ·Zbl 1027.47006号
[21] 数学，P。；Pereverzev，S.，可变希尔伯特尺度线性不适定问题的几何，反问题，19789-803（2003）·Zbl 1026.65040号
[22] P.Mathé，S.Pereverzev，用离散随机噪声数据正则化一些线性不适定问题，数学。计算。（2005），接受出版。；P.Mathé，S.Pereverzev，用离散随机噪声数据正则化一些线性不适定问题，数学。计算。（2005），接受出版。
[23] 松果，I.F。；Sakhanenko，A.I.，《关于大偏差概率不等式的评论》，理论问题。申请。，30, 1, 143-148 (1985) ·Zbl 0583.60023号
[24] L.Rosasco，E.De Vito，A.Verri，学习理论中正则化的光谱方法，技术报告DISI-TR-05-18，DISI，意大利热那瓦大学，可在\（langle；\）检索http://www.disi.unige.it/person/RosascoL网站\（\rangle；\）；L.Rosasco，E.De Vito，A.Verri，学习理论中正则化的光谱方法，技术报告DISI-TR-05-18，DISI，意大利热那瓦大学，可在\（langle；\）检索http://www.disi.unige.it/person/RosascoL网站\（\rangle；\）
[25] Rudin，W.，《函数分析》，《国际纯数学和应用数学丛书》（1991年），麦格劳-希尔：麦格劳–希尔-普林斯顿·Zbl 0867.46001号
[26] Schwartz，L.，Sous-espaces hilbertiens d'espaces vectoriels topologies et noyaux associesés（noyaux-reproduisants），J.分析数学。，13, 115-256 (1964) ·Zbl 0124.06504号
[27] S.Smale，D.Zhou，通过积分算子及其近似值的学习理论估计，提交出版，可在\（\langle；\）检索http://www.tti-c.org/smale.html\（\rangle；\）；S.Smale，D.Zhou，通过积分算子及其近似值的学习理论估计，提交出版，可在\（\langle；\）检索http://www.tti-c.org/smale.html\（\rangle；\）
[28] S.Smale，D.Zhou，Shannon sampling ii：与学习理论的联系，可检索http://www.tti-c.org/smale.html\（\rangle；\）；S.Smale，D.Zhou，Shannon sampling ii：与学习理论的联系，可检索http://www.tti-c.org/smale.html\（\rangle；\）·兹比尔1107.94008
[29] Tsybakov，A.B.，《统计学习中分类器的最佳聚合》，《统计年鉴》。，32, 135-166 (2004) ·Zbl 1105.62353号
[30] van de Geer，S.A.，M-估计的经验过程，剑桥统计与概率数学系列（2000），剑桥大学出版社：剑桥大学出版社·Zbl 0953.62049号
[31] van de Vaart，S.W。；Wellner，J.A.，《弱收敛和经验过程理论》，《统计学中的Springer系列》，纽约，1996年（1996），Springer:Springer纽约·Zbl 0862.60002号
[32] Vapnik，V.N.，《统计学习理论，信号处理、通信和控制的自适应和学习系统》，威利，纽约（1998），威利国际科学出版社·Zbl 0935.62007号
[33] Y.Yao，L.Rosasco，A.Caponetto，《关于梯度下降学习的早期停止》，《构造逼近》（2005），提交出版。；Y.Yao，L.Rosasco，A.Caponetto，《关于梯度下降学习中的早期停止》，《构造逼近》（2005），提交出版·Zbl 1125.62035号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。