×
安德烈亚斯·克里斯特曼;弗洛里安·邓佩特;香、道红

关于机器学习中的可拓定理及其与普遍一致性的联系。 （英文） Zbl 1353.60035号

分析。申请。，辛加普。 14，第6号，795-808（2016）.
摘要：统计机器学习在现代统计学和计算机科学中发挥着重要作用。统计机器学习的一个主要目标是提供普遍一致的算法，即估计量在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于最小化再生核希尔伯特空间（RKHS）上正则化风险的核方法属于这些统计机器学习方法。对于特定数据集或未知概率测度，哪种核产生最佳结果通常是未知的。因此，提出了各种内核学习方法来选择内核，从而以数据自适应的方式选择其RKHS。然而，许多实践者经常成功地使用经典高斯RBF核或某些Sobolev核。本文的目的是为这一实证事实提供一种可能的理论解释。

引用于1文件

MSC公司：

60F99型 概率论中的极限定理
6220国集团 非参数推理的渐近性质
46 E22型 具有再生核的希尔伯特空间（=（适当的）函数希尔伯特空间，包括de Branges-Rovnyak和其他结构空间）
68问题32 计算学习理论
68T05型 人工智能中的学习和自适应系统

关键词：

机器学习;内核学习;普遍一致性;Dugundji扩张定理;卢辛定理;密度;再生核希尔伯特空间

软件：

SHOGUN公司;简单MKL
PDF格式BibTeX公司 XML格式引用
\textit{A.Christmann}等人，Ana。申请。，辛加普。14，第6号，795--808（2016；Zbl 1353.60035）
全文： 内政部 arXiv公司

参考文献：

[1] 1.S.Agarwal和P.Niyogi，通过算法稳定性实现排序算法的泛化界限，J.Mach。学习。第10号决议（2009）441-474。genRefLink（128，‘S0219530516400029BIB001’，‘000270824200012’）·Zbl 1235.68123号
[2] 2.R.B.Ash，《真实分析与概率论、概率论与数理统计》，第11卷（学术出版社，纽约，1972年）。
[3] 3.F.Bach，群套索和多核学习的一致性，J.Mach。学习。第9号决议（2008）1179-1225。genRefLink（128，'S0219530516400029BIB003'，'000258646300008'）·Zbl 1225.68147号
[4] 4.Y.Benyamini和J.Lindenstrauss，《几何非线性泛函分析》，第1卷，学术讨论会出版物，第48卷（美国数学社会，普罗维登斯，RI，2000）·Zbl 0946.46002号
[5] 5.C.Berg、J.P.R.Christensen和P.Ressel，《半群的调和分析：正定及相关函数理论》（Springer，纽约，1984）。genRefLink（16，'S0219530516400029BIB005'，'10.1007·Zbl 0619.43001号
[6] 6.A.Berlinet和C.Thomas-Agnan，在概率和统计中再现核Hilbert空间（Kluwer，Boston，2004）。genRefLink（16，'S0219530516400029BIB006'，'10.1007·Zbl 1145.6202号
[7] 7.N.Bourbaki，整合。一、 《数学要素》（Springer，Berlin，2004），Chaps。1-6，第1-487页；由Sterling K.Berberian翻译自1959年、1965年和1967年的法语原件。
[8] 8.Q.Cao，Z.C.Guo和Y.Ying，度量和相似学习的泛化界，马赫。学习102（2015）115-132。genRefLink（16，'S0219530516400029BIB008'，'10.1007
[9] 9.A.Caponetto和E.De Vito，正则化最小二乘算法的最优速率，Found。计算。数学7（2007）331-368。genRefLink（16，'S0219530516400029BIB009'，'10.1007·Zbl 1129.68058号
[10] 10.A.Caponetto、C.A.Michelli、M.Pontil和Y.Ying，《通用多任务内核》，J.Mach。学习。第9号决议（2008）1615-1646。genRefLink（128，'S0219530516400029BIB010'，'00025864680011'）·Zbl 1225.68155号
[11] 11.C.Carmeli，E.De Vito和A.Toigo，可积函数的向量值再生核Hilbert空间和Mercer定理，Ana。申请4（2006）377-408。【摘要】genRefLink（128，'S0219530516400029BIB011'，'000208432400005'）·Zbl 1116.46019号
[12] 12.C.Carmeli、E.De Vito、A.Toigo和V.Umanitá，向量值再生核Hilbert空间和普适性，Ana。申请8（2010）19-61。【摘要】genRefLink（128，'S0219530516400029BIB012'，'000274269500002'）·Zbl 1195.46025号
[13] 13.A.Christmann和I.Steinwart，非标准输入空间上的通用内核，高级神经信息。过程。系统23（2010）406-414。
[14] 14.A.Christmann和D.X.Zhou，《基于核的正则化成对学习方法的稳健性》，发表于J.Complex。(2016); doi:10.1016/j.jco。2016.07.001. ·Zbl 1403.62089号
[15] 15.S.Clémençon、G.Lugosi和N.Vayatis，U统计量的排名和经验最小化。《统计年鉴》36（2008）844-874。genRefLink（16，'S0219530516400029BIB015'，'10.1214
[16] 16.F.Cucker和D.X.Zhou，《学习理论：近似理论观点》（剑桥大学出版社，剑桥，2007）。genRefLink（16，'S0219530516400029BIB016'，'10.1017·Zbl 1274.41001号
[17] 17.C.De Mol、E.De Vito和L.Rosasco，学习理论中的弹性网络正则化，J.Complex.25（2009）201-230。genRefLink（16，'S0219530516400029BIB017'，'10.1016·Zbl 1319.62087号
[18] 18.Z.Denkowski、S.Migórski和N.Papageorgiou，《非线性分析导论：理论》（Kluwer学术出版社，波士顿，2003年）·Zbl 1040.46001号
[19] 19.R.M.Dudley，《真实分析与概率》（剑桥大学出版社，剑桥，2002年）。genRefLink（16，'S0219530516400029BIB019'，'10.1017·Zbl 1023.60001号
[20] 20.J.Dugundji，Tietze定理的推广，《太平洋数学杂志》1（1951）353-367。genRefLink（16，'S0219530516400029BIB020'，'10.2140·Zbl 0043.38105号
[21] 21.J.Dugundji，《拓扑学》（Allyn和Bacon，波士顿，1966年）。
[22] 22.范俊杰、胡涛、吴振清和周德兴，经验最小误差熵算法的一致性分析，应用。计算。哈蒙。分析41（2016）164-189。genRefLink（16，'S0219530516400029BIB022'，'10.1016·Zbl 1382.94034号
[23] 23.M.Gönen和E.Alpaydón，多核学习算法，J.Mach。学习。第12号决议（2011）2211-2268。genRefLink（128，‘S0219530516400029BIB023’，‘000293757900004’）·Zbl 1280.68167号
[24] 24.胡涛、范建军、吴庆霞和周德兴，最小误差熵准则的学习理论方法，J.Mach。学习。第14号决议（2013）377-397。genRefLink（128，‘S0219530516400029BIB024’，‘000315981900004’）·Zbl 1320.62096号
[25] 25.胡涛，樊建军，吴强，周德兴，最小误差熵原理的正则化方案，分析。申请13（2015）437-455。【摘要】genRefLink（128，'S0219530516400029BIB025'，'000353694400006'）·Zbl 1329.68216号
[26] 26.J.Jacod和P.Protter，《概率概要》，第2版。（Springer，纽约，2004年）。genRefLink（16，'S0219530516400029BIB026'，'10.1007
[27] 27.V.Koltchinskii和M.Yuan，《多核学习中的稀疏性》，《统计年鉴》38（2010）3660-3695。genRefLink（16，‘S0219530516400029BIB027’，‘10.1214
[28] 28.G.Lanckriet、N.Cristianini、P.Bartlett、L.El Ghaoui和M.Jordan，用半定规划学习核矩阵，J.Mach。学习。第5号决议（2004年）27-72。genRefLink（128，'S0219530516400029BIB028'，'000236326900001'）·Zbl 1222.68241号
[29] 29.C.Michelli和M.Pontil，通过正则化学习核函数。J.马赫。学习。第6号决议（2005）1099-1125。genRefLink（128，'S0219530516400029BIB029'，'000236329900004'）·兹比尔1222.68265
[30] 30.C.Michelli和M.Pontil，《关于学习向量值函数》，《神经计算》17（2005）177-204。genRefLink（16，'S0219530516400029BIB030'，'10.1162
[31] 31.C.A.Michelli、Y.Xu和H.Zhan，《通用内核》，J.Mach。学习。第7号决议（2006）2651-2667。genRefLink（128，‘S0219530516400029BIB031’，‘000245390800005’）；
[32] 32.S.Mukherjee和D.X.Zhou，通过梯度学习坐标协方差，J.Mach。学习。第7号决议（2006）519-549。genRefLink（128，‘S0219530516400029BIB032’，‘00023735900002’）·Zbl 1222.68270号
[33] 33.A.Nowak，关于Fréchet定理的注释，《数学年鉴》。Sil.9（1995）43-45·Zbl 0845.28008号
[34] 34.C.Ong，A.Smola和R.Williamson，用超核学习核，J.Mach。学习。第6号决议（2005）1043-1071。genRefLink（128，‘S0219530516400029BIB034’，‘000236329900002’）·Zbl 1222.68277号
[35] 35.T.Poggio和F.Girosi，函数近似的稀疏表示，《神经计算》10（1998）1445-1454。genRefLink（16，'S0219530516400029BIB035'，'10.1162
[36] 36.A.Rakotomamonjy、F.Bach、S.Canu和Y.Grandvalet、SimpleMKL、J.Mach。学习。第9号决议（2008）2491-2521。genRefLink（128，'S0219530516400029BIB036'，'000262637600004'）；
[37] 37.I.J.Schoenberg，《度量空间与完全单调函数》，《数学年鉴》。(2), 39 (1938) 811-841. genRefLink（16，'S0219530516400029BIB037'，'10.2307
[38] 38.B.Schölkopf和A.J.Smola，《用内核学习》。支持向量机，正则化，优化和超越（麻省理工学院出版社，马萨诸塞州剑桥，2002）·兹伯利1019.68094
[39] 39.C.Scovel，D.Hush，I.Steinwart和J.Theiler，径向核及其再生核Hilbert空间，J.Complex.26（2010）641-660。genRefLink（16，'S0219530516400029BIB039'，'10.1016·Zbl 1225.46019号
[40] 40.S.Smale和D.X.Zhou，通过积分算子及其近似进行学习理论估计，Constr。约26（2007）153-172。genRefLink（16，'S0219530516400029BIB040'，'10.1007
[41] 41.S.Sonnenburg、G.Rätsch、C.Schäfer和B.Schölkopf，大规模多内核学习，J.Mach。学习。第7号决议（2006）1531-1565。genRefLink（128，‘S0219530516400029BIB041’，‘00024538800016’）·Zbl 1222.90072号
[42] 42.B.K.Sriperumbudur、K.Fukumizu和G.R.G.Lanckriet，《测量的普遍性、特征核和RKHS嵌入》，J.Mach。学习。第12号决议（2011）2389-2410。genRefLink（128，'S0219530516400029BIB042'，'000293757900010'）·Zbl 1280.68198号
[43] 43.I Steinwart，《关于核对支持向量机一致性的影响》，J.Mach。学习。Res.2（2001）67-93号决议。genRefLink（128，‘S0219530516400029BIB043’，‘000173838200004’）·Zbl 1009.68143号
[44] 44.I.Steinwart和A.Christmann，《支持向量机》（Springer，纽约，2008）。
[45] 45.T.Suzuki和M.Sugiyama，《多核学习的快速学习率：稀疏性与平滑性之间的权衡》，《统计年鉴》41（2013）1381-1405。genRefLink（16，‘S0219530516400029BIB045’，‘10.1214
[46] 46.V.N.Vapnik，《统计学习理论的本质》（Springer，纽约，1995年）。genRefLink（16，'S0219530516400029BIB046'，'10.1007·Zbl 0833.62008号
[47] 47.V.N.Vapnik，《统计学习理论》（John Wiley&Sons，纽约，1998年）·Zbl 0935.62007号
[48] 48.G.Wahba，《支持向量机，再生核Hilbert空间和随机GACV》，载于《核方法的进展——支持向量学习》，编辑B.Schölkopf，C.J.C.Burges和A.Smola（麻省理工学院出版社，马萨诸塞州剑桥，1999），第69-88页。
[49] 49.H.Wendland，分段多项式，正定和紧支集最小次径向基函数，高级计算。数学4（1995）389-396。genRefLink（16，'S0219530516400029BIB049'，'10.1007·Zbl 0838.41014号
[50] 50.H.Wendland，分散数据近似（剑桥大学出版社，剑桥，2005）·Zbl 1075.65021号
[51] 51.Z.Wu，紧支正定径向函数，高级计算。数学4（1995）283-292。genRefLink（16，‘S0219530516400029BIB051’，‘10.1007·Zbl 0837.41016号
[52] 52.M.Wu、B.Schölkopf和G.Bakir，构建稀疏核学习算法的直接方法，J.Mach。学习。第7号决议（2006）603-624。genRefLink（128，‘S0219530516400029BIB052’，‘000237359100002’）·Zbl 1222.68335号
[53] 53.E.Xing、A.Ng、M.Jordan和S.Russell，距离度量学习及其在附带信息聚类中的应用，高级神经信息。过程。系统15（2003）505-512。
[54] 54.Y.Ying和D.X.Zhou，具有灵活方差的高斯的可学习性，J.Mach。学习。第8号决议（2007）249-276。genRefLink（128，'S0219530516400029BIB054'，'00024700260003'）·Zbl 1222.68339号
[55] 55.Y.Ying和D.X.Zhou，带有一般损失函数的非正规在线学习算法，将出现在应用程序。计算。哈蒙。分析。(2015); doi:10.1016/j.acha.2015.08.007。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。