×
铃木、太极

非解析多核学习的快速学习率和最优正则化策略。 （英语） Zbl 1410.62087号

电子。J.统计。 12，第2期，2141-2192（2018）.
该研究为具有任意混合形式正则化的多核学习（MKL）提供了一个快速学习速率的框架，讨论了齐次和非齐次设置下的界。本文的目的是从理论上证明在数值实验中获得的稠密型MKL方法的优越性能。
审核人：加泰罗林·斯托安（克雷奥瓦）

MSC公司：

62H15型 多元分析中的假设检验
68T05型 人工智能中的学习和自适应系统

关键词：

多核学习；快速学习率；正规化；泛化误差；错误界限；再生核Hilbert空间

软件：

DeMat公司；辣味MKL；hgam公司
PDF格式BibTeX公司 XML格式引用
\textit{T.铃木}，电子。J.Stat.12，No.2，2141--2192（2018；Zbl 1410.62087）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] J.Aflalo、A.Ben-Tal、C.Bhattacharyya、J.S.Nath和S.Raman。变量稀疏核学习。，机器学习研究杂志，12:565–5922011·Zbl 1280.68152号
[2] A.Argyriou、R.Hauser、C.A.Michelli和M.Pontil。一种用于核选择的DC编程算法。2006年，第23届机器学习国际会议。
[3] F.R.巴赫。群套索和多核学习的一致性。，机器学习研究杂志，9:1179–12252008·Zbl 1225.68147号
[4] F.R.巴赫。使用分层多核学习探索大型特征空间。D.Koller、D.Schuurmans、Y.Bengio和L.Bottou主编，《神经信息处理系统进展》21，第105-112页。2009
[5] F.R.巴赫、G.兰克里特和M.乔丹。多核学习、二次曲线对偶和SMO算法。2004年，第21届机器学习国际会议，第41–48页。
[6] P.Bartlett、O.Bousquet和S.Mendelson。局部Rademacher复杂性。，《统计年鉴》，33:1487-15372005年·Zbl 1083.62034号
[7] P.Bartlett、M.Jordan和D.McAuliffe。凸性、分类和风险边界。，美国统计协会杂志，101:138-1562006·Zbl 1118.62330号 ·doi:10.1198/01621450000000907
[8] C.Bennett和R.Sharpley。，算子插值。波士顿学术出版社，1988年·Zbl 0647.46057号
[9] O.布斯克。一个Bennett浓度不等式及其在经验过程上的应用。，C.R.学院。科学。巴黎Ser。我数学。，334:495–500, 2002. ·Zbl 1001.60021号 ·doi:10.1016/S1631-073X（02）02292-6
[10] U.Chakraborty，编辑。，差异进化研究进展（计算智能研究）。施普林格，2008年·Zbl 1153.68510号
[11] C.Cortes、M.Mohri和A.Rostamizadeh。学习核函数的非线性组合。在Y.Bengio、D.Schuurmans、J.Lafferty、C.K.I.Williams和A.Culotta编辑的《神经信息处理系统进展》22，第396-404页。2009年a。
[12] C.Cortes、M.Mohri和A.Rostamizadeh\学习核的（L_2）正则化。年，第25届人工智能不确定性会议（UAI 2009），2009b。加拿大蒙特利尔·Zbl 1283.68286号
[13] C.Cortes、M.Mohri和A.Rostamizadeh。学习核的泛化边界。2010年第27届机器学习国际会议论文集·Zbl 1283.68286号
[14] D.E.Edmunds和H.Triebel。，函数空间，熵数，微分算子。剑桥，剑桥，1996年·Zbl 0865.46020号
[15] E.Giné和R.Nickl。，无限维统计模型的数学基础。剑桥统计与概率数学系列。剑桥大学出版社，2015年。
[16] G.S.Kimeldorf和G.Wahba。关于Tchebycheffian样条函数的一些结果。，数学分析与应用杂志，33:82–951971年·Zbl 0201.39702号 ·doi:10.1016/0022-247X（71）90184-3
[17] M.Kloft、U.Brefeld、S.Sonnenburg、P.Laskov、K.-R.Müller和A.Zien。高效准确\(ℓ_p）-范数多核学习。《神经信息处理系统进展》22，第997-1005页，马萨诸塞州剑桥市，2009年。麻省理工学院出版社·Zbl 1433.68356号
[18] M.Kloft、U.Rückert和P.L.Bartlett。多内核学习的统一观点。年，《欧洲数据库机器学习和知识发现会议论文集》（ECML/PKDD），2010年·Zbl 1280.68173号
[19] M.Kloft、U.Brefeld、S.Sonnenburg和A.Zien\(ℓ_p）-规范多核学习，2011年·Zbl 1118.62065号
[20] V.科尔钦斯基。风险最小化中的局部Rademacher复杂性和oracle不等式。，《统计年鉴》，34:2593–26562006·Zbl 1280.68173号 ·doi:10.1214/009053606000001019
[21] V.Koltchinskii和M.Yuan。大型内核机器集合中的稀疏恢复。2008年，《学习理论年度会议记录》，第229-238页·Zbl 1118.62065号
[22] V.Koltchinskii和M.Yuan。多核学习中的稀疏性。，《统计年鉴》，38（6）：3660–3695，2010年·Zbl 1186.90004号 ·doi:10.1214/10-AOS825
[23] K.P.R.M.S.J.A.Lampinen。，差分进化-一种实用的全局优化方法。斯普林格，2005年·Zbl 1204.62086号
[24] G.Lanckriet、N.Cristianini、L.E.Ghaoui、P.Bartlett和M.Jordan。用半定规划学习核矩阵。，机器学习研究杂志，5:27-722004·Zbl 1186.90004号
[25] M.Ledoux和M.Talagrand。，Banach空间中的概率。等高线和过程。施普林格，纽约，1991年。MR1102015·Zbl 1222.68241号
[26] L.Meier、S.van de Geer和P.Bühlmann。高维加性建模。，《统计年鉴》，37（6B）：3779-38212009年·Zbl 0748.60004号 ·doi:10.1214/09-AOS692
[27] C.A.Michelli和M.Pontil。通过正则化学习核函数。，机器学习研究杂志，6:1099–11252005·Zbl 1360.62186号
[28] C.A.Michelli、M.Pontil、Q.Wu和D.X.Zhou。学习内核的错误界限。，分析与应用，14（06）：849–8682016·Zbl 1222.68265号 ·doi:10.1142/S0219530516400054
[29] C.S.Ong、A.J.Smola和R.C.Williamson。使用超内核学习内核。，机器学习研究杂志，6:1043-10712005·Zbl 1392.68357号
[30] G.Raskutti、M.Wainwright和B.Yu。具有加性稀疏性和光滑性的非参数回归的极小极大率的下界。年，《神经信息处理系统进展》22，第1563-1570页。麻省理工学院出版社，马萨诸塞州剑桥，2009年·兹比尔1222.68277
[31] G.Raskutti、M.Wainwright和B.Yu。基于凸规划的核类上稀疏可加模型的极小极大最优速率。技术报告，2010年，arXiv:1008.3654·Zbl 1283.62071号
[32] B.Schölkopf和A.J.Smola。，用内核学习。麻省理工学院出版社，马萨诸塞州剑桥，2002年·Zbl 1283.62071号
[33] J.肖-泰勒。新颖性检测的内核学习。年，NIPS 2008内核学习研讨会：自动选择最佳内核，Whistler，2008·Zbl 1143.68561号
[34] J.Shawe-Taylor和N.Cristianini。，模式分析的核心方法。剑桥大学出版社，2004年·兹比尔1203.68171
[35] N.Srebro和S.Ben-David。具有学习核的支持向量机的学习界。《学习理论年会论文集》，2006年·Zbl 0994.68074号
[36] I.斯坦瓦特。，支持向量机。施普林格，2008年·Zbl 1143.68561号
[37] I.Steinwart、D.Hush和C.Scovel。正则化最小二乘回归的最佳速率。2009年，《学习理论年度会议论文集》，第79-93页·兹比尔1203.68171
[38] T.铃木和M.杉山。多核学习的快速学习率：稀疏性与平滑性的权衡。，《统计年鉴》，41（3）：1381-14052013年·Zbl 0893.60001号 ·doi:10.1214/13-AOS1095
[39] T.铃木和R.富冈。SpicyMKL：一种具有数千个内核的快速多核学习算法。，机器学习，85:77–1082011年·Zbl 1273.62090号 ·doi:10.1007/s10994-011-5252-9
[40] M.塔拉格兰德。乘积空间中的新集中度不等式。，《数学发明》，126:505-5631996年·Zbl 1237.68166号 ·doi:10.1007/s002220050108
[41] R.Tomioka和T.Suzuki。MKL中的稀疏-精确权衡。年，NIPS 2009年研讨会：理解多种内核学习方法，Whistler，2009年·Zbl 0893.60001号
[42] S.van de Geer。，M估计中的经验过程。剑桥大学出版社，2000年·兹比尔1179.62073
[43] A.W.van der Vaart和J.A.Wellner。，弱收敛与经验过程：统计应用。施普林格，纽约，1996年·兹比尔1179.62073
[44] M.Varma和B.R.Babu。在有效的多核学习中更具通用性。年，第26届机器学习国际会议，2009年·Zbl 0862.60002号
[45] Q.Wu、Y.Ying和D.-X.Zhou。多核正则化分类器。，复杂性杂志，23（1）：108-1342007·Zbl 1171.65043号 ·doi:10.1016/j.jco.2006.06.007
[46] Y.Yang和A.Barron。最小最大收敛速度的信息论确定。，《统计年鉴》，27（5）：1564–15991999·Zbl 1171.65043号 ·doi:10.1214/aos/1017939142
[47] Y.Ying和C.Campbell。学习内核的泛化边界。S.Dasgupta和A.Klivans，编辑，《学习理论年度会议论文集》，魁北克蒙特利尔，2009年。全能女·Zbl 0978.62008号
[48] Y.Ying和D.-X.Zhou。具有可变方差的高斯函数的可学习性。，机器学习研究杂志，8（2月）：249–2762007·Zbl 1222.68339号
[49] 袁敏洪、林毅。分组变量回归中的模型选择与估计。，英国皇家统计学会期刊B辑，68（1）：49-672006·Zbl 1222.68339号 ·doi:10.1111/j.1467-9868.2005302.x
[50] 袁敏洪、林毅。分组变量回归中的模型选择与估计。，英国皇家统计学会期刊B辑，68（1）：49-672006·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。