×
铃木、太极;良田富冈

SpicyMKL：一种使用数千个内核进行多内核学习的快速算法。 （英文） Zbl 1237.68166号

机器。学习。 85，编号1-2，77-108（2011）.
摘要：我们提出了一种新的多核学习优化算法SpicyMKL，它适用于一般凸损失函数和一般正则化类型。提出的SpicyMKL迭代地解决了光滑最小化问题。因此，无需在内部求解SVM、LP或QP。SpicyMKL可以看作是一种近似最小化方法，并且收敛于超线性。内部最小化的成本与活动内核的数量大致成正比。因此，当我们以稀疏核组合为目标时，我们的算法可以很好地适应不断增加的核数。此外，我们给出了包含非解析正则化的MKL的一般块形式公式，如弹性网和（ell{p}）范数正则化。通过对SpicyMKL的扩展，我们提出了一种通用正则化框架的高效优化方法。实验结果表明，我们的算法比现有方法更快，尤其是当核数较大（>1000）时。

引用于11文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
90 C56 无导数方法和使用广义导数的方法

关键词：

多核学习;稀疏;非光滑优化;超线性收敛;近似最小化

软件：

简单MKL;辣味MKL;SHOGUN公司;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit｛T.Suzuki｝和\textit｛R.Tomioka｝，马赫。学习。85，编号1--2，77-108（2011；Zbl 1237.68166）
全文： 内政部 arXiv公司

参考文献：

[1] Aronszajn，N.（1950）。再生核理论。美国数学学会学报，68，337-404·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7
[2] Asuncion，A.和Newman，D.（2007年）。UCI机器学习库。网址：http://www.ics.uci.edu/mlearn/MLRepository.html。
[3] 巴赫·F·R（2008）。组Lasso和多核学习的一致性。机器学习研究杂志，9，1179-1225·Zbl 1225.68147号
[4] 巴赫，F.R。；Lanckriet，G.等人。；Jordan，M.，多核学习，二次曲线对偶和SMO算法，41-48（2004）
[5] 巴赫，F.R。；蒂博，R。；Jordan，M.I.，《学习多核的计算正则化路径》，第17期，第73-80页（2005年），剑桥
[6] Bertsekas，D.P.（1982）。约束优化和拉格朗日乘子法。纽约：学术出版社·Zbl 0572.90067号
[7] Bertsekas，D.P.（1999）。非线性规划。纳舒亚：雅典娜科技·Zbl 1015.90077号
[8] Candes，E.J.、Romberg，J.和Tao，T.（2006）。鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号。IEEE信息理论汇刊，52（2），489-509·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083
[9] 沙佩尔，O。；Rakotomamonjy，A.，核参数的二阶优化，Whistler
[10] Cortes，C.（2009）。学习内核有助于提高性能吗？受邀在加拿大蒙特利尔举行的机器学习国际会议（ICML 2009）上发表演讲。
[11] 科尔特斯，C。；莫赫里，M。；Rostamizadeh，A.，学习内核的L2正则化，加拿大蒙特利尔
[12] Daubechies，I.、Defrise，M.和Mol，C.D.（2004）。具有稀疏约束的线性反问题的迭代阈值算法。《纯粹数学与应用数学交流》，LVII，1413-1457·Zbl 1077.65055号 ·doi:10.1002/cpa.20042
[13] Figueiredo，M.和Nowak，R.（2003）。基于小波的图像恢复的EM算法。IEEE图像处理汇刊，12906-916·Zbl 1279.94015号 ·doi:10.1109/TIP.2003.814255
[14] Gehler，P.V.公司。；Nowozin，S.，让内核来解决它；核分类器预处理的原则学习（2009）
[15] Hestenes，M.（1969年）。乘数法和梯度法。优化理论与应用杂志，4303-320·Zbl 0174.20705号 ·doi:10.1007/BF00927673
[16] Kimeldorf，G.S.和Wahba，G.（1971）。关于Tchebycheffian样条函数的一些结果。数学分析与应用杂志，33，82-95·Zbl 0201.39702号 ·doi:10.1016/0022-247X（71）90184-3
[17] Kloft，M。；美国布雷菲尔德。；Sonnenburg，S。；拉斯科夫，P。；米勒，K.R。；齐恩，A。；Bengio，Y.（编辑）；Schuurmans，D.（编辑）；Lafferty，J.（编辑）；Williams，C.K.I.（编辑）；Culotta，A.（编辑），高效准确ℓp-范数多核学习，第22期，997-1005（2009），剑桥
[18] Kloft，M.、Rückert，U.和Bartlett，P.L.（2010年）。多内核学习的统一观点。arXiv:1005.0437。
[19] Lanckriet，G.、Cristianini，N.、Ghaoui，L.E.、Bartlett，P.和Jordan，M.（2004）。用半定规划学习核矩阵。机器学习研究杂志，5，27-72·Zbl 1222.68241号
[20] Micchelli，C.A.和Pontil，M.（2005）。通过正则化学习核函数。机器学习研究杂志，6，1099-1125·兹比尔1222.68265
[21] 莫西，S。；桑托罗，M。；Verri，A。；Villa，S.，基于Fenchel对偶学习最优核的新算法，Whistler
[22] Nath，J.S。；迪内什，G。；Raman，S。；巴塔查里亚，C。；Ben-Tal，A。；Ramakrishnan，K.R.，《基于混合形式的内核学习公式的算法和应用》，第22期，844-852（2009），剑桥
[23] 帕尔默，J。；维普夫·D。；Kreutz-Delgado，K。；Rao，B。；Weiss，Y.（编辑）；Schölkopf，B.（编辑）；Platt，J.（编辑），非高斯潜在变量模型的变分EM算法，第18期，1059-1066（2006），剑桥
[24] Platt，J.C.，《使用稀疏性和解析QP加快支持向量机的训练》，第11期，557-563（1999），剑桥
[25] 鲍威尔，M。；Fletcher，R.（编辑），最小化问题中非线性约束的方法，283-298（1969），伦敦·Zbl 0194.47701号
[26] Rakotomamonjy，A.、Bach，F.和Canu，S.Y.G.（2008）。SimpleMKL。机器学习研究杂志，92491-2521·Zbl 1225.68208号
[27] Rätsch，G.、Onoda，T.和Müller，K.R.（2001）。adaboost的软边距。机器学习，42（3），287-320·Zbl 0969.68128号 ·doi:10.1023/A:1007618119488
[28] Rockafellar，R.T.（1970年）。凸分析。普林斯顿：普林斯顿大学出版社·Zbl 0193.18401号
[29] Rockafellar，R.T.（1976）。增广拉格朗日算法及其在凸规划中的应用。运筹学数学，197-116·Zbl 0402.90076号 ·doi:10.1287/门1.2.97
[30] Schölkopf，B.和Smola，A.J.（2002）。用内核学习。剑桥：麻省理工学院出版社。
[31] Sonnenburg，S.、Rätsch，G.、Schäfer，C.和Schölkopf，B.（2006年）。大规模多核学习。机器学习研究杂志，71531-1565·Zbl 1222.90072号
[32] Tomioka，R.和Sugiyama，M.（2009年）。高效稀疏重建的对偶增广拉格朗日方法。IEEE信号处理信件，16（12），1067-1070·doi:10.1109/LSP.2009.2030111
[33] Tomioka，R.和Suzuki，T.（2009年）。MKL中的稀疏-精确权衡。arXiv:1001.2615·Zbl 1222.90072号
[34] Tomioka，R.和Suzuki，T.（2011年）。MKL的正则化策略和经验贝叶斯学习。arXiv:1011.3090。
[35] Tomioka，R.、Suzuki，T.和Sugiyama，M.（2011年）。稀疏学习对偶增广拉格朗日算法的超线性收敛性。机器学习研究杂志，121501-1550。
[36] Wright，S.J.、Nowak，R.D.和Figueiredo，M.A.T.（2009年）。可分离近似稀疏重建。IEEE信号处理学报，57（7），2479-2493。doi:10.1109/TSP.2009.2016892·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[37] 徐，Z。；金·R。；国王一世。；Lyu，M.R.，《高效多核学习的扩展层次方法》，第21期，1825-1832（2009），剑桥·Zbl 1170.35396号
[38] Yuan，M.，&Lin，Y.（2006）。分组变量回归中的模型选择和估计。英国皇家统计学会杂志，B辑，68（1），49-67·兹比尔1141.62030 ·doi:10.1111/j.1467-9868.2005302.x
[39] Zangwill，W.I.（1969年）。非线性规划：一种统一的方法。纽约：Prentice Hall·兹比尔0195.20804
[40] Zien，A。；Ong，C.，《多类多内核学习》，11910-1198（2007），纽约
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。