×
马修·布隆德尔；Kazuhiro Seki先生；Uehara、Kuniaki

大规模稀疏多类分类的块坐标下降算法。 （英语） Zbl 1293.68216号

机器。学习。 93，第1期，31-52（2013）.
摘要：在过去的十年中，正则化已经成为一种利用隐式特征选择学习分类器的强大方法。最近，混合形式（例如，\（\ell_1/\ell_2））正则化被用作选择整个特征组的方法。在本文中，我们提出了一种新的直接多类公式，专门用于大规模和高维问题，如文档分类。基于平方铰链损失的多类扩展，我们的公式采用了（ell_1/ell_2）正则化，以便在所有类中强制与相同特征对应的权重为零，从而形成紧凑且快速评估的多类模型。为了优化，我们使用了两种全局收敛的块坐标下降变体，一种是直线搜索[曾荫权（P.Tseng）和S.Yun（S.云），数学。程序。117，第1-2（B）号，387-423（2009年；Zbl 1166.90016号)]另一个没有P.Richtárik先生和M.塔卡奇【数学课程.144，第1-2（A）号，1-38（2014；Zbl 1301.65051号); “大数据优化的并行坐标下降法”，预打印，arXiv:1212.0873]. 我们以统一的方式呈现了这两种变体，并开发了有效解决我们的公式所需的核心组件。最终的结果是针对我们的多类公式专门定制了两个块坐标下降算法。实验表明，与FOBOS、FISTA和SpaRSA等其他解算器相比，块坐标下降算法性能良好。此外，我们还表明，我们的公式获得了非常紧凑的多类模型，并且在训练速度、，同时达到可比的测试精度。

引用于9文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）

关键词：

多类别分类；群稀疏性；块坐标下降

引文：

Zbl 1166.90016号；Zbl 1301.65051号

软件：

格尔姆奈特；帕伽索斯；菲斯塔；备用日志记录
PDF格式BibTeX公司 XML格式引用
\textit{M.Blondel}等人，马赫。学习。93，第1号，第31-52号（2013；Zbl 1293.68216）
全文： 内政部

参考文献：

[1] 巴赫·F·R、杰纳顿·R、迈拉尔·J和奥博金斯基·G（2012）。具有稀疏诱导惩罚的优化。机器学习的基础和趋势，4（1），1-106·Zbl 06064248号 ·doi:101561/220000002015
[2] Bakin，S.（1999）。数据挖掘问题中的适应性回归和模型选择。澳大利亚国立大学博士论文。
[3] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志，2183-202·Zbl 1175.94009号 ·doi:10.1137/080716542
[4] Bertsekas，D.P.（1999）。非线性规划。贝尔蒙特：雅典娜科技·Zbl 1015.90077号
[5] Boser，B.E。；盖恩，I.M。；Vapnik，V.N.，最优边缘分类器的训练算法，144-152（1992）
[6] Chang，K.W.，Hsieh，C.J.，&Lin，C.J.（2008）。大规模l2-loss线性支持向量机的坐标下降法。机器学习研究杂志，91369-1398·Zbl 1225.68157号
[7] Combettes，P.，&Wajs，V.（2005年）。通过近端前向背向分裂恢复信号。多尺度建模与仿真，41168-1200·Zbl 1179.94031号 ·doi:10.1137/050626090
[8] Crammer，K.和Singer，Y.（2002年）。关于基于多类核的向量机的算法实现。机器学习研究杂志，2，265-292·Zbl 1037.68110号
[9] Dredze，M。；克拉默，K。；Pereira，F.，置信加权线性分类，264-271（2008）·数字对象标识代码：10.1145/1390156.1390190
[10] 杜奇，J。；Singer，Y.，《结构稀疏性增强》，297-304（2009）
[11] Duchi，J.和Singer，Y.（2009年b）。使用正向-反向分裂实现高效的在线和批量学习。《机器学习研究杂志》，102899-2934·Zbl 1235.62151号
[12] Elisseeff，A。；Weston，J.，多标记分类的核方法，681-687（2001）
[13] Fan，R.E.和Lin，C.J.（2007）。多标签分类的阈值选择研究。国立台湾大学技术代表。
[14] Friedman，J.、Hastie，T.、Höfling，H.和Tibshirani，R.（2007）。路径坐标优化。应用统计年鉴，1302-332·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[15] Friedman，J.、Hastie，T.和Tibshirani，R.（2010a）。关于组套索和稀疏组套索的注释。技术代表：1001.0736。
[16] Friedman，J.H.、Hastie，T.和Tibshirani，R.（2010年b）。广义线性模型的坐标下降正则化路径。统计软件杂志，33，1-22。
[17] 傅文杰（1998）。惩罚回归：桥梁与套索。计算与图形统计杂志，7397-416。
[18] Lee，Y.、Lin，Y.和Wahba，G.（2004年）。多类别支持向量机、理论和在微阵列数据和卫星辐射数据分类中的应用。美国统计协会杂志，99，67-81·Zbl 1089.62511号 ·doi:10.1198/016214500000098
[19] Mangasarian，O.（2002）。分类的有限牛顿法。优化方法和软件，17，913-929·Zbl 1065.90078号 ·网址：10.1080/1055678021000028375
[20] Meier，L.、Van de Geer，S.和Bühlmann，P.（2008）。该组套索用于逻辑回归。英国皇家统计学会杂志。B系列：统计方法，70（1），53-71·Zbl 1400.62276号 ·文件编号：10.1111/j.1467-9868.2007.00627.x
[21] Obozinski，G.、Taskar，B.和Jordan，M.I.（2010年）。多分类问题的联合协变量选择和联合子空间选择。统计与计算，20（2），231-252·数字对象标识代码：10.1007/s11222-008-9111-x
[22] Qin，Z.、Scheinberg，K.和Goldfarb，D.（2010年）。组套索的高效块坐标下降算法。哥伦比亚大学技术代表·Zbl 1275.90059
[23] Richtárik，P.和Takánch，M.（2012年a）。最小化复合函数的随机块坐标下降方法的迭代复杂性。数学编程，1-38·Zbl 1301.65051号
[24] Richtárik，P.和Takánch，M.（2012年b）。大数据优化的并行坐标下降法。技术代表：1212.0873·兹比尔1342.90102
[25] Rifkin，R.和Klautau，A.（2004）。为一对一分类辩护。机器学习研究杂志，5101-141·Zbl 1222.68287号
[26] Shalev-Shwartz，S.、Singer，Y.、Srebro，N.和Cotter，A.（2010年）。Pegasos：支持向量机的原始估计子梯度解算器。数学编程，1-28·Zbl 1211.90239号
[27] Shevade，S.K.和Keerthi，S.S.（2003）。一种使用稀疏逻辑回归进行基因选择的简单高效算法。生物信息学，19（17），2246-2253·doi:10.1093/bioinformatics/btg308
[28] Tseng，P.，&Yun，S.（2009年）。非光滑可分离极小化问题的坐标梯度下降法。数学编程，117387-423·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[29] 温伯格，K。；Dasgupta，A。；Langford，J。；Smola，A。；Attennberg，J.，大规模多任务学习的特征哈希，1113-1120（2009）
[30] J·韦斯顿。；Watkins，C.，多类模式识别的支持向量机，219-224（1999）
[31] Wright，S.J.（2012）。用于正则化优化的加速块坐标松弛。SIAM优化杂志，22，159-186·Zbl 1357.49105号 ·数字对象标识代码：10.1137/100808563
[32] Wright，S.J.、Nowak，R.D.和Figueiredo，M.A.T.（2009年）。可分离近似稀疏重建。《信号处理学报》，57（7），2479-2493·Zbl 1391.94442号 ·doi:10.1109/TSP.2009.2016892
[33] Yuan，M.，&Lin，Y.（2006）。分组变量回归中的模型选择和估计。英国皇家统计学会杂志，B辑，68，49-67·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[34] 袁国喜、张国伟、谢家杰和林家杰（2010）。大规模l1正则化线性分类优化方法和软件的比较。机器学习研究杂志，11，3183-3234·Zbl 1242.62065号
[35] 袁国喜。；Ho，C.H。；Lin，C.J.，《l1-正则逻辑回归的改进glmnet》，33-41（2011）
[36] Zhang，H.H.，Liu，Y.，Wu，Y.&Zhu，J.（2006）。基于超形式正则化的多类别svm变量选择。电子统计杂志，2149-167·Zbl 1135.62056号 ·doi:10.1214/08-EJS122
[37] Zhao，P.，&Yu，B.（2006）。套索的模型选择一致性。机器学习研究杂志，72541-2563·Zbl 1222.62008年
[38] Zou，H.和Hastie，T.（2005）。通过弹性网进行规则化和变量选择。英国皇家统计学会杂志，B辑，67301-320·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。