×
Sopyła、Krzysztof;Drozda，Paweł

基于Barzilai-Borwein更新步骤的SVM随机梯度下降。 （英语） Zbl 1390.68555号

信息科学。 316, 218-233 (2015).
摘要：本文提出了一种新的方法来解决在考虑原始形式的L2-SVM时出现的优化任务。特别是，我们提出了Barzilai-Borwein（BB）更新步骤在经典随机梯度下降（SGD）算法的五种变体中的应用。评估旨在从执行时间、收敛性和对初始参数选择的敏感性等方面检查所提方法在大规模场景中的有效性。将所得结果与著名的线性SVM算法所得结果进行了比较，结果表明，所提方法的收敛程度与其他研究中发现的非常相似。此外，我们的方法对初始参数的选择敏感度低得多，这使得预处理大大减少。

引用于7文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62小时30分 分类和区分；聚类分析（统计方面）

关键词：

支持向量机;随机梯度下降;Barzilai-Borwein公司;分类;在线学习

软件：

LIBLINEAR银行;帕伽索斯;L-BFGS公司;新加坡元-QN
PDF格式BibTeX公司 XML格式引用
\textit{K.Sopyła}和\textit{P.Drozda}，信息科学。316218--233（2015；Zbl 1390.68555）
全文： 内政部

参考文献：

[1] Artiemjew，P.，《基于实验统计的dna微阵列特征提取方法》，（第六届粗糙集与知识技术国际会议论文集，RSKT’11（2011），斯普林格·弗拉格：斯普林格尔·弗拉格柏林，海德堡），642-648
[2] Barzilai，J。；Borwein，J.M.，两点步长梯度法，IMA J.Numer。分析。，8, 141-148 (1988) ·兹比尔0638.65055
[3] Bordes，A。；博图，L。；Gallinari，P.，SGD-QN：谨慎的准牛顿随机梯度下降，J.Mach。学习。研究，101737-1754（2009）·Zbl 1235.68130号
[4] Bordes，A。；博图，L。；加里纳里，P。；Chang，J。；Smith，S.A.，勘误表：Sgdqn的谨慎程度低于预期，J.Mach。学习。第11号决议，2229-2240（2010年）·Zbl 1242.68206号
[5] Bottou，L.，《随机梯度下降的大尺度机器学习》（Lechevallier，Y.；Saporta，G.，《第19届国际计算统计会议论文集》（COMPSTAT’2010）（2010），施普林格：施普林格巴黎，法国），177-187·Zbl 1436.68293号
[6] 博图，L。；Bousquet，O.，《大规模学习的权衡》（Sra，S.；Nowozin，S.，Wright，S.J.，《机器学习优化》（2011），麻省理工出版社），351-368
[7] Dai，Y.H.，Barzilai和Borwein梯度法的R-线性收敛性，IMA J.Numer。分析。，22, 1-10 (2002) ·Zbl 1002.65069号
[8] Dai，Y.H。；Zhang，H.，自适应两点步长梯度算法，数值。藻类。，27, 377-385 (2001) ·兹比尔0992.65063
[9] 风机，R.E。；Chang，K.W。；谢长廷。；王，X.R。；Lin，C.J.，LIBLINEAR:大型线性分类库，J.Mach。学习。1871-1874年第9号决议（2008年）·Zbl 1225.68175号
[10] Fletcher，R.，无约束优化的低存储方法，应用数学讲座，第26卷（1999），美国数学学会·兹比尔0699.65052
[11] 弗里德兰德，A。；马丁内斯，J.M。；莫利纳，B。；Raydan，M.，具有延迟和推广的梯度法，SIAM J.Numer。分析。，36, 275-289 (1998) ·Zbl 0940.65032号
[12] 谢长廷。；Chang，K.W。；Lin，C.J。；Keerthi，S.S。；Sundararajan，S.，《大规模线性支持向量机的双坐标下降法》，（第25届机器学习国际会议论文集，ICML’08（2008），ACM：美国纽约州纽约市ACM），408-415
[13] Joachims，T.，《使用支持向量机进行文本分类：使用许多相关特征进行学习》，Mach。学习。ECML98、1398、2-7（1998）
[14] Joachims，T.，在线性时间内训练线性SVMS，（第十二届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’06（2006），ACM：美国纽约州纽约市ACM），217-226
[15] Joachims，T。；Finley，T。；Yu，C.N.J.，结构SVMS的切割平面训练，马赫。学习。，77, 27-59 (2009) ·Zbl 1235.68161号
[16] Nocedal，J.，用有限存储更新拟Newton矩阵，数学。计算。，35 (1980), 773+ ·兹伯利0464.65037
[17] 波利亚克，B.T。；Juditsky，A.B.，通过平均加速随机近似，SIAM J.控制优化。，30, 838-855 (1992) ·Zbl 0762.62022号
[18] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。《统计》，22，400-407（1951）·Zbl 0054.05901号
[20] 沙列夫·施瓦茨，S。；辛格，Y。；Srebro，N.，Pegasos:支持向量机的原始估计子梯度解算器，（第24届机器学习国际会议论文集，2007年ICML，ACM:ACM纽约，纽约，美国），807-814
[21] Sonnenburg，S。；法国法郎。；Tov，E.Y。；Sebag，M.，PASCAL大规模学习挑战（2008）
[22] Tsochantaridis，I。；Joachims，T。；霍夫曼，T。；Altun，Y.，《结构化和相互依赖输出变量的大裕度方法》，J.Mach。学习。决议，61453-1484（2005）·Zbl 1222.68321号
[25] Yu，H.F。；谢长廷。；Chang，K.W。；Lin，C.J.，数据无法存储时的大型线性分类，（第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’10（2010），ACM：美国纽约州纽约市ACM），833-842
[27] 周，B。；高，L。；Dai，Y.H.，具有自适应步长的梯度方法，计算。最佳方案。申请。，35, 69-86 (2006) ·Zbl 1121.90099
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。