×
尼基蒂迪斯、西蒙；尼古拉斯·尼古拉迪斯；Ioannis，皮特斯

多类支持向量机增量训练的乘法更新规则。 （英语） Zbl 1233.68193号

模式识别 第45期，第5期，1838-1852（2012）.
摘要：我们提出了一种新的多类支持向量机增量训练方法，该方法可以同时修改每个类分离超平面，并为训练任务提供计算效率，其中训练数据收集是连续丰富的，并且需要随着时间的推移动态调整分类器。设计了一个辅助函数，它包含了一些所需的特征，以便为目标函数提供一个上限，它总结了多类分类任务。提出了一种新的乘法更新规则集，它独立于任何类型的学习速率参数，与传统的批训练方法相比具有计算效率，并且易于实现。由于优化问题是凸的，并且使用温启动算法找到了丰富数据集的全局极小值，因此保证了收敛到全局极小值。在不同数据集上的实验证明，我们的方法比从头训练分类器更快，而达到的分类准确率保持在相同的水平。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

支持向量机；在线培训；增量学习；二次规划；热启动算法

软件：

XM2VTSDB；UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{S.Nikitidis}等人，《模式识别》45，第5期，1838--1852（2012；Zbl 1233.68193）
全文： 内政部

参考文献：

[1] Vapnik，V.，《统计学习理论的本质》（1995），Springer-Verlag:Springer-Verlag纽约·Zbl 0833.62008号
[2] 科尔特斯，C。；Vapnik，V.，支持向量网络，机器学习，20，3，273-297（1995）·Zbl 0831.68098号
[3] Burges，C.J.C.，模式识别、数据挖掘和知识发现的支持向量机教程，2，2121-167（1998）
[4] Fletcher，R.，《实用优化方法》（1987），Wiley-Interscience:Wiley-Interscience，美国纽约州纽约市·Zbl 0905.65002号
[5] 弗里，T.-T。；北卡罗来纳州克里斯蒂亚尼尼。；Campbell，C.，《核-数据子算法：支持向量机的快速简单学习过程》（The kernel-adatron algorithm:a fast and simple learning procedure for support vector machines），（机器学习国际会议（ICML）（1998），Morgan Kaufmann Publishers Inc.：Morgan Koufmann-Publishers Inc.San Francisco，CA，USA），188-196
[6] Platt，J.C.，《使用序列最小优化快速训练支持向量机》（Schölkopf，B.；Burges，C.J.C.；Smola，A.J.，《内核方法的进展——支持向量学习》（1999），麻省理工学院出版社：麻省理学学院出版社，马萨诸塞州剑桥），185-208
[7] W.克劳斯。；Mezard，M.，《神经网络中具有最佳稳定性的学习算法》，《物理杂志A：数学与一般》，20745-752（1987）
[8] Bordes，A。；Bottou，L.，The huller:一种简单有效的在线SVM，（欧洲机器学习会议（ECML）（2005）），505-512
[9] Bordes，A。；埃尔特金，S。；韦斯顿，J。；Bottou，L.，带在线和主动学习的快速核分类器，《机器学习研究杂志》，61579-1619（2005）·兹比尔1222.68152
[10] Bordes，A。；博图，L。；加里纳里，P。；Weston，J.，用LaRank求解多类支持向量机，（机器学习国际会议（ICML）（2007）），89-96
[11] 考文伯格，G。；Poggio，T.，增量和减量支持向量机学习，（神经信息处理系统（NIPS）进展，第13卷（2000），麻省理工学院出版社），409-415
[12] 拉斯科夫，P。；Gehl，C。；Krüger，S。；Müller，K.-R.，《增量支持向量学习：分析、实现和应用》，《机器学习研究杂志》，第7期，1909-1936（2006）·Zbl 1222.68245号
[13] Kim，P.J。；Chang，H.J。；Choi，J.Y.，使用样本边缘信息的一类支持向量分类器快速增量学习，（模式识别国际会议（ICPR）（2008）），1-4
[14] Shilton，A。；Palaniswami，M。；成员，S。；D.拉尔夫。；Tsoi，A.C.，支持向量机的增量训练，IEEE神经网络汇刊，16，114-131（2005）
[15] Liang，Z。；Li，Y.，《原始和应用中的增量支持向量机学习》，神经计算，72，10-12，2249-2258（2009）
[16] J.-L.An，Z.-O.Wang，Z.-P.Ma，支持向量机的增量学习算法，in：机器学习与控制论国际会议，第2卷，中国西安，2003年，第1153-1156页。；J.-L.An，Z.-O.Wang，Z.-P.Ma，支持向量机的增量学习算法，载于：机器学习与控制论国际会议，第2卷，中国西安，2003年，第1153-1156页。
[17] Katagiri，S。；Abe，S.，使用超球体的支持向量机增量训练，模式识别字母，27，13，1495-1507（2006）
[18] 池田，K。；Yamasaki，T.，增量支持向量机及其几何分析，神经计算，70，13-15，2528-2533（2007）
[19] 普拉特，J.C。；北卡罗来纳州克里斯蒂亚尼尼。；Shawe-Taylor，J.，《神经信息处理系统的进展》，第12卷（2000年），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥市，547-553
[20] Gálmeanu，H。；Andonie，R.，使用自适应有向非循环图的多类增减SVM方法，（IEEE自适应和智能系统国际会议（2009）），114-119
[21] 韦斯顿，J。；Watkins，C.，用于多类模式识别的支持向量机，（欧洲人工神经网络研讨会（1999））
[22] Vapnik，V.，《统计学习理论》（1998），威利·兹比尔0935.62007
[23] 克拉默，K。；Singer，Y.，《关于基于核的多类向量机的算法实现》，《机器学习研究杂志》，2265-292（2001）·Zbl 1037.68110号
[24] 克拉默，K。；Singer，Y.，《关于多类问题输出代码的可学习性和设计》，机器学习，47，2-3，201-233（2002）·Zbl 1012.68155号
[25] 艾泽曼。；布拉弗曼，E.M。；Rozoner，L.I.，模式识别学习中潜在函数方法的理论基础，自动化和远程控制，25821-837（1964）·Zbl 0151.24701号
[26] Schölkopf，B。；Smola，A.J.，《与内核一起学习》（2002），麻省理工学院出版社：麻省理学院出版社，剑桥
[27] S.Nikitidis，N.Nikolaidis，I.Pitas，多类支持向量机的增量训练，摘自：模式识别国际会议（ICPR），土耳其伊斯坦布尔，2010年，第4267-4270页。；S.Nikitidis，N.Nikolaidis，I.Pitas，多类支持向量机的增量训练，收录于：模式识别国际会议（ICPR），土耳其伊斯坦布尔，2010年，第4267-4270页·Zbl 1233.68193号
[28] Schölkopf，B。；米卡，S。；Burges，C.J.C。；Knirsch，P。；米勒，K.R。；Rätsch，G。；Smola，A.J.，基于核方法中的输入空间与特征空间，IEEE神经网络汇刊，10，5，1000-1017（1999）
[29] 穆勒，K.R。；米卡，S。；Rätsch，G。；Tsuda，K。；Schölkopf，B.，基于内核的学习算法简介，IEEE神经网络汇刊，12，2，181-201（2001）
[30] 沙·F。；Lin，Y。；Saul，L.K。；Lee，D.D.，非负二次规划的乘法更新，神经计算，19,82004-2031（2007）·Zbl 1161.90456号
[31] 沙·F。；Saul，L.K。；Lee，D.D.，支持向量机中非负二次规划的乘法更新，（Becker，S.；Thrun，S.）；Obermayer，K.，《神经信息处理系统（NIPS）进展》（2002），麻省理工学院出版社，1041-1048
[32] Dempster，A.P。；新墨西哥州莱尔德。；Rubin，D.B.，《通过EM算法从不完整数据中获取最大似然》，《皇家统计学会杂志》，B辑，39，1，1-38（1977）·Zbl 0364.62022号
[33] Lee，D.D。；Seung，H.S.，非负矩阵分解算法，（神经信息处理系统（NIPS）进展（2001），麻省理工学院出版社），556-562
[34] Gondzio，J.，切平面方案中应用的原对偶方法的温启动，数学规划，83，1，125-143（1998）·Zbl 0920.90102号
[35] 贡齐奥，J。；Grothe，A.，用原对偶内点法进行再优化，SIAM优化杂志，13，3，842-864（2003）·Zbl 1101.90401号
[36] Yildirim，E.A。；Wright，S.，线性规划内点方法中的温启动策略，SIAM优化杂志，12，3，782-810（2002）·Zbl 1007.90079号
[37] 约翰·E。；Yildirim，E.A.，固定维线性规划内点方法中热启动策略的实施，计算优化与应用，41，151-183（2008）·Zbl 1168.90554号
[38] A.Asuncion，D.Newman，UCI机器学习库，2007年。URL（语言）网址：http://www.ics.uci.edu/～mlearn/MLRepository.html \（\rangle\）；A.Asuncion，D.Newman，UCI机器学习库，2007年。URL（语言）网址：http://www.ics.uci.edu/～mlearn/MLRepository.html \（\rangle\）
[39] Messer，K。；马塔斯，J。；Kittler，J。；卢汀，J。；Maitre，G.，XM2VTSDB:The extended M2VTS database，（基于音频和视频的生物特征身份验证（AVBPA）国际会议（1999）），72-77
[40] 徐，C.-W。；Lin，C.-J.，多类支持向量机方法的比较，IEEE神经网络汇刊，13，2，415-425（2002）
[41] 科尔曼，T。；Leiserson，C。；铆钉，R。；Stein，C.，算法导论（2001），麻省理工学院出版社·Zbl 1047.68161号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。