×
朱利奥·加尔文;马蒂奥·拉普奇;林志珍;马可·西安德龙

利用一阶和二阶信息解决SVM训练问题的两级分解框架。 （英语） Zbl 07370540号

J.马赫。学习。物件。 22，第23号论文，38页（2021年）.
摘要：在这项工作中，我们提出了一种新的方法来解决使用分解算法训练支持向量机（SVM）时产生的子问题。最先进的顺序最小化优化（SMO）求解器将原始问题简化为两个变量的子问题序列，其解是解析的。虽然一次考虑两个以上的变量通常会减少训练SVM模型所需的迭代次数，但解决子问题变得更加困难，并且总体计算收益有限（如果有的话）。我们建议应用二元分解方法来解决子问题本身，并通过实验证明，这是一种处理多达50个变量的子问题的可行且有效的方法。作为第二个贡献，我们探索了选择工作集及其大小的不同方法，将一阶和二阶工作集选择规则与利用Hessian矩阵缓存元素的策略相结合。大量的数值比较表明，该方法比最先进的软件性能要好得多。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

虚拟机;支持向量机;分解法;工作集选择;顺序最小优化

软件：

LOQO公司;伦敦银行支持向量机;RCV1型;到岸价格
PDF格式BibTeX公司 XML格式引用
\textit{G.Galvan}等人，J.Mach。学习。第22号决议，第23号论文，第38页（2021；Zbl 07370540）
全文： 链接

参考文献：

[1] 安倍晋三。基于精确增量训练的批量支持向量训练。在国际人工神经网络会议上，第295-304页。施普林格，2008年。
[2] 皮埃尔·巴尔迪、彼得·萨多夫斯基和丹尼尔·怀特森。通过深入学习，在高能物理中寻找奇异粒子。《自然通讯》，2014年5月4308日。
[3] Bernhard E.Boser、Isabelle M.Guyon和Vladimir N.Vapnik。一种最优边缘分类器的训练算法。第五届计算学习理论年度研讨会论文集，第144-152页。ACM，1992年。
[4] 莱昂·博图、奥利维尔·夏贝尔、丹尼斯·德科斯特和杰森·韦斯顿。支持向量机解算器。麻省理工学院出版社，2007年。
[5] 张志忠和林志仁。LIBSVM：支持向量机库。ACM智能系统与技术汇刊（TIST），2（3）：272011。
[6] 张志忠，徐志伟，林志仁。支持向量机分解方法分析。IEEE神经网络汇刊，11（4）：1003-10082000。
[7] Pai-Hsuen Chen、Rong-En Fan和Chih-Jen Lin。支持向量机的SMO型分解方法研究。IEEE神经网络汇刊，17（4）：893-9082006·Zbl 1168.68453号
[8] Ronan Collobert、Samy Bengio和Yoshua Bengio。大规模问题的SVM并行混合。神经信息处理系统进展，第633-640页，2002年·Zbl 1003.68135号
[9] 科琳娜·科尔特斯和弗拉基米尔·瓦普尼克。支持向量网络。机器学习，20（3）：273-2971995·Zbl 0831.68098号
[10] 戴玉红和罗杰·弗莱彻。具有上下界的单线性约束二次规划的新算法。《数学程序设计》，106（3）：403-4212006·Zbl 1134.90030号
[11] 伊丽莎白·多兰和豪尔赫·莫尔。具有性能配置文件的基准优化软件。数学规划，91（2）：201-2132002·邮编：1049.90004
[12] Dheeru Dua和Efi Karra Taniskidou。UCI机器学习库，2017.URLhttp://archive.ics.uci.edu/ml。
[13] Fan Rong En，Pai Hsuen Chen和Chih Jen Lin。使用二阶信息训练支持向量机的工作集选择。机器学习研究杂志，6（12月）：1889-19182005·Zbl 1222.68198号
[14] 蒂洛·托马斯·弗里、尼洛·克里斯蒂亚尼尼和科林·坎贝尔。核-基准算法：支持向量机的快速简单学习过程。《机器学习：第十五届国际会议论文集》（ICML'98），第188-196页，1998年。
[15] 托比亚斯·格拉斯马赫和克里斯蒂安·伊格尔。SVM的最大增益工作集选择。机器学习研究杂志，7（7月）：1437-14662006·Zbl 1222.90040号
[16] Todd R.Golub、Donna K.Slonim、Pablo Tamayo、Christine Huard、Michelle Gaasenbeek、Jill P.Mesirov、Hilary Coller、Mignon L.Loh、James R.Downing、Mark A.Caligiuri等。癌症的分子分类：通过基因表达监测进行类别发现和预测。科学，286（5439）：531-5371999。
[17] 何开明、张湘玉、任少清、孙建军。深剩余网络中的身份映射。欧洲计算机视觉会议，第630-645页。斯普林格，2016年。
[18] 徐志伟和林志仁。支持向量机的一种简单分解方法。机器学习，46（1-3）：291-3142002·Zbl 0998.68108号
[19] 托尔斯滕·约阿希姆斯（Thorsten Joachims）。使大规模支持向量机学习实用化。Bernhard Sch¨olkopf、Christopher J.C.Burges和Alexander J.Smola主编，《内核方法的进展》，第169-184页。麻省理工学院出版社，马萨诸塞州剑桥，美国。国际标准图书编号0-26219416-3。
[20] Sathiya S.Keerthi和Dennis DeCoster。一种改进的有限牛顿法快速求解大规模线性SVM。机器学习研究杂志，6（3月）：341-3612005·Zbl 1222.68231号
[21] Sathiya S.Keerthi、Shirish K.Shevade、Chiranjib Bhattacharyya和Krishna R.K.Murthy。支持向量机分类器设计的快速迭代最近点算法。IEEE神经网络汇刊，11（1）：124-1362000。
[22] Sathiya S.Keerthi、Shirish K.Shevade、Chiranjib Bhattacharyya和Karuturi R.K.Murthy。改进了用于SVM分类器设计的Platt SMO算法。神经计算，13（3）：637-6492001·Zbl 1085.68629号
[23] 亚历克斯·克利舍夫斯基（Alex Krizhevsky）。从微小图像中学习多层特征。技术报告，2009年。
[24] David D Lewis，Yiming Yang，Tony G Rose和Fan Li。Rcv1:文本分类研究的新基准集合。机器学习研究杂志，5（4月）：361-3972004。
[25] 林志仁。关于支持向量机分解方法的收敛性。IEEE神经网络汇刊，12（6）：1288-12982001。
[26] 林志仁。无任何假设的SMO算法的渐近收敛性。IEEE神经网络汇刊，13（1）：248-2502002a。
[27] 林志仁。支持向量机分解方法停止准则的形式化分析。IEEE神经网络汇刊，13（5）：1045-10522002b。
[28] Chih-Jen Lin和Jorge J Mor´e。求解大型有界约束优化问题的牛顿方法。SIAM优化杂志，9（4）：1100-11271999·Zbl 0957.65064号
[29] 林志仁（Chih-Jen Lin）、斯特凡诺·卢西迪（Stefano Lucidi）、劳拉·帕拉吉（Laura Palagi）、阿纳多·里西（Arnaldo Risi）和马可·西安德龙（Marco Sciandone）。具有上下界的单线性约束问题的分解算法模型。优化理论与应用杂志，141（1）：107-1262009·Zbl 1168.90556号
[30] 斯特凡诺·卢西迪（Stefano Lucidi）、劳拉·帕拉吉（Laura Palagi）、阿纳多·里西（Arnaldo Risi）和马可·西安德龙（Marco Sciandone）。支持向量机的收敛分解算法。计算优化与应用，38（2）：217-2342007·Zbl 1172.90443号
[31] 斯特凡诺·卢西迪（Stefano Lucidi）、劳拉·帕拉吉（Laura Palagi）、阿纳多·里西（Arnaldo Risi）和马可·西安德龙（Marco Sciandone）。一种用于SVM训练的收敛混合分解算法模型。IEEE神经网络汇刊，20（6）：1055-10602009。
[32] Olvi L Mangasarian和David R Musicant。支持向量机的连续过度松弛。IEEE神经网络汇刊，10（5）：1032-10371999。
[33] Edgar Osuna、Robert Freund和Federico Girosi。一种改进的支持向量机训练算法。用于信号处理的InNeural Networks VII。1997年IEEE信号处理学会研讨会论文集，第276-285页。IEEE，1997年。
[34] 费尔南多·佩雷兹·克鲁兹（Fernando P´erez-Cruz）、安巴尔·菲格雷拉斯·维达尔（Anbal R Figueiras-Vidal）和安东尼奥·阿特斯·罗德（Antonio Art´es-Rodr´´guez）。双分块用于解决超大数据集的svm。《学习学报》，2004年。
[35] 维罗妮卡·皮夏利（Veronica Piccialli）和马可·西安德龙（Marco Sciandone）。非线性优化和支持向量机。4OR，16（2）：111-1492018·Zbl 1398.65126号
[36] 约翰·普拉特。内核方法的进展。第185-208页，使用序列最小优化快速训练支持向量机。麻省理工学院出版社，马萨诸塞州剑桥，美国。
[37] 丹尼尔·普罗霍罗夫。IJCNN 2001年神经网络竞赛。IJCNN幻灯片演示，2001年。
[38] Craig Saunders、Mark O Stitson、Jason Weston、Leon Bottou、A Smola等。支持向量机参考手册。技术报告CSD-TR-98-031998。
[39] 托马斯·塞拉菲尼和卢卡·赞尼。基于梯度投影的支持向量机分解技术中的工作集选择。优化方法与软件，20（4-5）：583-5962005·Zbl 1116.90115号
[40] Norikazu Takahashi和Tetsuo Nishi。支持向量机分解学习方法的全局收敛性。IEEE神经网络汇刊，17（6）：1362-13692006。
[41] Andrew V Uzilov、Joshua M Keegan和David H Mathews。基于预测的二级结构形成自由能变化检测非编码rna。BMC生物信息学，7（1）：1732006。
[42] 罗伯特·范德贝（Robert J Vanderbei）。Loqo：二次规划的内部点代码。优化方法和软件，11（1-4）：451-4841999·Zbl 0973.90518号
[43] SVM Vishwanathan和M Narasimha Murty。SSVM：一种简单的SVM算法。2002年国际神经网络联合会议论文集。IJCNN'02，第3卷，第2393-2398页。IEEE，2002年。
[44] Xiang-Fu Yu，Fang-Lan Huang，Chih-Jen Lin。logistic回归和最大熵模型的双坐标下降方法。机器学习，85（1-2）：41-752011·Zbl 1237.62090号
[45] Guo-Xun Yuan，Chia-Hua Ho，and Chih-Jen Lin.一种改进的用于l1-正则化logistic回归的GLMNET。机器学习研究杂志，13（6月）：1999-302012·Zbl 1432.68404号
[46] 卢卡·赞尼。一种改进的基于梯度投影的支持向量机分解技术。计算管理科学，3（2）：131-1452006·Zbl 1163.90693号
[47] 张巧芝、王迪和王彦国。支持向量机分解方法的收敛性。神经计算，317:179-1872018。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。