×

支持向量机特征选择的拉格朗日松弛法。 (英语) Zbl 1391.90430号

摘要:我们讨论了一种基于拉格朗日松弛的启发式算法,用于处理支持向量机(SVM)框架中用于二进制分类的特征选择。特别地,我们在目标函数中嵌入了分离超平面法线的(L_{1})和(L_}0})范数的加权组合。我们提出了一个适用于拉格朗日松弛方法的混合二进制线性规划问题。基于最优乘数设置的一个性质,我们应用一个合并的非光滑优化上升算法来求解所得到的拉格朗日对偶。在所提出的方法中,我们在每一个上升步骤上都获得了最优解的下界以及低计算成本的可行解。我们在一些基准数据集上展示了我们的数值实验结果。

MSC公司:

90立方厘米 混合整数编程
68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部 哈尔

参考文献:

[1] Astorino,A。;Frangioni,A。;Fuduli,A。;Gorgone,E.,具有(潜在)连续步决策的非单调近端束方法,SIAM J.Optim。,23, 3, 1784-1809, (2013) ·Zbl 1282.90132号
[2] Astorino,A。;Frangioni,A。;高迪奥索,M。;Gorgone,E.,凸数值优化中的分段二次逼近,SIAM J.Optim。,21, 4, 1418-1438, (2011) ·Zbl 1236.90092号
[3] Aytug,H.,《使用广义弯曲分解的支持向量机的特征选择》,欧洲期刊Oper。决议,244,210-218,(2015)·Zbl 1347.62105号
[4] Bertolazzi,P。;费利奇,G。;费斯塔,P。;Fiscon,G。;Weitschek,E.,《特征选择的整数规划模型:新扩展和随机求解算法》,Eur.J.Oper。决议,250,2389-399,(2016)·Zbl 1346.90605号
[5] Bi,J。;Bennett,K。;Embrachts,M。;Breeman,K。;Song,M.,《通过稀疏支持向量机降低维数》,J.Mach。学习。决议,31229-1243,(2003)·Zbl 1102.68531号
[6] 布拉德利,P。;Mangasarian,O.,《通过凹极小化和支持向量机进行特征选择》(Shavlik,J.,《第十五届国际会议机器学习论文集》(ICML98),(1998),Morgan Kaufmann),82-90
[7] 布拉德利,P。;Mangasarian,O。;Street,W.,《通过数学编程进行特征选择》,INFORMS J.Compute。,10, 209-217, (1998) ·Zbl 1034.90529号
[8] Chang,C.-C。;Lin,C.-J.,LIBSVM:支持向量机库,ACM Trans。智力。系统。技术。,2, 27, 1:27, (2011)
[9] 陈,Y。;Lin,C.-J.,将SVMS与各种特征选择策略相结合,(Guyon,I.;Gunn,S.;Nikravesh,M.;Zadeh,L.,《特征提取、基础和应用》,(2006),Springer)
[10] 北卡罗来纳州克里斯蒂亚尼尼。;Shawe-Taylor,J.,《支持向量机和其他基于核的学习方法简介》,(2000),剑桥大学出版社
[11] Carrizosa,E。;Morales,D.R.,监督分类和数学优化,计算。操作。第40号、第1号、第150-165号决议(2013年)·Zbl 1349.68135号
[12] Fortz,B。;Gorgone,E。;Papadimitriou,用于含时组合网络设计和路由问题的拉格朗日启发式算法,网络,69,1,110-123,(2017)·Zbl 1390.90159号
[13] Frangioni,A.,在非光滑优化算法中求解半定二次型问题,计算。操作。第21099-1118号决议(1996年)·Zbl 0871.90059号
[14] Frangioni,A.,广义束方法,SIAM J.Optim。,13, 1, 117-156, (2002) ·Zbl 1041.90037号
[15] Frangioni,A。;Gorgone,E.,《具有“简单”组件的和函数的广义捆绑方法:多商品网络设计的应用》,数学。程序。,145, 1, 133-161, (2014) ·Zbl 1300.90027号
[16] Frangioni,A。;Gorgone,E。;Gendron,B.,《次梯度方法的计算效率:拉格朗日界的案例研究》,数学。程序。计算。,(2017年)·Zbl 1393.90072号
[17] 高迪奥索,M。;Giallonbardo,G。;Miglionico,G.,关于通过增量方法求解整数程序的拉格朗日对偶,计算。最佳方案。申请。,44, 117-138, (2009) ·兹比尔1184.90109
[18] 盖恩,I。;Elisseeff,A.,《变量和特征选择简介》,J.Mach。学习。决议,31157-1182,(2003)·Zbl 1102.68556号
[19] 盖恩,I。;Gunn,S。;Nikravesh,M。;Zadeh,L.,《特征提取、基础和应用》,(2006年),施普林格出版社,柏林
[20] 盖恩,I。;J·韦斯顿。;巴恩希尔,S。;Vapnik,V.,使用支持向量机进行癌症分类的基因选择,Mach。学习。,46, 1-3, 389-422, (2002) ·兹比尔0998.68111
[21] 希里亚特·乌鲁蒂,J.-B。;Lemaréchal,C.,凸分析和最小化算法II-高级理论和束方法,格兰德伦数学。威斯康辛州。,306,(1993),纽约斯普林格·弗拉格·兹比尔0795.49002
[22] Kittler,J.,特征选择和提取,(Young,A.,模式识别和图像处理手册,(1986),纽约学术出版社)
[23] Lee,E。;Tung-Lin,W.,《通过数学规划进行分类和疾病预测》(Pardalos,P.;Romeijn,H.,《医学优化手册》,(2009),Springer Optimization及其应用26)·Zbl 1341.92030号
[24] 刘,Y。;Wu,Y.,通过组合L(左)_{0}和L(左)_{1} 处罚,J.Comput。图形统计,16,4,782-798,(2007)
[25] 马尔多纳多,S。;佩雷斯,J。;韦伯,R。;Labbé,M.,《通过混合整数线性规划进行支持向量机特征选择》,《信息科学》。,279, 163-175, (2014) ·Zbl 1354.68226号
[26] Mangasarian,O.,任意形式的分离面,Oper。Res.Lett.公司。,24, 15-23, (1997) ·Zbl 1028.90037号
[27] 梅耶,体育。;Schretter,C。;Bontempi,G.,《使用可变互补性的微阵列数据中的信息论特征选择》,IEEE信号处理。Soc.,20,261-274,(2008年)
[28] Nguyen,M.H.先生。;de la Torre,F.,支持向量机的最佳特征选择,模式识别。,43, 584-591, (2010) ·Zbl 1187.68411号
[29] Rinaldi,F。;Sciandone,M.,结合线性支持向量机和凹优化的特征选择,Optim。方法软件,10,1,117-128,(2010)·Zbl 1190.90145号
[30] Vapnik,V.,《统计学习理论的本质》(1995年),纽约斯普林格出版社·Zbl 0833.62008号
[31] J·韦斯顿。;Elisseeff,A。;Schölkopf,B。;Tipping,M.,零范数与线性模型和核方法的使用,J.马赫。学习。决议,31439-1461,(2003)·Zbl 1102.68605号
[32] J·韦斯顿。;穆克吉,S。;沙佩尔,O。;庞蒂尔,M。;Poggio,T。;Vapnik,V.,支持向量机的特征选择,高级神经信息处理。系统。,12, 668-674, (2000)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。