×

基于混合整数线性规划的支持向量机特征选择。 (英语) Zbl 1354.68226号

摘要:分类方法(如支持向量机)的性能在很大程度上取决于用于构造分类器的特征集的正确选择。特征选择是文献中广泛研究的一个NP-hard问题。大多数策略都建议通过利用每个变量的统计特性或通过贪婪搜索,独立于分类器构造来消除特征。所有这些策略本质上都是启发式的。在这项工作中,我们基于支持向量机的扩展提出了两种不同的混合整数线性规划公式,以克服这些缺点。提出的方法在使用优化模型构建分类器的同时执行变量选择。我们在真实世界的基准数据集上进行了实验,将我们的方法与众所周知的特征选择技术进行了比较,并以持续减少的相关特征获得了更好的预测。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
90立方厘米 混合整数编程

软件:

UCI-毫升
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 阿里,S。;Smith Miles,K.A.,关于分类的学习算法选择,Appl。软计算。,6, 119-138 (2006)
[5] Carrizosa,E。;马丁·巴拉根,B。;Romero-Morales,D.,《具有测量成本的多组支持向量机:一种生物目标方法》,离散应用。数学。,156, 950-966 (2008) ·Zbl 1152.90536号
[6] Carrizosa,E。;马丁·巴拉根,B。;Romero-Morales,D.,《在监督分类中检测相关变量和相互作用》,欧洲。《运营杂志》。研究,213260-269(2011)
[7] 盖恩,I。;冈恩,S。;Nikravesh,M。;Zadeh,L.A.,《特征提取、基础和应用》(2006),施普林格出版社:柏林施普林格
[8] 盖恩,I。;韦斯顿,J。;巴恩希尔,S。;Vapnik,V.,使用支持向量机进行癌症分类的基因选择,Mach。学习。,46, 389-422 (2002) ·Zbl 0998.68111号
[9] 哈桑,R。;Othman,R.M。;萨阿德,P。;Kasim,S.,精确二级结构预测的紧凑混合特征向量,Inform。科学。,181, 5267-5277 (2011)
[10] 伊安纳里利,F.J。;Rubin,P.A.,通过混合整数线性规划进行多类判别的特征选择,IEEE Trans。模式分析。机器。智力。,25, 779-783 (2003)
[11] Kittler,J.,《模式识别和信号处理》。模式识别和信号处理、模式识别和信息处理(1978),Sijthoff和Noordhoff:荷兰Sijthof和Noordhoff,第41-60页
[12] 马尔多纳多,S。;López,J.,使用二阶锥规划支持向量机的非平衡数据分类,模式识别。,2070-2079年(2014年)·Zbl 1339.68227号
[13] 马尔多纳多,S。;韦伯,R。;Basak,J.,核惩罚SVM用于特征选择,Inform。科学。,181, 115-128 (2011)
[14] Mangasarian,O.L。;Wild,E.W.,非线性核支持向量机的特征选择,(第七届IEEE国际数据挖掘会议(2007),IEEE:IEEE Omaha,NE),231-236
[15] 宋,L。;Smola,A。;格雷顿,A。;贝多·J。;Borgwardt,K.,《通过依赖最大化进行特征选择》,J.Mach。学习。决议,第13号,第1393-1434页(2012年)·Zbl 1303.68110号
[16] Turny,P.,《成本敏感分类:混合遗传决策树归纳算法的实证评估》,J.Artif。智力。第2369-409号决议(1995年)
[17] Uncu,O。;蒂尔肯,I.B.,《一种新的特征选择方法:结合特征包装器和过滤器》,Inform。科学。,177, 449-466 (2007) ·Zbl 1142.68494号
[18] Vapnik,V.,《统计学习理论》(1998),John Wiley and Sons·Zbl 0935.62007号
[19] Victo Sudha George,G。;Cyril Raj,V.,《利用基因表达谱对癌症分类的特征选择技术和支持向量机影响的综述》,国际计算机杂志。科学。工程监理。,2, 3, 16-27 (2011)
[20] 韦斯顿,J。;Elisseeff,A。;Schölkopf,B。;Tipping,M.,《零形式与线性模型和核方法的使用》,J.Mach。学习。第3号决议,1439-1461(2003)·Zbl 1102.68605号
[21] Yu,H。;Kim,J。;金,Y。;黄,S。;Lee,Y.H.,学习非线性排序SVM函数的有效方法,Inform。科学。,209, 37-48 (2012)
[22] 周,W。;张,L。;Jiao,L.,线性规划支持向量机,模式识别。,35, 2927-2936 (2002) ·Zbl 1010.68108号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。