×

(L_{1/2})-SVM的内点方法及其在分类特征选择中的应用。 (英语) Zbl 1442.68208号

摘要:本文研究了支持向量机(SVM)的特征选择问题。利用(L_{1/2})正则化技术,我们提出了一个新的模型(L_}1/2}-SVM)。为了解决这一非凸非Lipschitz优化问题,我们首先将其转化为一个具有线性目标函数的等效二次约束优化模型,然后发展了一个内点算法。我们证明了该算法的收敛性。我们用人工数据和实际数据进行的实验表明,(L_{1/2})-SVM模型工作良好,并且该算法在选择相关特征和提高分类性能方面比一些常用方法更有效。

理学硕士:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)

软件:

UCI-毫升
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Yang,Y.M。;Pedersen,J.O.,文本分类中特征选择的比较研究,第14届机器学习国际会议论文集(ICML’97)
[2] Forman,G.,《文本分类特征选择度量的广泛实证研究》,《机器学习研究杂志》,31289-1305(2003)·Zbl 1102.68553号
[3] 盖恩,I。;韦斯顿,J。;巴恩希尔,S。;Vapnik,V.,使用支持向量机进行癌症分类的基因选择,机器学习,46,1-3,389-422(2002)·Zbl 0998.68111号 ·doi:10.1023/A:1012487302797
[4] 张,H.H。;Ahn,J。;林,X。;Park,C.,使用非凸惩罚的支持向量机进行基因选择,生物信息学,22,1,88-95(2006)·doi:10.1093/bioinformatics/bti736
[5] Saeys,Y。;Inza,I。;Larrañaga,P.,《生物信息学中的特征选择技术综述》,生物信息学,23,19,2507-2517(2007)·doi:10.1093/bioinformatics/btm344
[6] 韦斯顿,J。;Pérez-Cruz,F。;O.布斯克。;沙佩尔,O。;Elisseeff,A。;Schölkopf,B.,用于药物设计的分子生物活性预测的特征选择和转导,生物信息学,19,6,764-771(2003)·doi:10.1093/bioinformatics/btg054
[7] 刘毅,《药物发现中特征选择方法的比较研究》,《化学信息与计算机科学杂志》,44,5,1823-1828(2004)·doi:10.1021/ci049875d
[8] 盖恩,I。;韦斯顿,J。;巴恩希尔,S。;Vapnik,V.,特征提取:基础与应用,207(2006),Springer
[9] Rakotomamonjy,A.,使用基于SVM的标准进行变量选择,机器学习研究杂志,3,7-8,1357-1370(2003)·Zbl 1102.68583号 ·doi:10.1162/153244303322753706
[10] 韦斯顿,J。;穆克吉,S。;夏贝尔,O。;庞蒂尔,M。;Poggio,T。;Vapnik,V.,SVM的特征选择,神经信息处理系统会议论文集
[11] 佩莱格,D。;Meir,R.,基于泛化误差界全局最小化的特征选择算法,神经信息处理系统会议论文集
[12] 布拉德利,P.S。;Mangasarian,O.L.,通过凹极小化和支持向量机进行特征选择,机器学习国际会议论文集
[13] 韦斯顿,J。;Elisseeff,A。;Schölkopf,B。;Tipping,M.,《零形式与线性模型和核方法的使用》,《机器学习研究杂志》,31439-1461(2003)·Zbl 1102.68605号 ·doi:10.1162/153244303322753751
[14] Chan,A.B。;Vasconcelos,N。;Lanckriet,G.R.G.,稀疏SVM的直接凸松弛,第24届机器学习国际会议论文集(ICML'07)·doi:10.145/1273496.1273515
[15] Fung,G.M。;Mangasarian,O.L.,支持向量机分类的特征选择牛顿方法,计算优化与应用,28,2,185-202(2004)·兹比尔1056.90103 ·doi:10.1023/B:COAP.000026884.66338.df
[16] 朱,J。;Rosset,S。;哈斯蒂,T。;Tibshirani,R.,1-范数支持向量机,神经信息处理系统进展,16,1,49-56(2004)
[17] Tibshirani,R.,《通过套索进行回归收缩和选择》,《皇家统计学会期刊B:方法学》,58,1,267-288(1996)·Zbl 0850.62538号
[18] Zhang,T.,稀疏正则化的多级凸松弛分析,机器学习研究杂志,11,1081-1107(2010)·Zbl 1242.68262号
[19] Chartrand,R.,《通过非凸最小化精确重建稀疏信号》,IEEE Signal Processing Letters,14,10,707-710(2007)·doi:10.1109/LSP.2007.898300
[20] Chartrand,R.,用于形状保存的非凸正则化子,第14届IEEE国际图像处理会议论文集(ICIP’07)·doi:10.1109/ICIP.2007.4378949
[21] 徐,Z。;张,H。;Wang,Y。;Chang,X。;梁毅,(L_{1/2})正则化,科学中国:信息科学,53,61159-1169(2010)·Zbl 1497.62192号 ·doi:10.1007/s11432-010-0090-0
[22] 陈伟杰。;田永杰,Lp-范数近端支持向量机及其应用,《Procedia Computer Science》,1,1,2417-2423(2010)
[23] 刘杰。;李,J。;徐伟(Xu,W.)。;Shi,Y.,A weighted \(L_q)adaptive least squares support vector machine分类器-Robust and spare approximation,Expert Systems with Applications,38,3,2253-2259(2011)·doi:10.1016/j.eswa.2010.08.013
[24] 刘,Y。;Zhang,H.H。;帕克,C。;Ahn,J.,具有自适应(L_q)惩罚的支持向量机,计算统计与数据分析,51,12,6380-6394(2007)·Zbl 1446.62179号 ·doi:10.1016/j.csda.2007.02.006
[25] 刘,Z。;Lin,S。;Tan,M.,生物标记识别的Lp惩罚稀疏支持向量机,IEEE/ACM计算生物学和生物信息学汇刊,7,1,100-107(2010)·doi:10.1109/TCBB.2008.17
[26] 阿科托马蒙杰,A。;火焰,R。;加斯索,G。;Canu,S.,稀疏线性和稀疏多核多任务学习的(l_p-l_q)惩罚,IEEE神经网络学报,22,8,1307-1320(2011)·doi:10.1109/TNN.2011.2157521
[27] Tan,J.Y。;张,Z。;Zhen,L。;Zhang,C.H。;Deng,N.Y.,通过新版本的支持向量机进行自适应特征选择,神经计算和应用,23,3-4,937-945(2013)
[28] 徐,Z.B。;Chang,X.Y。;徐,F.M。;Zhang,H.,(L_{1/2})正则化:一种迭代半阈值算法,IEEE神经网络和学习系统学报,23,7,1013-1027(2012)
[29] Ge,D。;蒋,X。;Ye,Y.,关于\(L_p\)最小化复杂性的注记,数学规划,129,2285-299(2011)·Zbl 1226.90076号 ·doi:10.1007/s10107-011-0470-2
[30] Vapnik,V.N.,《统计学习理论的本质》(1995),纽约州纽约市,美国:斯普林格,纽约州,美国·Zbl 0833.62008号
[31] 范,J。;Peng,H.,参数数目不同的非冲突惩罚可能性,《统计年鉴》,32,3,928-961(2004)·Zbl 1092.62031号 ·doi:10.1214/009053604000000256
[32] K.奈特。;Fu,W.,套索型估计量的渐近性,《统计学年鉴》,28,51356-1378(2000)·Zbl 1105.62357号 ·doi:10.1214/aos/1015957397
[33] Tian,B.S。;杨晓清,非线性规划的一种内点l(l_{1/2})惩罚方法,技术报告(2013),香港理工大学应用数学系
[34] Armijo,L.,具有Lipschitz连续一阶偏导数的函数的最小化,太平洋数学杂志,16,1-3(1966)·Zbl 0202.46105号 ·doi:10.2140/pjm.1966.16.1
[35] John,F.,以不平等为附带条件的极端问题,研究与论文。科兰特周年纪念册,187-1204(1948)
[36] 纽曼,D.J。;Hettich,S。;布莱克,C.L。;Merz,C.J.,UCI机器学习数据库存储库,技术报告,9702(1998),美国加利福尼亚州欧文市:美国加利福尼亚大学信息与计算机科学系
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。