×

使用符号分类的嵌入式变量选择方法。 (英语) Zbl 1419.62151号

总结:我们提出了两种使用符号分类的变量选择方法。我们试图从一组输入变量中选择能够使分类器获得最佳性能的变量。一种方法基于反向选择重复删除变量,而第二种方法通过解决优化问题直接选择一组变量。该方法考虑变量之间的非线性相互作用进行变量选择,并用所选变量获得符号分类器。计算结果表明,与现有方法相比,所提出的方法能够更有效地选择期望的变量来预测输出,并为分类器提供更好或可比较的测试错误率。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bache,K.和Lichman,M.(2013)。加州大学欧文分校(UCI)机器学习库。http://archive.ics.uci.edu/ml。 ·Zbl 1102.68586号
[2] Bay,S.D.(1998年)。通过多个特征子集组合最近邻分类器。第15届机器学习国际会议论文集(ICML'98,第37-45页)。威斯康星州麦迪逊:摩根考夫曼出版社。
[3] Bertsimas,D.和Tsitsiklis,J.N.(1997年)。线性优化简介。雅典娜优化和神经计算科学系列第6名。贝尔蒙特:雅典娜科技公司,MAMSC。
[4] Bi,J.、Bennett,K.、Embrechts,M.、Breeman,C.和Song,M.(2003)。通过支持向量机进行降维。机器学习研究杂志,31229-1243·Zbl 1102.68531号
[5] Biesiada,J.和Duch,W.(2007年)。高维数据的特征选择——基于Pearson冗余的过滤器。计算机识别系统2,软计算进展(第45卷,第242-249页)。纽约:斯普林格·Zbl 1102.68605号
[6] Bradley,P.S.,Mangasarian,O.L.,&Street,W.N.(1998年)。通过数学编程进行特征选择。信息计算杂志,10209-217·Zbl 1034.90529号 ·doi:10.1287/ijoc.10.2.209
[7] Breiman,L.、Friedman,J.H.、Olshen,R.A.和Stone,C.J.(1984)。分类和回归树。加利福尼亚州贝尔蒙特:华兹华斯国际集团·Zbl 0541.62042号
[8] Canu,S.、Grandvalet,Y.、Guigue,V.和Rakotomamonjy,A.(2005)。支持向量机和核方法matlab工具箱。INSA de Rouen,Rouen:感知系统与信息。
[9] Chapelle,O.、Vapnik,V.、Bousquet,O.和Mukherjee,S.(2002年)。为支持向量机选择多个参数。机器学习,46131-159·Zbl 0998.68101号 ·doi:10.1023/A:1012450327387
[10] Cover,T.和Hart,P.(1967年)。最近邻模式分类。IEEE信息理论汇刊,13,21-27·Zbl 0154.44505号 ·doi:10.1109/TIT.1967.1053964
[11] Cun,Y.L.、Denker,J.S.和Solla,S.A.(1989年)。最佳脑损伤。《第二届神经信息处理系统年会论文集》(NIPS’89,第598-605页)。摩根考夫曼出版社:丹佛,科罗拉多州。
[12] Dash,M.、Choi,K.、Scheuermann,P.和Liu,H.(2002)。聚类的特征选择—一种过滤解决方案。第二届数据挖掘国际会议论文集(ICDM’02,第115-122页)。Maebashi:IEEE计算机协会·Zbl 0998.68111号
[13] Fung,G.M.和Mangasarian,O.L.(2004)。支持向量机分类的特征选择牛顿法。计算优化与应用,28185-202·Zbl 1056.90103号 ·doi:10.1023/B:COAP.000026884.66338.df
[14] Garey,M.R.和Johnson,D.S.(1979年)。计算机与难处理性:NP-完备性理论指南。,纽约州纽约市数学科学系列丛书:W.H.Freeman and Company·Zbl 0411.68039号
[15] Grandvalet,Y.和Canu,S.(2002年)。SVM中特征选择的自适应缩放。第15届神经信息处理系统年会论文集(NIPS’02,第553-560页)。不列颠哥伦比亚省温哥华:麻省理工学院出版社。
[16] Guyon,I.和Elisseeff,A.(2003)。变量和特征选择简介。《机器学习研究杂志》,31157-1182·Zbl 1102.68556号
[17] Guyon,I.、Weston,J.、Barnhill,S.和Vapnik,V.(2002)。使用支持向量机进行癌症分类的基因选择。机器学习,46389-422·Zbl 0998.68111号 ·doi:10.1023/A:1012487302797
[18] Hermes,L.和Buhmann,J.M.(2000年)。支持向量机的特征选择。《第15届模式识别国际会议论文集》(ICPR’00,第2卷,第716-719页)。巴塞罗那:IEEE计算机协会。
[19] Hosmer,D.和Lemeshow,S.(2005年)。应用逻辑回归(第二版)。,威利概率统计系列纽约:威利·Zbl 0967.62045号
[20] Hsu,C.W.,Chang,C.C和Lin,C.J.(2003)。支持向量分类的实用指南。技术报告,国立台湾大学计算机科学系,台北106,台湾·Zbl 1102.68605号
[21] Jebara,T.和Jaakkola,T.(2000)。最大熵判别中的特征选择和二重性。《第16届人工智能不确定性会议论文集》(UAI'00,第291-300页)。加利福尼亚州斯坦福:摩根·考夫曼出版社·Zbl 1381.62179号
[22] Jeong,Y.S.,Shin,K.,&Jeng,M.K.(2014年)。一种用于大规模特征选择问题的部分SFFS变异进化算法。运筹学学会杂志,65,1-19·doi:10.1057/jors.2012.161
[23] Kohavi,R.和John,G.H.(1997年)。特征子集选择的包装器。人工智能,97,273-324·Zbl 0904.68143号 ·doi:10.1016/S0004-3702(97)00043-X
[24] Kohavi,R.和Sommerfield,D.(1995年)。使用包装器方法选择要素子集:过度拟合和动态搜索空间拓扑。《第一届知识发现和数据挖掘国际会议论文集》(KDD’95,第192-197页)。魁北克蒙特利尔:AAAI出版社·Zbl 1102.68598号
[25] Lal,T.N.、Chapelle,O.、Weston,J.和Elisseeff,A.(2006)。特征提取:基础和应用(模糊性和软计算研究),第5章。嵌入式方法(第207卷,第137-165页)。柏林:斯普林格。
[26] Lawler,E.L.和Wood,D.E.(1966年)。分枝定界法:一项调查。运筹学,14(4),699-719·兹比尔0143.42501 ·doi:10.1287/opre.14.699
[27] Lee,K.、Kim,N.和Jeong,M.(2014)。稀疏符号分类和回归模型。《运筹学年鉴》,216257-286·Zbl 1381.62179号 ·doi:10.1007/s10479-012-1198-y
[28] MATLAB(2010)。版本7.10.0(R2010a)。The MathWorks Inc.,美国马萨诸塞州纳蒂克·Zbl 1102.68598号
[29] Murty,K.G.和Kabadi,S.N.(1987年)。二次规划和非线性规划中的一些NP-完全问题。数学编程,39,117-129·Zbl 0637.90078号 ·doi:10.1007/BF02592948
[30] Perkins,S.、Lacker,K.和Theiler,J.(2003年)。嫁接:通过函数空间中的梯度下降快速增量特征选择。机器学习研究杂志,3,1333-1356·Zbl 1102.68578号
[31] Rakotomamonjy,A.(2003年)。使用基于SVM的标准进行变量选择。机器学习研究杂志,31357-1370·Zbl 1102.68583号
[32] Rivals,I.和Personnaz,L.(2003年)。用于非线性建模的MLP(单层多项式和多层感知器)。机器学习研究杂志,31383-1398·Zbl 1102.68586号
[33] Stoppiglia,H.、Dreyfus,G.、Dubois,R.和Oussar,Y.(2003)。为变量和特征选择对随机特征进行排序。机器学习研究杂志,31399-1414·Zbl 1102.68598号
[34] Tibshirani,R.(1996)。通过套索回归收缩和选择。英国皇家统计学会期刊B辑(方法学),58(1),267-288·兹比尔0850.62538
[35] Tipping,M.E.(2001)。稀疏贝叶斯学习和相关向量机。机器学习研究杂志,1211-244·Zbl 0997.68109号
[36] Torkkola,K.(2003年)。基于非参数互信息最大化的特征提取。机器学习研究杂志,31415-1438·Zbl 1102.68638号
[37] Tsanas,A.、Little,M.A.、Fox,C.和Ramig,L.O.(2014)。目的自动评估帕金森病康复言语治疗效果。IEEE神经系统与康复工程学报,22(1),1801-1901·doi:10.1109/TNSRE.2013.2293575号文件
[38] Weston,J.、Mukherjee,S.、Chapelle,O.、Pontil,M.、Poggio,T.和Vapnik,V.(2000)。SVM的功能选择。第13届神经信息处理系统年会论文集(NIPS’00,第563-532页)。科罗拉多州丹佛:麻省理工学院出版社·兹比尔0143.42501
[39] Weston,J.、Elisseeff,A.、Schölkopf,B.和Tipping,M.(2003)。零形式与线性模型和核方法的结合。机器学习研究杂志,31439-1461·Zbl 1102.68605号
[40] Weston,J.、Elisseeff,A.、BakIr,G.和Sinz,F.(2006)。蜘蛛工具箱。http://people.kyb.tuebingen.mpg.de/spider。
[41] Xpress(2016)。Xpress 7.9。http://www.fico.com/en。
[42] Youn,E.和Jeong,M.K.(2009年)。文本挖掘中使用朴素贝叶斯分类器的类相关特征缩放方法。模式识别字母,30(5),477-485·doi:10.1016/j.patrec.2008.11.013
[43] Youn,E.、Jeong,M.K.和Baek,S.(2010年)。使用Fisher线性判别和支持向量机进行基于支持向量的特征选择。应用专家系统,37,6148-6156·Zbl 1365.94635号 ·doi:10.1016/j.eswa.2010.02.113
[44] Yu,L.,&Liu,H.(2003)。高维数据的特征选择:基于快速相关性的过滤解决方案。《第20届机器学习国际会议论文集》(ICML'03,第56-63页)。华盛顿特区:AAAI出版社·Zbl 0904.68143号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。