×

稀疏近端支持向量机的D.C.编程。 (英语) Zbl 1475.68280号

摘要:近邻支持向量机(PSVM)是支持向量机的一种变体,其目的是生成一对非平行超平面进行分类。尽管PSVM是一种强大的分类工具,但其特征选择能力仍然很弱。为了克服这一缺陷,我们在PSVM中引入了\(\ell_0\)-范数正则化,使PSVM能够同时选择重要特征和去除冗余特征进行分类。该PSVM被称为稀疏近端支持向量机(SPSVM)。由于(ell_0)范数的存在,SPSVM的优化问题既不凸也不光滑,因此很难解决。本文引入一个连续非凸函数来逼近(ell_0)范数,并提出一种新的凸函数差分算法(DCA)来求解SPSVM。该方法的主要优点是,所有子问题都是光滑的,并且允许闭式解。通过对仿真数据集和真实数据集的理论分析和数值实验,验证了该方法的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bai,Y.Q。;牛,B.L。;Chen,Y.,利用半监督SVM检测蛋白质同源性的新SDP模型,Optimization,62,561-562(2013)·Zbl 1273.90143号
[2] 科尔特斯,C。;Vapnik,V.,支持向量网络,马赫。学习。,20, 273-297 (1995) ·Zbl 0831.68098号
[3] 邓,纽约。;田永杰。;Zhang,C.H.,《支持向量机:理论、算法和扩展》(2012),CRC出版社:CRC出版社Boca Raton(FL)
[4] 马尔多纳多,S。;López,J.,支持向量分类的替代二阶锥规划公式,信息科学。,268328-341(2014)·Zbl 1341.68164号
[5] 田永杰。;Ju,X.C。;Qi,Z.Q.,用于分类的高效稀疏非并行支持向量机,神经计算。申请。,24, 1089-1099 (2014)
[6] 黄,J.H。;于振林。;顾振华。;张杰。;Cen,L.,《用于二元分类器和回归器融合的稀疏和启发式支持向量机》,Int.J.Mach。学习。赛博。,10, 3667-3686 (2019)
[7] Don,D.R。;Iacob,I.E.,DCSVM:使用支持向量机的快速多类分类,国际J.Mach。学习。赛博。,11, 433-447 (2020)
[8] 顾,X。;Chung,F。;Wang,S.,《大数据快速训练的极端向量机》,国际J.Mach出版社。学习。赛博。,11, 33-53 (2020)
[9] Burges,C.J.,模式识别支持向量机教程,Data Min.Knowl。发现号,2,1-43(1998)
[10] Yu,D.J。;徐,Z.S。;王晓忠,《支持向量机的文献计量分析研究趋势:中国的案例研究》,国际马赫出版社。学习。赛博。,11, 715-728 (2020)
[11] Hao,P.Y.,带参数不敏感边际模型的新支持向量算法,神经网络,23,1,60-73(2010)·Zbl 1396.68092号
[12] Kumar,医学硕士。;Gopal,M.,平滑技术在双支持向量机上的应用,模式识别。莱特。,29, 13, 1842-1848 (2008)
[13] 贾亚德瓦,R。;Khemchandani,R。;Chandra,S.,用于模式分类的双支持向量机,IEEE Trans。模式分析。机器。智力。,29, 5, 905-910 (2007)
[14] Li,C.N。;Shao,Y.H。;Deng,N.Y.,鲁棒L1-非平行近端支持向量机,Optimization,65,1,169-183(2016)·Zbl 1332.90287号
[15] Mangasarian,O.L。;Wild,E.W.,《通过广义特征值进行多曲面近端支持向量机分类》,IEEE Trans。模式分析。机器。智力。,28, 69-74 (2006)
[16] Peng,X.,TPMSVM:一种用于模式识别的新型双参数边缘支持向量机,pattern Recogn。,44, 10, 2678-2692 (2011) ·Zbl 1218.68129号
[17] Shao,Y.H。;邓,纽约。;陈伟杰。;Wang,Z.,改进的广义特征值近端支持向量机,IEEE信号处理。莱特。,20, 213-216 (2013)
[18] Shao,Y.H。;Zhang,C.H。;Wang,X.B。;邓,纽约,双支持向量机的改进,IEEE Trans。神经网络,22,6,962-968(2011)
[19] Ye,Q.L。;赵春霞。;张海峰。;Ye,N.,距离差分和线性规划非平行平面分类器,专家系统。申请。,38, 9425-9433 (2011)
[20] 王立德。;高,C。;Zhao,N.N。;Chen,X.B.,基于小波变换的加权ν)双支持向量回归,Int.J.Mach。学习。赛博。,11, 95-110 (2020)
[21] 彭晓杰。;Chen,D.,An L_1)基于范数损失的双支持向量回归及其几何扩展,Int.J.Mach。学习。赛博。,10, 2573-2588 (2019)
[22] 雷兹瓦尼,S。;Wang,X.Z。;Pourpanah,F.,直觉模糊双支持向量机,IEEE Trans。模糊系统。,27, 11, 2140-2151 (2019)
[23] Li,C.N。;Ren,P.W。;Shao,Y.H。;Ye,Y.F。;郭永荣,广义弹性网Lp-范数非平行支持向量机,工程应用。Artif公司。智力。,88 (2020)
[24] 帕普,V。;帕纳戈普洛斯,O.P。;黄曲霉,P。;Pardalos,P.M.,《用于高维数据集特征选择的稀疏近端支持向量机》,专家系统。申请。,42, 9183-9191 (2015)
[25] 瓜拉西诺,M。;Cifarelli,C。;塞雷夫,O。;Pardalos,P.M.,基于广义特征值问题的分类方法,Optim。方法软件,22,1,73-81(2007)·Zbl 1125.15013号
[26] Shao,Y.H。;Li,C.N。;刘,M.Z。;王,Z。;邓,纽约,斯派塞ℓ_q) 带特征选择的范数最小二乘支持向量机,模式识别。,78, 167-181 (2018)
[27] 刘振华。;赖,Z.H。;Ou,W.H.,基于结构化最优图的半监督学习稀疏特征提取,信号处理(2020)
[28] Mangasarian,O.L.,通过无约束凸可微最小化的精确1-范数支持向量机,J.Mach。学习。第1517-1530号决议(2006年)·Zbl 1211.68329号
[29] López,J。;马尔多纳多,S。;Carrasco,M.,通过DC编程实现稳健特征选择和SVM分类的双重正则化方法,Inf.Sci。,429, 377-389 (2017) ·Zbl 1436.68310号
[30] 韦斯顿,J。;Elisseeff,A。;Scholkopf,A.B。;Tipping,M.,零形式与线性模型和核方法的使用,J.Mach。学习。第3号决议,1439-1461(2003)·兹比尔1102.68605
[31] Ahmadi,A.A。;Hall,G.,非凸多项式的DC分解与代数技术,数学。程序。,169, 1, 69-94 (2017) ·Zbl 1390.90418号
[32] Le Thi,H.A。;Pham Dinh,T.,DC编程和DCA:三十年的发展,数学。程序。,169, 1, 5-68 (2018) ·Zbl 1387.90197号
[33] 吴振中。;Li,C.J。;Long,Q.,《锚定位置不确定性传感器网络定位的DC编程方法》,J.Ind.Manage。最佳。,10, 3, 817-826 (2014) ·Zbl 1292.90314号
[34] Pham Dinh,T。;Le Thi,H.A.,《D.C.编程的凸分析方法:理论、算法和应用》,《数学学报》。越南。,22, 289-355 (1997) ·Zbl 0895.90152号
[35] Chang,C.C。;Lin,C.J.,LIBSVM:支持向量机库,ACM Trans。智力。系统。技术。,2, 3, 27-49 (2011)
[36] Kohavi,R.,《精度估计和模型选择的交叉验证和引导研究》,国际人工智能联合会议,第14期,第1137-1145页(1995年)
[37] C.A.Ratanamahatana,E.Keogh,关于动态时间扭曲数据挖掘的三个神话,2005年SIAM国际数据挖掘会议记录,SDM 2005
[38] Briandet,R。;英国凯姆斯利。;Wilson,R.H.,《通过傅里叶变换红外光谱和化学计量学鉴别速溶咖啡中的阿拉伯糖和罗布斯塔》,J.Agric。食品化学。,44, 170-174 (1996)
[39] Mesejo,P.,《常规结肠镜检查中胃肠道病变的计算机辅助分类》,IEEE Trans。医学图像。,35, 9, 2051-2063 (2016)
[40] 阿龙,美国。;北巴尔凯。;诺特曼,D。;Gish,K。;伊巴拉,S。;Mack,D.,通过寡核苷酸阵列探测肿瘤和正常结肠组织的聚类分析揭示的广泛基因表达模式,Proc。美国国家科学院。科学。,96, 12, 6745-6750 (1999)
[41] Schlimmer,J.,《蘑菇记录摘自Audubon Society北美蘑菇野外指南》(1981),GH Lincoff出版社:GH Linkoff出版社,纽约
[42] S.M.Lee、D.S.Kim、J.H.Kim和J.S.Park,使用特征选择和参数优化的垃圾邮件检测,摘自:2010年复杂、智能和软件密集型系统国际会议(CISIS),IEEE,2010年,第883-888页
[43] Dudul,S.,《使用RBF神经网络对电离层雷达回波进行分类》,J.Inst.Eng.India Part Electron。电信通信。工程部,88,26-41(2007)
[44] W.N.Street,O.L.Mangasarian,W.H.Wolberg,预测预测的归纳学习方法,收录于:ICML,Citeser,1995年,第522-530页
[45] W.N.Street,W.H.Wolberg,O.L.Mangasarian,乳腺肿瘤诊断的核特征提取,收录于:生物医学图像处理和生物医学可视化,国际光学和光子学学会,1993年,第861-870页
[46] Alcal-Fdez,J。;Snchez,L.,KEEL:评估数据挖掘问题进化算法的软件工具,软计算。,1307-318(2009年)
[47] Mamitsuka,H.,使用roc曲线选择微阵列分类特征,模式识别。,39, 12, 2393-2404 (2006) ·Zbl 1103.68774号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。