×

基于参考点的多目标优化算法和基于对立面的投票方案用于多标签特征选择。 (英语) Zbl 1475.68261号

摘要:多标签分类是一项机器学习任务,用于构建模型,将数据集中的实体分配给两个或多个类标签。为了提高多标签分类的性能,本文提出了一种多目标特征选择算法。特征选择作为多标签分类问题的预处理任务,其目的是选择相关特征的子集。选择少量的高质量特征可以降低计算成本,同时最大化分类性能。然而,特征数量的极端减少会导致分类失败。因此,特征选择有两个相互冲突的目标,即最小化分类错误和最小化所选特征的数量。本文提出了一种多目标优化算法来解决多标签特征选择问题。任务是使用基于引用的多目标优化方法在复杂的大规模搜索空间中找到一组解决方案(特征子集)。该算法利用基于对立的二元运算符生成更多样的解。Pareto-front极值点的注入是该算法的另一个组成部分,其目的是寻找分类误差较小的特征子集。在八个多标签基准数据集上,将所提出的方法与其他两种现有方法进行了比较。实验结果表明,该方法在超体积指标、纯多样性、双集覆盖和Pareto-front比例贡献等多种多目标评价指标上均优于现有算法。该方法可以获得一组分布良好的权衡解决方案,与竞争对手相比,即使特征数量较少,也能达到较小的分类错误。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68瓦50 进化算法、遗传算法(计算方面)
90C29型 多目标规划
90 C59 数学规划中的近似方法和启发式
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 盖恩,I。;Elisseeff,A.,《变量和特征选择简介》,J.Mach。学习。决议,1157-1182年3月3日(2003年)·Zbl 1102.68556号
[2] Yildiz,A.R。;Abderazek,H。;Mirjalili,S.,《机械设计优化的最新非传统方法的比较研究》,Arch。计算。方法工程,1-18(2019)
[3] Y’d’z,A.R。;Y’d’z,B.S。;Sait,S.M。;Li,X.,制造操作中选择最佳加工参数的哈里斯-霍克斯、蚱蜢和多维优化算法,马特。测试,61,8,725-733(2019)
[4] Yıldız,B.S。;《确定制造过程中最佳加工参数的莫斯火焰优化算法》,马特。测试,59,5,425-429(2017)
[5] 哈姆扎,F。;Abderazek,H。;拉赫达尔,S。;Ferhat,D。;《使用新进化算法对凸轮滚子从动机构进行优化设计》,《国际先进制造技术杂志》。,99, 5-8, 1267-1282 (2018)
[6] Yildiz,B.S。;Lekesiz,H。;Yildiz,A.R.,使用引力搜索和带电系统搜索算法的车辆部件结构设计,马特。测试,58,179-81(2016)
[7] Y’d’z,B.S。;Yöldíz,A.R.,用于车辆发动机连杆优化的灰狼、鲸鱼、水循环、蚂蚁狮子和正弦算法的比较,Mater。测试,60,311-315(2018)
[8] 佩雷拉,R.B。;Plastino,A。;扎德罗兹尼,B。;Merschmann,L.H.,多标签分类的分类特征选择方法,Artif。智力。版本,1-22(2016)
[9] 丹达姆隆格维特,S。;Vateekul,P。;Kubat,M.,多标签文本分类领域中的无关属性和不平衡类,Intell。数据分析。,15, 6, 843-859 (2011)
[10] Wandekokem,E。;瓦雷乔,F。;Rauber,T.,“用调整后的SVM参数创建分类器集成的过度生产和选择策略,应用于实际故障诊断”,《模式识别、图像分析、计算机视觉和应用进展》,500-508(2010)
[11] Spolaor,N。;Cherman,E.A。;莫纳德,M.C。;Lee,H.D.,Relieff for multi-label feature selection,巴西智能系统会议(BRACIS),IEEE,6-11(2013)
[12] Reyes,O。;莫雷尔,C。;Ventura,S.,在多标签学习环境中加权和选择特征的ReliefF算法的可缩放扩展,神经计算,161168-182(2015)
[13] 斯波劳尔,N。;Cherman,E.A。;莫纳德,M.C。;Lee,H.D.,《使用问题转换方法的多标签特征选择方法的比较》,Electron。理论注释。计算。科学。,292135-151(2013)
[14] Lin,Y。;胡,Q。;刘,J。;陈,J。;Duan,J.,基于邻域互信息的多标签特征选择,应用。软计算。,38, 244-256 (2016)
[15] 李,F。;Miao,D。;Pedrycz,W.,基于互信息的颗粒多标签特征选择,模式识别。,67, 410-423 (2017)
[16] 弗尔迪,N。;Burierat,S。;Yöldíz,A.R.,《汽车地板框架多目标优化的基于混合实数编码人群的增量学习和差分进化》,国际J.Veh。设计。,73, 1-3, 20-53 (2017)
[17] 朱,P。;徐,Q。;胡,Q。;张,C。;Zhao,H.,缺少标签的多标签特征选择,模式识别。,74, 488-502 (2018)
[18] L.Jiang,G.Yu,M.Guo,J.Wang,基于标签压缩和局部特征相关性的缺失标签特征选择,神经计算。
[19] 蔡,Z。;Zhu,W.,通过特征流形学习和稀疏正则化进行多标签特征选择,Int.J.Mach。学习。赛博。,9, 8, 1321-1334 (2018)
[20] Deb,K。;普拉塔普,A。;阿加瓦尔,S。;Meyarivan,T.,一种快速的精英多目标遗传算法:NSGA-II,IEEE Trans。进化。计算。,6, 2, 182-197 (2002)
[21] E.Zitzler,M.Laumanns,L.Thiele,SPEA2:改进强度帕累托进化算法,TIK报告103·Zbl 1074.68065号
[22] 张,Q。;Li,H.,MOEA/D:基于分解的多目标进化算法,IEEE Trans。进化。计算。,11, 6, 712-731 (2007)
[23] 尹,J。;陶,T。;Xu,J.,基于多目标优化的多标签特征选择算法,国际神经网络联合会议(IJCNN),IEEE,1-7(2015)
[24] Zhang,Y。;龚(D.-W.)。;太阳,X.-Y。;Guo,Y.-N.,一种基于PSO的分类中多目标多标签特征选择方法,科学。代表,7,1,376(2017)
[25] Deb,K。;Jain,H.,使用基于参考点的非支配排序方法的进化多目标优化算法,第一部分:用方框约束解决问题,IEEE Trans。进化。计算。,18, 4, 577-601 (2014)
[26] 克莱尔,A。;King,R.D.,多标签表型数据中的知识发现,(欧洲数据挖掘和知识发现原则会议(2001),Springer),42-53·Zbl 1009.68730号
[27] Zhang,M.-L.,ML-RBF:用于多标记学习的RBF神经网络,神经过程。莱特。,29, 2, 61-74 (2009)
[28] 张,M.-L。;Zhou,Z.-H.,ML-KNN:多标签学习的惰性学习方法,模式识别。,40, 7, 2038-2048 (2007) ·Zbl 1111.68629号
[29] A.Elisseeff,J.Weston,多标记分类的核方法,载于:神经信息处理系统的进展,2002年,第681-687页。
[30] G.Tsoumakas、I.Katakis、I.Vlahavas,《挖掘多标签数据》,摘自:《数据挖掘和知识发现手册》,施普林格出版社,2009年,第667-685页。
[31] J.Kennedy,《粒子群优化:机器学习百科全书》,Springer出版社,2011年,第760-766页。
[32] Talukder,A.K.A。;Deb,K。;Rahnamayan,S.,进化多目标优化算法中极值点的注入,(进化多标准优化国际会议(2017),Springer),590-605
[33] Eltaeib,T。;Mahmood,A.,《差异进化:调查与分析》,应用。科学。,8, 10, 1945 (2018)
[34] Rahnamayan,S。;Tizhoosh,H.R。;Salama,M.M.,《基于对立的差异进化》,IEEE Trans。进化。计算。,12, 1, 64-79 (2008)
[35] 赛义夫,Z。;艾哈迈迪,M.B.,《反对与二进制空间中的随机性》,应用。软计算。,2015年8月27日至37日
[36] 马哈达维,S。;Rahnamayan,S。;Mahdavi,A.,离散人口优化算法的多数投票,软件。计算。,1-18 (2018)
[37] M.-L.Zhang,Z.-H.Zhou,基于k近邻的多标签分类算法,收录于:IEEE国际粒度计算会议,第2卷,IEEE,2005年,第718-721页。
[38] 而L。;辛斯顿,P。;Barone,L.公司。;Huband,S.,计算超级卷的更快算法,IEEE Trans。进化。计算。,10,1,29-38(2006年)
[39] Wang,H。;Jin,Y。;Yao,X.,多目标优化中的多样性评估,IEEE Trans。赛博。,47, 6, 1510-1522 (2017)
[40] Zitzler,E。;Thiele,L.,使用进化算法的多目标优化——一个比较案例研究,(国际自然并行问题解决会议(1998),Springer),292-301
[41] 薛,B。;张,M。;Browne,W.N.,《分类中特征选择的粒子群优化:多目标方法》,IEEE Trans。赛博。,43, 6, 1656-1671 (2013)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。