姜玉贵;罗启芳;魏元飞;莱思·阿布利加;周永泉 一个高效的基于二进制梯度的特征选择优化器。 （英语） Zbl 1523.68060号 数学。Biosci公司。工程师。 18，第4期，3813-3854（2021）. 摘要：特征选择（FS）是机器学习和数据挖掘领域中一项经典且具有挑战性的优化任务。基于梯度的优化器（Gradient-based optimizer，GBO）是最近开发的一种具有基于群体特征的元启发式算法，其灵感来自基于梯度的牛顿方法，该方法使用两个主要操作符：梯度搜索规则（Gradient search rule，GSR）、局部逃逸操作符（local escape operator，LEO）和一组向量来探索搜索空间以解决连续问题。本文提出了一种二进制GBO（BGBO）算法，用于特征选择问题。提出了八个独立的GBO变体，并对划分为S形和V形两类的八个传递函数进行了评估，以将搜索空间映射到离散的研究空间。为了验证所提出的二进制GBO算法的性能，对18个著名的UCI数据集和10个高维数据集进行了测试，并与其他先进的FS方法进行了比较。实验结果表明，在所提出的二进制GBO算法中，综合性能最好，在性能度量方面优于其他著名的元启发式算法。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68T20型 人工智能背景下的问题解决（启发式、搜索策略等） 90 C59 数学规划中的近似方法和启发式 关键词：基于梯度的优化器;传递函数;基于二进制梯度的优化器;特征选择 软件：BGSA公司;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{Y.Jiang}等人，数学。Biosci公司。工程18，编号4，3813--3854（2021；Zbl 1523.68060） 全文： DOI程序 OA许可证 参考文献： [1] M、 大数据：调查，移动网络。申请。，19, 171-209, 2014 ·doi:10.1007/s11036-013-0489-0 [2] 一、 变量和特征选择介绍，J.Mach。学习研究，31157-11822003·Zbl 1102.68556号 [3] Y、 一种基于改进二进制编码蚁群优化算法的特征选择方法。软计算。，49, 248-258, 2016 ·doi:10.1016/j.asoc.2016.08.011 [4] H、 知识发现和数据挖掘的特征选择，Kluwer学术，2012 [5] Z、 使用特征子集选择、模式识别、。，37, 2165-2176, 2004 ·doi:10.1016/j.patcog.2004.03.013 [6] H.Liu、H.Motoda、，特征提取、构造和选择：数据挖掘视角Springer Science&Business Media，马萨诸塞州波士顿，1998年·Zbl 0912.00012号 [7] Z、 不平衡数据文本分类的特征选择，ACM Sigkdd Explor。新闻。，6, 80-89, 2004 ·doi:10.1145/1007730.1007741 [8] H、 一种利用信息增益、主成分分析和遗传算法进行文本分类的两阶段特征选择方法-基于系统。，24, 1024-1032, 2011 ·doi:10.1016/j.knosys.2011.04.014 [9] H、 人脸识别中独立分量子空间的特征选择，模式识别。莱特。，25, 1377-1388, 2004 ·doi:10.1016/j.patrec.2004.05.013 [10] H、 一种改进的基于蚁群优化（ACO）的特征选择方法在人脸识别系统上进行了评估。数学。计算。，205, 716-725, 2008 ·Zbl 1152.68684号 [11] F、 DNA甲基化癌症分类的特征选择，生物信息学，17，S157-S164，2001·doi:10.1093/bioinformatics/17.suppl_1.S157 [12] N、 遗传序列分类的特征选择，生物信息学，14，139-1431998·doi:10.1093/bioinformatics/14.2.139 [13] S、 使用新型蚁群优化进行微阵列数据分类的基因选择，神经计算，1681024-10362015·doi:10.1016/j.neucom.2015.05.022 [14] D、 特征选择对财务困境预测的影响，Knowl-基于系统。，73, 289-297, 2015 ·doi:10.1016/j.knosys.2014.10.010 [15] M.Ramezani，P.Moradi，F.A.Tab，《使用反向特征选择提高协同过滤系统的性能》，in第五届信息和知识技术会议, (2013), 225-230. [16] B、 客户关系管理中基于粗糙集的特征选择方法，Omega，35365-3832007·doi:10.1016/j.omega.2005.07.006 [17] R.Sawhney，P.Mathur，R.Shankar，《一种基于萤火虫算法的用于癌症诊断的包装属性特征选择方法》国际计算科学及其应用会议查姆施普林格，（2018），438-449。 [18] B、 一种用于高维遥感图像分类的基于可分离性的快速特征选择方法，模式识别。，41, 1653-1662, 2008 ·Zbl 1140.68462号 ·doi:10.1016/j.patcog.2007.11.007 [19] R.Abraham，J.B.Simha，S.S.Iyengar，医学数据挖掘与新的特征选择算法和朴素贝叶斯分类器第十届国际信息技术会议（ICIT 2007）IEEE，2007年，第44-49页。 [20] L.Yu，H.Liu，高维数据的特征选择：基于快速相关性的滤波解决方案，in第20届机器学习国际会议论文集（ICML-03）, (2003), 856-863. [21] 五十、 基因表达微阵列分析中特征选择的过滤技术综述，IEEE/ACM Trans。计算。生物信息学。，9, 1106-1119, 2012 ·doi:10.1010/TCBB.2012.33 [22] S、 一种使用支持向量机进行特征选择的包装方法，Inform。科学。，179, 2208-2217, 2009 ·doi:10.1016/j.ins.2009.02.014 [23] J、 基于互信息的特征选择包装器的混合遗传算法，模式识别。莱特。，28, 1825-1844, 2007 ·doi:10.1016/j.patrec.2007.05.011 [24] C、 具有低秩嵌入和对偶拉普拉斯正则化的特征选择投影，IEEE Trans。知识。数据。工程师，321747-17602019 [25] C、 通过潜在表示学习和流形正则化进行无监督特征选择，神经网络，117163-1782019·doi:10.1016/j.neunet.2019.04.015 [26] S、 肉类多光谱图像L*a*b颜色线性和非线性回归的监督特征选择，工程应用。Artif公司。英特尔。，27, 211-227, 2013 [27] C、 用于多视图无监督特征选择的跨视图局部保持多样性和一致性学习，IEEE Trans。知识。数据。工程，2021年 [28] C.Tang，X.Zhu，X.Liu，L.Wang，Cross-View局部结构保留多样性和共识学习用于多视图无监督特征选择，载《AAAI人工智能会议论文集》，33（2019），5101-5108。 [29] M.Dorigo，优化、学习和自然算法米兰理工大学博士论文，1992年。 [30] C、 多元特征选择的随机子空间方法，模式识别。莱特。，27, 1067-1076, 2006 ·doi:10.1016/j.patrec.2005.12.018 [31] B、 特征选择的进化计算方法综述，IEEE Trans。进化。计算。，20, 606-626, 2016 ·doi:10.1109/TEVC2015.2504420 [32] J、 遗传算法控制参数优化，IEEE Trans。系统。人类网络。，16, 122-128, 1986 ·doi:10.1109/TSMC.1986.289288 [33] B.G.Obaiahnahatti，J.Kennedy，使用粒子群理论的新优化器MHS’95。第六届微机械与人类科学国际研讨会论文集IEEE，（1995），第39-43页。 [34] K、 带螺旋形机制的混合粒子群优化算法用于特征选择，专家系统。申请。，128, 140-156, 2019 ·doi:10.1016/j.eswa.2019.03.039 [35] S、 鲸鱼优化算法，高级工程师软件。，95, 51-67, 2016 ·文件编号：10.1016/j.advengsoft.2016.01.008 [36] S、 灰狼优化器，高级工程软件。，69, 46-61, 2014 ·doi:10.1016/j.advengsoft.2013.12.007 [37] S、 《蚱蜢优化算法：理论与应用》，高级工程软件。，105, 30-47, 2017 ·doi:10.1016/j.advengsoft.2017.01.004 [38] E、 GSA：一种引力搜索算法，Inform。科学。，179, 2232-2248, 2009 ·Zbl 1177.90378号 ·doi:10.1016/j.ins.2009.03.004 [39] S、 泥模算法：一种新的随机优化方法，Future Gener。计算。系统。，111, 300-323, 2020 ·doi:10.1016/j.future.2020.03.055（文件编号：10.1016/j.future.2020.03.055） [40] Y、 饥饿游戏搜索：愿景、概念、实施、深入分析、观点和朝向性能转变、专家系统。申请。，171, 114864, 2021 [41] 一、 基于梯度的优化器：一种新的元启发式优化算法，Inform。科学。，540, 131-159, 2020 ·Zbl 1474.90517号 ·doi:10.1016/j.ins.2020.06.037 [42] S、 蜻蜓算法：一种新的用于求解单目标神经计算的元神经优化技术。申请。，27, 1053-1073, 2016 ·doi:10.1007/s00521-015-1920-1 [43] T、 Newton-Raphson方法的历史发展，SIAM Rev.，37，531-5511995·Zbl 0842.01005号 ·doi:10.1137/1037125 [44] S、 用于二进制粒子群优化的S形与V形传递函数，swarm Evol。计算。，9, 1-14, 2013 ·doi:10.1016/j.swevo.2012.09.002 [45] H、 《利用基因表达谱和蛋白质组模式进行特征选择和分类方法的比较研究》，Genome Inform。，13, 51-60, 2002 [46] M、 分类的特征选择，智能。数据分析。，1, 131-156, 1997 ·doi:10.3233/IDA-1997-1302 [47] W、 大规模特征选择的遗传算法注释，模式识别。莱特。，10, 335-347, 1989 ·Zbl 0942.68690号 ·doi:10.1016/0167-8655（89）90037-8 [48] R、 作为特征选择策略的遗传算法，J.Chemom。，6, 267-281, 1992 ·doi:10.1002/厘米.1180060506 [49] 一、 用于特征选择的混合遗传算法，IEEE Trans。模式分析。，26, 1424-1437, 2004 ·doi:10.1109/TPAMI.2004.105 [50] R、 差分进化——连续空间上全局优化的一种简单有效的启发式算法，J.global Optim。，11, 341-359, 1997 ·Zbl 0888.90135号 ·doi:10.1023/A:1008202821328 [51] B.Xue，W.Fu，M.Zhang，分类中多目标特征选择的差异进化（DE），in2014年遗传和进化计算年会的配套出版物会议记录, (2014), 83-84. [52] D、 人工蜂群算法的比较研究。数学。计算。，214, 108-132, 2009 ·Zbl 1169.65053号 [53] A、 哈里斯-霍克斯优化：算法与应用，未来世代。计算。系统。，97, 849-872, 2019 ·doi:10.1016/j.未来2019.02.028 [54] A、 海洋捕食者算法：自然启发的元启发式，专家系统。申请。，152, 113377, 2020 ·doi:10.1016/j.eswa.2020.113377 [55] O、 使用基于粒子群优化的logistic回归模型进行特征选择，Chemom。智力。实验室系统。，182, 41-46, 2018 ·doi:10.1016/j.chemolab.2018.08.016 [56] K、 带螺旋形机制的混合粒子群优化算法用于特征选择，专家系统。申请。，128, 140-156, 2019 ·doi:10.1016/j.eswa.2019.03.039 [57] B、 用于分类特征选择的粒子群优化：多目标方法，IEEE Trans。赛博。，43, 1656-1671, 2013 ·doi:10.1109/TSMCB.2012.2227469 [58] E、 用于特征选择的二元灰狼优化方法，神经计算，172371-3812016·doi:10.1016/j.neucom.2015.06.083 [59] P、 改进的二元灰狼优化器及其在特征选择中的应用，Knowl-基于系统。，195, 105746, 2020 ·doi:10.1016/j.knosys.2020.105746 [60] T、 多策略集成灰狼优化器及其在特征选择中的应用。软计算。，76, 16-30, 2019 ·doi:10.1016/j.asoc.2018年11月47日 [61] M、 包装器特征选择的鲸鱼优化方法，应用。软计算。，62, 441-453, 2018 ·doi:10.1016/j.soc.2017.11.006 [62] M、 用于特征选择的模拟退火混合鲸鱼优化算法，神经计算，260，302-312，2017·doi:10.1016/j.neucom.2017.04.053 [63] R、 包装器特征选择的量子鲸鱼优化算法。软计算。，89, 106092, 2020 ·doi:10.1016/j.asoc.2020.106092 [64] C、 模拟退火：理论与应用，学报。申请。数学。，12, 108-111, 1988 [65] H、 闪电搜索算法，应用。软计算。，36, 315-333, 2015 ·doi:10.1016/j.asoc.2015.07.028 [66] S、 多变量优化器：一种用于全局优化的自然启发算法，神经计算。申请。，27, 495-513, 2016 ·doi:10.1007/s00521-015-1870-7 [67] H、 电磁场优化：一种受物理启发的元启发式优化算法，Swarm Evol。计算。，26, 8-22, 2016 ·doi:10.1016/j.swevo.2015.07.002 [68] A、 化学反应启发的优化元启发式，IEEE Trans。进化。计算。，14, 381-399, 2009 [69] F、 亨利气体溶解度优化：一种新的基于物理的算法，Future Gener。公司。系统。，101, 646-667, 2019 ·doi:10.1016/j.未来2019.07.015 [70] R、 使用模拟退火优化营销应用中的特征选择问题，Eur.J.Oper。2006年第171842-858号决议·Zbl 1116.90069号 ·doi:10.1016/j.ejor.2004.09.010 [71] S、 支持向量机的参数确定和使用模拟退火方法的特征选择，应用。软计算。，8, 1505-1512, 2008 ·doi:10.1016/j.asoc.2007.10.012 [72] E、 BGSA：二进制引力搜索算法，Nat.Comput。，9, 727-745, 2010 ·Zbl 1211.68140号 ·doi:10.1007/s11047-009-9175-3 [73] S、 使用重力搜索算法进行生物医学数据的特征选择，Procedia Compute。科学。，115, 258-265, 2017 ·doi:10.1016/j.procs.2017.09.133 [74] P、 基于二元化学反应优化的机器学习分类问题特征选择技术，专家系统。申请。，167, 114169, 2021 ·文件编号：10.1016/j.eswa.2020.114169 [75] N、 用于特征选择的高效亨利气体溶解度优化专家系统。申请。，152, 113364, 2020 ·doi:10.1016/j.eswa.2020.113364 [76] R、 基于教学的优化：约束机械设计优化问题的新方法，计算。辅助设计，43303-3152011·doi:10.1016/j.cad.2010.12.015 [77] S、 帝国主义竞争算法元启发式综述：工程领域的实现和未来研究方向，应用。软计算。，24, 1078-1094, 2014 ·doi:10.1016/j.asoc.2014.08.024 [78] R、 排球超级联赛算法，应用。软计算。，64, 161-185, 2017 [79] H、 用于全局优化的文化进化算法及其应用，J.Appl。技术研究。，11, 510-522, 2013 ·doi:10.1016/S1665-6423（13）71558-X [80] M、 使用基于二进制教学的优化算法进行最优特征选择，沙特国王大学计算机系。通知。科学。，10, 2018 [81] S.J.Mousavirad，H.Ebrahinpour-Komleh，使用改进帝国主义竞争算法的特征选择，in2013年ICCKEIEEE，（2013），400-405。 [82] A.Keramati，M.Hosseini，M.Darzi，A.A.Liaei，特征选择的文化算法，in第三届数据挖掘与智能信息技术应用国际会议，IEEE，（2011），71-76。 [83] D、 优化没有免费午餐定理，IEEE Trans。进化。计算。，1, 67-82, 1997 ·doi:10.1109/4235.585893 [84] A、 通过元启发式解决连续流水车间调度问题，Eur.J.Oper。决议，151，400-4142003·Zbl 1052.90030号 ·doi:10.1016/S0377-2217（02）00834-2 [85] J.Kennedy，R.C.Eberhart，粒子群算法的离散二进制版本1997年IEEE系统、人和控制论国际会议。计算控制论与仿真，IEEE，5（1997），4104-4108。 [86] E、 BGSA：二进制引力搜索算法，Nat.Comput。，9, 727-745, 2010 ·Zbl 1211.68140号 ·doi:10.1007/s11047-009-9175-3 [87] N、 核和最近邻非参数回归导论，Am.Stat.，46175-185992 [88] F、 贝叶斯网络分类器与选择性k-NN分类器，模式识别。，38, 1-10, 2005 ·Zbl 1101.68826号 ·doi:10.1016/j.patcog.2004.05.012 [89] A.亚松森、D.纽曼，UCI机器学习库加州大学，2007年。 [90] E、 用于特征选择的二进制蚁狮方法，神经计算，21354-65，2016·doi:10.1016/j.neucom.2016.03.101 [91] 亚利桑那州立大学（ASU）知识库，可从以下网站获得：http://featureselection.asu.edu/datasets.php。 [92] A、 一种用于特征选择的改进蜻蜓算法，Knowl-基于系统。，203, 106131, 2020 ·doi:10.1016/j.knosys.2020.106131 [93] H、 一种用于特征选择问题的具有交叉方案的高效二进制Salp群算法，Knowl-基于系统。，154, 43-67, 2018 ·doi:10.1016/j.knosys.2018.05.009 [94] M、 包装器特征选择的鲸鱼优化方法，应用。软计算。，62, 441-453, 2018 ·doi:10.1016/j.asoc.2017.11.006 [95] M、 特征选择问题的二进制蝗虫优化算法，专家系统。申请。，117, 267-286, 2019 ·doi:10.1016/j.eswa.2018年9月15日 [96] E、 用于特征选择的二元灰狼优化方法，神经计算，172371-3812016·doi:10.1016/j.neucom.2015.06.083 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。