×
乌拉尔·阿克萨卡利;Yenice，Zeren D。;米拉德·马勒基皮尔巴扎里;卡姆亚尔·卡加

使用Barzilai和Borwein非单调增益的随机近似进行特征选择。 （英语） Zbl 1511.68217号

计算。操作。物件。 132，文章ID 105334，14 p.（2021）.
摘要：随着近年来大量特征的机器学习问题的出现，特征选择（FS）已经成为一种越来越重要的工具，可以缓解所谓的维数灾难的影响。FS旨在消除训练速度更快、更容易理解且不太容易过拟合的模型的冗余和无关特性。本研究提出了一种基于同时扰动随机逼近（SPSA）的包装器FS方法，该方法在伪粒度下降框架内具有Barzilai和Borwein（BB）非单调增益，其中性能通过交叉验证进行测量。我们说明，与当前最先进的单调增益方法（SPSA-MON）相比，具有BB增益的SPSA（SPSA-BB）在收敛迭代次数方面提供了显著改进，交叉验证的错误性能退化最小。此外，SPSA-BB只需要一个内部参数，因此它消除了对许多其他内部参数的仔细微调的需要，如SPSA-MON或类似的元启发式FS方法，如遗传算法（GA）。我们的具体实现包括梯度平均以及增益平滑，以获得更好的收敛特性。我们在各种公共数据集上用最近邻和朴素贝叶斯分类器作为包装器进行了计算实验。我们将SPSA-BB与全套特征、SPSA-MON以及七种流行的基于元神经的FS算法（包括GA和粒子群优化）进行了比较。我们的结果表明，SPSA-BB平均在大约50次迭代中收敛到一个好的特征集，而不考虑特征的数量（无论是十几个还是1000多个特征），其性能相当有竞争力。SPSA-BB可以被认为是包装器方法的极快速度，因此它是一种高性能的新特征选择方法，在实践中也具有计算可行性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
65千5 数值数学规划方法
90摄氏52度 减少梯度类型的方法
90 C59 数学规划中的近似方法和启发式

关键词：

可解释人工智能;特征选择;随机近似;梯度下降;Barzilai和Borwein方法

软件：

进化派;UCI-毫升;WOA公司;DEAP公司;Scikit公司
PDF格式BibTeX公司 XML格式引用
\textit{V.Aksakalli}等人，计算。操作。第132号决议，文章编号105334，第14页（2021年；Zbl 1511.68217）
全文： 内政部

参考文献：

[1] Abualigah，L.M。；卡德尔，A.T。；Hanandeh，E.S.，使用粒子群优化算法改进文档聚类的新特征选择方法，J.Compute。科学。，25, 456-466 (2018)
[2] Agor，J。；Özaltın，O.Y.，通过双层优化对分类模型进行特征选择，Comput。操作。决议，106，156-168（2019）·Zbl 1458.90585号
[3] 阿克萨卡利，V。；Malekipirbazari，M.，通过二进制同时扰动随机近似进行特征选择，模式识别。莱特。，75, 41-47 (2016)
[4] Al-Ani，A.，《使用蚁群优化的特征子集选择》，《国际计算杂志》。智力。(2005)
[5] 一、阿尔贾拉。；Mafarja，M。；Heidari，A.A。；Faris，H。；Zhang，Y。；Mirjalili，S.，《功能选择的异步加速多领导销售链》，应用。软计算。，71, 964-979 (2018)
[6] 阿波罗尼，J。；Leguizamón，G。；Alba，E.，应用于高维微阵列实验的两种混合包装过滤器特征选择算法，Appl。软计算。，38, 922-932 (2016)
[7] 亚利桑那州立大学特征选择库（2015）
[8] 巴纳提，H。；Bajaj，M.，Fire fly-based feature selection approach，国际计算杂志。科学。问题（IJCSI），8，4，473（2011）
[9] Barzilai，J。；Borwein，J.，两点步长梯度法，IMA J.Numer。分析。，141-148年8月（1988年）·Zbl 0638.65055号
[10] 贝尼特斯·佩尼亚，S。；布兰科罗，R。；Carrizosa，E。；Ramírez-Cobo，P.，支持向量机的成本敏感特征选择，计算。操作。决议，106，169-178（2019）·Zbl 1458.68158号
[11] Bennasar，M。；希克斯，Y。；Setchi，R.，《使用联合互信息最大化的特征选择》，专家系统。申请。，42, 8520-8532 (2015)
[12] 卡德纳斯，J。；加里多，M。；Martinez，R.，基于低质量数据的特征子集选择过滤器，专家系统。申请。，4026241-6252（2013）
[13] Carrizosa，E。；Morales，D.R.，监督分类和数学优化，计算。操作。第40号、第1号、第150-165号决议（2013年）·Zbl 1349.68135号
[14] Cauchy，M.，Méthode générale pour la résolution des systèmes d’équations simultanees，Compt。R.赫伯德。西恩斯学院。科学。，25, 536-538 (1847)
[15] 陈永平。；李毅。；王，G。；郑永发。；徐，Q。；风机，J.-H。；Cui，X.-T.，一种用于特征选择的新型细菌觅食优化算法，专家系统。申请。，83, 1-17 (2017)
[16] 陈，Y。；Miao，D。；Wang，R.，基于蚁群优化的特征选择粗糙集方法，模式识别。莱特。，31, 3, 226-233 (2010)
[17] 戴，Y。；Hager，W。；希特科夫斯基，K。；Zhang，H.，无约束优化的循环Barzilai-Borwein方法，J.Numer。分析。，26, 604-627 (2006) ·Zbl 1147.65315号
[18] 戴，Y。；廖，L.，Barzilai和Borwein梯度法的R-线性收敛性，IMA J.Numer。分析。，22, 1-10 (2002) ·兹比尔1002.65069
[19] Das，A.K。；Sengupta，S。；Bhattacharyya，S.，使用基于粗糙集理论的遗传算法进行分类的组增量特征选择，应用。软计算。，65, 400-411 (2018)
[20] 德彪斯，J.C.W。；Rayward-Smith，V.J.，模拟退火数据挖掘算法中的特征子集选择，J.Intell。信息系统。，9, 1, 57-81 (1997)
[21] Dosilovic，F.、Brcic，M.、Hlupic，N.，2018年。可解释的人工智能：一项调查。摘自：《第41届信息和通信技术、电子和微电子国际公约》（MIPRO）会议记录。
[22] Emary，E。；Zawbaa，H.M。；Hassanien，A.E.，用于特征选择的二元灰狼优化方法，神经计算，172，371-381（2016）
[23] 法里斯，H。；Hassonah，医学硕士。；阿拉姆，A.-Z。；米尔贾利利，S。；Aljarah，I.，一种基于鲁棒系统架构神经计算的用于特征选择和优化SVM参数的多元优化器方法。申请。，30, 8, 2355-2369 (2018)
[24] Faris，H。；Mafarja，M.M。；Heidari，A.A。；一、阿尔贾拉。；阿拉姆，A.-Z。；米尔贾利利，S。；Fujita，H.，一种用于特征选择问题的带交叉方案的高效二进制salp群算法，Knowl-基于系统。，154, 43-67 (2018)
[25] 方，S。；Wong，R。；Vasilakos，A.V.，用于数据流挖掘大数据的加速PSO群搜索特征选择，IEEE Trans。服务。计算。，9, 1, 33-45 (2016)
[26] 福廷，F.-A。；F.-M.D.雷恩维尔。；加德纳，医学硕士。；Parizeau先生。；Gagne，C.，DEAP：进化算法变得简单，J.Mach。学习。第1322171-2175号决议（2012年）
[27] 高，W。；胡，L。；张，P。；He，J.，考虑特征相关性组成的特征选择，模式识别。莱特。，112, 70-74 (2018)
[28] 高迪奥索，M。；Gorgone，E。；拉贝，M。；Rodríguez-Chía，a.M.，支持向量机特征选择的拉格朗日松弛法，计算。操作。决议，87，137-145（2017）·Zbl 1391.90430号
[29] 盖米，M。；Feizi-Derakhshi，M.，使用森林优化算法进行特征选择，模式识别。，60, 121-129 (2016)
[30] 顾S。；Cheng，R。；Jin，Y.，使用竞争群优化器进行高维分类的特征选择，软计算。，22, 3, 811-822 (2018)
[31] Guvenir，H.、Acar，B.、Demiroz，G.、Cekin，A.，1997年。用于心律失常分析的有监督机器学习算法。摘自：《心脏病学计算机会议录》，第433-436页。
[32] 盖恩，I。；Elisseeff，A.，《变量和特征选择简介》，J.Mach。学习。第3号决议，1157-1182（2003年）·兹比尔1102.68556
[33] 盖恩，I。；韦斯顿，J。；巴恩希尔，S。；Vapnik，V.，使用支持向量机进行癌症分类的基因选择，Mach。学习。，46, 389-422 (2002) ·Zbl 0998.68111号
[34] Hancer，E。；薛，B。；Zhang，M.，基于信息理论和特征排序的过滤器特征选择的差异进化，Knowl。基于系统。，140, 103-119 (2018)
[35] Hsu，H。；谢长廷。；Ming-Da，L.，通过组合过滤器和包装器的混合特征选择，专家系统。申请。，38, 8144-8150 (2011)
[36] 胡，L。；高，W。；Zhao，K。；张，P。；Wang，F.，考虑两种类型特征相关性和特征相关性的特征选择，专家系统。申请。，93, 423-434 (2018)
[37] 贾达夫，S。；He，H。；Jenkins，K.，信用评级的信息增益导向遗传算法包装特征选择，应用。软计算。，69, 541-553 (2018)
[38] 卡南，H.R。；Faez，K.，一种改进的基于蚁群优化（ACO）的特征选择方法，在人脸识别系统上进行了评估，应用。数学。计算。，205, 2, 716-725 (2008) ·Zbl 1152.68684号
[39] 卡舍夫，S。；Nezamabadi-pour，H.，用于特征子集选择的高级ACO算法，神经计算，147271-279（2015）
[40] Khurma，R.A。；一、阿尔贾拉。；谢里赫，A。；Mirjalili，S.，Evolopy-FS：一个用于特征选择的python开源自然启发优化框架，（Evolutionary Machine Learning Techniques（2020），Springer），131-173
[41] Kohavi，R。；John，G.，特征子集选择包装器，Artif。智力。，97, 1-2, 273-324 (1997) ·Zbl 0904.68143号
[42] Leo，B.，《随机森林》，马赫出版社。学习。，45, 5-32 (2001) ·Zbl 1007.68152号
[43] Lichman，M.，UCI机器学习库（2013）
[44] 卢，H。；陈，J。；Yan，K。；金，Q。；薛，Y。；Gao，Z.，基因表达数据分类的混合特征选择算法，神经计算，256，56-62（2017）
[45] 马，B。；Xia，Y.，一种用于模式分类中特征选择的基于部落竞争的遗传算法，应用。软计算。，58, 328-338 (2017), http://www.sciencedirect.com/science/article/pii/S1568494617302247
[46] 马达迪，B。；Aksakalli，V.，《多目标时空锚固规划的随机近似方法》，专家系统。申请。，146, 1-14 (2020)
[47] Mafarja，M。；一、阿尔贾拉。；Heidari，A.A。；Faris，H。；Fournier-Viger，P。；李，X。；Mirjalili，S.，使用时变传递函数进行特征选择的二进制蜻蜓优化，Knowl-基于系统。，161, 185-204 (2018)
[48] Mafarja，M。；一、阿尔贾拉。；Heidari，A.A。；哈穆里，A.I。；Faris，H。；阿拉姆，A.-Z。；Mirjalili，S.，特征选择问题的进化种群动力学和蝗虫优化方法，Knowl-基于系统。，145, 25-45 (2018)
[49] 马法尔贾，M。；Mirjalili，S.，用于特征选择的模拟退火混合鲸鱼优化算法，神经计算，260，302-312（2017）
[50] Mafarja，M。；Mirjalili，S.，包装器特征选择的鲸鱼优化方法，应用。软计算。，62, 441-453 (2018)
[51] 莫利纳，B。；Raydan，M.，偏微分方程数值解的预处理Barzilai-Borwein方法，Numer。算法，13，45-60（1996）·Zbl 0861.65025号
[52] 内马蒂，S。；巴西里，M.E。；Ghasem-Aghaee，N。；Aghdam，M.H.，蛋白质功能预测中用于特征选择的新型ACO-GA混合算法，专家系统。申请。，36, 10, 12086-12094 (2009)
[53] Nguyen，B.H。；薛，B。；Andreae，P.，特征选择的相互信息：估计还是计数？，进化。智力。，9, 3, 95-110 (2016)
[54] Nocedal，J。；Wright，S.J.，数值优化（2006），Springer:Springer Newyork·Zbl 1104.65059号
[55] Oluleye，B。；阿姆斯特朗，L。；Leng，J。；Diepeveen，D.，基于遗传算法的特征选择，国际电子杂志。公社。计算。工程师，5，4，2278-4209（2014）
[56] 帕沙伊，E。；艾丁，N.，生物数据特征选择和分类的二进制黑洞算法，应用。软计算。，56, 94-106 (2017)
[57] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；杜堡，V。；范德普拉斯，J。；帕索斯，A。；库纳波，D。；布鲁彻，M。；佩罗，M。；Duchesnay，E.，Scikit learn:python中的机器学习，J.Mach。学习。第12号决议，2825-2830（2011年）·Zbl 1280.68189号
[58] 彭，H。；长，F。；Ding，C.，基于互信息的特征选择：最大依赖性、最大相关性和最小冗余的标准，IEEE Trans。模式分析。机器。智力。，1, 8, 1226-1238 (2005)
[59] 普迪尔，P。；Novovicová，J。；Kittler，J.，特征选择中的浮动搜索方法，模式识别。莱特。，15, 10, 1119-1125 (1994)
[60] Rao，H。；史，X。；罗德里格，A.K。；冯，J。；夏，Y。；Elhoseny，M。；袁，X。；Gu，L.，基于人工蜂群和梯度提升决策树的特征选择，应用。软计算。，74, 634-642 (2019)
[61] Raydan，M.，关于Barzilai和Borwein选择梯度和方法的步长，IMA J.Numer。分析。，13, 321-326 (1993) ·Zbl 0778.65045号
[62] Sadegh等人。；Spall，J.C.，使用同时扰动梯度近似的随机近似的最佳随机扰动，IEEE Trans。自动化。控制，43，10，1480-1484（1998）·Zbl 0956.93044号
[63] 赛义德，S。；Nabil，E。；Badr，A.，用于特征选择的二元克隆花授粉算法，模式识别。莱特。，77, 21-27 (2016)
[64] Senawi，A。；魏，H。；Billings，S.，一种新的用于特征选择和排序的最大相关最小多重共线性（mrmmc）方法，模式识别。，67, 47-61 (2017)
[65] 西科尼亚，M。；Kononenko，I.，《地形起伏的理论和实证分析》，马赫。学习。，53, 23-69 (2003) ·Zbl 1076.68065号
[66] Spall，J.C.，使用同时扰动梯度近似的多元随机近似，IEEE Trans。自动化。控制，37，332-341（1992）·Zbl 0745.60110号
[67] Spall，J.C.，1999年。随机优化和同时摄动法。摘自：《第31届冬季模拟会议记录：模拟——通向未来的桥梁》第1卷，第101-109页。
[68] Spall，J.C.，《随机搜索和优化导论：估计、模拟和控制》（2003），新泽西州霍博肯市威利·邮编1088.90002
[69] 塔希尔，硕士。；布瑞丹，A。；Kurugollu，F.，使用混合禁忌搜索/k近邻分类器进行同步特征选择和特征加权，模式识别。莱特。，28, 4, 438-446 (2007)
[70] Tan，C。；马，S。；Dai，Y.-H。；Qian，Y.，Barzilai-borwein随机梯度下降步长，（神经信息处理系统进展（2016）），685-693
[71] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。B统计方法。，58, 267-288 (1996) ·Zbl 0850.62538号
[72] Tran，B。；薛，B。；Zhang，M.，变长粒子群优化在高维分类特征选择中的应用，IEEE Trans。进化。计算。，23, 3, 473-487 (2018)
[73] Wan，Y。；王，M。；Ye，Z。；Lai，X.，一种基于改进二进制编码蚁群优化算法的特征选择方法，应用。软计算。，49, 248-258 (2016)
[74] Wang，Q.，Spall，J.C.，2011年。带噪声测量的损失函数的圆盘同时扰动随机逼近。《美国控制会议记录》，第4520-4525页。
[75] Wang，L。；Wang，Y。；Chang，Q.，大数据生物信息学的特征选择方法：从搜索角度的调查，方法，111，21-31（2016）
[76] 王，M。；吴，C。；Wang，L。；Xiang，D。；Huang，X.，基于改进蚁狮优化器的高光谱图像特征选择方法，Knowl-基于系统。，168, 39-48 (2019)
[77] Wong，T.，通过k-fold和leave-on-out交叉验证对分类算法进行性能评估，模式识别。，48, 9, 2839-2846 (2015) ·Zbl 1394.68318号
[78] Xiang，J。；韩，X。；Duan，F。；Qiang，Y。；熊，X。；Lan，Y。；Chai，H.，基于改进的引力搜索算法和k-NN方法的新型混合特征选择系统，应用。软计算。，31, 293-307 (2015)
[79] 薛，Y。；薛，B。；Zhang，M.，用于分类中大规模特征选择的自适应粒子群优化，TKDD，13，5，50:1-50:27（2019）
[80] 薛，X。；姚，M。；Wu，Z.，一种新的基于集成的包装器方法，用于使用极端学习机和遗传算法进行特征选择，Knowl。信息系统。，57, 2, 389-412 (2018)
[81] 杨，J。；Olafsson，S.，基于优化的特征选择与自适应实例采样，计算。操作。研究，33，11，3088-3106（2006）·兹伯利1113.90139
[82] Z.D.Yenice。；Adhikari，北卡罗来纳州。；Wong，Y.K。；阿克萨卡利，V。；Gumus，A.T。；Abbasi，B.，SPSA-FSR:特征选择和排序的同时扰动随机近似（2018），arXiv:1804.05589
[83] Zawbaa，H.M。；Emary，E。；巴罗夫，B。；Sharawi，M.，基于mot-flame优化算法的特征选择方法，（2016年IEEE进化计算大会（CEC）（2016年），IEEE），4612-4617
[84] Zhang，Y。；夏，C。；龚，D。；Sun，X.，不可靠数据特征选择问题的多目标PSO算法，（Swarm Intelligence国际会议（2014），Springer），386-393
[85] 张，X。；Xu，Y。；Yu，C。；Heidari，A.A。；李，S。；陈，H。；李，C.，高斯变异混沌果蝇构建优化与特征选择，专家系统。申请。，141，第112976条pp.（2020）
[86] 郑，Z.，陈茂，X.，贾，J.，2010。用于特征提取的ISO-Container投影。收录于：IEEE智能信号处理与通信系统国际研讨会论文集。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。