×
徐建华;卢文凯;李军;袁宏利

基于归一化互协方差算子及其近似形式的高维数据相关性最大化前向特征选择算法。 （英语） Zbl 07813907号

信息科学。 617, 416-434 (2022).
摘要：用于分类的监督特征选择（FS）旨在从原始特征中找到更具鉴别能力的子集，以便于分类器训练，提高分类性能，增强模型的可解释性。主归一化互协方差算子（NOCCO）是一种基于非线性核的特征和标签相关性度量，包括两个逆矩阵，其近似形式（ANOCCO）通过利用线性核表示特征、δ核表示标签和Moore-Penrose逆简化。本文将NOCCO和ANOCCO应用于FS任务。根据顺序前向选择，基于前向NOCCO的FS算法（即FoNOCCO）通过各种加速策略直接实现，但其计算复杂度极高。为此，我们通过最大化ANOCCO（即FoANOCCO）提出了它的快速版本，其中每个候选特征都根据Moore-Penrose逆的列递归算法进行有效评估。理论分析表明，评估候选特征需要FoANOCCO中的\（O（N^2）\）和FoNOCCO中的\（O（N^3）\）的时间复杂度，其中\（N\）是实例数。在八个小型高维基准数据集上，我们的详细实验表明，我们的两个前向FS算法优于六种最先进的FS方法和四个基准分类器，FoANOCCO的运行速度是FoNOCCO的70倍，准确率下降了1.79%。

MSC公司：

68倍 计算机科学
92至XX 生物学和其他自然科学

关键词：

高维数据;特征选择;依赖最大化;互协方差算子;顺序正向选择
PDF格式BibTeX公司 XML格式引用
\textit{J.Xu}等人，《信息科学》。617416-434（2022；Zbl 07813907）
全文： 内政部

参考文献：

[1] 博隆·卡内多，V。；Sanchez-Marono，N。；Alonso-Betanzos，A.，高维数据的特征选择，Progr。Artif公司。智力。，5, 2, 65-75 (2016)
[2] Bommert，A。；太阳，X。；Bischl，B。；Rahnenfuhrer，J。；Lang，M.，Bechmark，用于高维分类数据中特征选择的滤波方法，Computat。统计数据分析。，143，第106839条pp.（2020）·Zbl 1510.62019年
[3] 李，J。；Cheng，K。；王，S。；Morstatter，F。；特雷维诺，共和党人。；Tang，J。；Liu，H.，特征选择：数据透视，ACM Compute。调查。，50、6，第e94条pp.（2018）
[4] 埃尔南德斯，V.A.S。；蒙罗伊，R。；Medina-Perez，医学硕士。；O.Loyola-Gonzalez。；Herrera，F.，《决策树归纳实用教程：候选分割和机会的评估方法》，ACM Compute。调查。，54，1，文章e18 pp.（2021）
[5] 马尔多纳多，S。；韦伯，R。；Basak，J.，《使用kerenl-enalized支持向量机的同步特征选择和分类》，《信息科学》。，181115-128（2011年）
[6] 洛佩兹，J。；马尔多纳多，S。；Carrasco，M.，通过DC编程实现稳健特征选择和SVM分类的双重正则化方法，Inf.Sci。，429, 377-389 (2018) ·Zbl 1436.68310号
[7] 李，X。；Wang，Y。；Ruiz，R.，《特征选择稀疏学习模型的调查》，IEEE Trans。赛博。，52, 3, 1642-1660 (2022)
[8] Tibshirani，R.，《通过Lasso，J.Roy回归收缩和选择》。统计社会：序号。B（Methodol.），58，1，267-288（1996）·Zbl 0850.62538号
[9] Pang，T。；聂，F。；Han，J。；Li，X.，通过l2,0-形式约束稀疏回归进行有效特征选择，IEEE Trans。知识。数据工程，31，5，880-893（2019）
[10] Kohavi，R。；John，G.H.，特征子集选择包装器，Artif。智力。，97, 273-324 (1997) ·Zbl 0904.68143号
[11] 盖恩，I。；韦斯顿，J。；巴恩希尔，S。；Vapnik，V.，使用支持向量机进行癌症分类的基因选择，马赫。学习。，46, 1-3, 389-422 (2002) ·Zbl 0998.68111号
[12] 马尔多纳多，S。；Weber，R.，使用支持向量机进行特征选择的包装方法，Inf.Sci。，179, 13, 2208-2217 (2009)
[13] 江，L。；孔，G。；Li，C.，测试-敏感特征选择的包装框架，IEEE Trans。系统。，网络人：系统。，51, 3, 1747-1756 (2021)
[14] 杜达，R.O。；哈特，体育。；斯托克·D·G，《模式分类》（2001），威利出版社：纽约威利出版社·Zbl 0968.68140号
[15] 格雷顿，A。；O.布斯克。；Smola，A。；Schokopf，B.，用希尔伯特-施密特范数测量统计相关性，（Jain，S.；Simon，H.U.；Tomita，E.，Proc.16th Int.Conf.Algorithmic Learning Theory，ALT’05（2005），施普林格：施普林格-柏林，海德堡），63-77·Zbl 1168.62354号
[16] Whitney，A.W.，《非参数测量选择的直接方法》，IEEE Trans。计算。，20, 9, 1100-2203 (1971) ·Zbl 0227.68047号
[17] 罗德里格斯·卢扬，I。；韦尔塔，R。；埃尔坎，C。；Cruz，C.S.，二次编程特征选择，J.Mach。学习。第11号决议，1491-1516（2010年）·Zbl 1242.68245号
[18] Fukumizu，K。；格雷顿，A。；太阳，X。；Scholkopf，B.，《条件依赖的内核度量》，（Platt，J.；Koller，D.；Singer，Y.；Roweis，S.，Proc.21st Conf.Neural Information Processing Systems，NIPS’07（2007），麻省理工学院：麻省理学学院剑桥分校），489-496
[19] 山田，M。；吉特克里特姆，W。；西格尔，L。；Xing，E.P。；Sugiyama，M.，用特征-线性核化拉索进行高维特征选择，神经计算。，26, 1, 185-207 (2014) ·Zbl 1410.68328号
[20] 徐，J。；Mao，Z.H.，通过最大化近似和对称化归一化互协方差算子的多标签特征提取算法，IEEE Trans。赛博。，51, 7, 3510-3523 (2021)
[21] Zhang，X.-D.，矩阵分析与应用（2017），剑桥大学出版社：剑桥大学出版社，英国剑桥·Zbl 1381.65027号
[22] 宋，L。；Smola，A。；格雷顿，A。；贝多·J。；Borgwardt，K.，《通过依赖最大化进行特征选择》，J.Mach。学习。决议，第13号，第1393-1434页（2012年）·Zbl 1303.68110号
[23] Roffo，G。；梅兹，S。；卡斯特拉尼，美国。；Vinciarelli，A。；Cristani，M.，《无限特征选择：基于图形的特征过滤方法》，IEEE Trans。模式分析。机器。智力。，43, 12, 4396-4410 (2021)
[24] Hall，M.A.，离散类和数值类机器学习的基于相关性的特征选择，（Langley，P.，Proc.17th Int.Conf.machine learning，ICML'00（2000），Morgan Kaufmann：Morgan Kaufmann San Francisco，CA），359-366
[25] 彭，H。；长，F。；丁，C.，基于互信息的特征选择：最大相关性、最大相关性和最小冗余的准则，IEEE Trans。模式分析。机器。智力。，27, 8, 1226-1237 (2005)
[26] 风机，R.-E。；Chang，K.-W。；谢长杰。；王，X.-R。；Lin，C.-J.，Liblinear:大型线性分类库，J.Mach。学习。1871-1874年第9号决议（2008年）·兹比尔1225.68175
[27] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥，美国·Zbl 1373.68009号
[28] Thabtah，F。；卡马洛夫，F。；哈穆德，S。；Shahamiri，S.R.，《最小损失：特征选择的简化滤波方法》，《信息科学》。，534, 1-15 (2020) ·Zbl 1459.68177号
[29] K.Kira，L.A.Rendell，《特征选择的实用方法》，载于：D.Sleeman，P.Edwards（编辑），Proc。第九届国际机器学习研讨会，ICML'92，Morgan Kaufmann，San Mateo，CA，1992，第249-256页。
[30] I.Kononenko，《评估属性：救济的分析和外延》，载：F.Bergadano，L.D.Raedt（编辑），Proc。第二届欧洲计算机学习会议，ECML'94，柏林斯普林格，海德堡，1994年，第171-182页。
[31] Urbanowicz，R.J。；米克尔，M。；卡瓦·W.L。；奥尔森·R。；Moore，J.，《基于浮雕的特征选择：简介和评论》，J.Biomed。通知。，85, 189-203 (2018)
[32] 杜，J。；Song，Y。；魏，G。；Zhang，Y.，结合模糊信息分解和特征选择加权：当嵌入数据满足不完全性时，Inf.Sci。，584, 417-432 (2022)
[33] Marill，T。；Green，D.M.，《关于识别系统中受体的有效性》，IEEE Trans。通知。理论，9，1，11-17（1963）
[34] Wang，L.，具有核类可分性的特征选择，IEEE Trans。模式分析。机器。智力。，30, 9, 1534-1546 (2008)
[35] 王，C。；黄，Y。；Shao先生。；胡，Q。；Chen，D.，基于邻里自我信息的特征选择，IEEE Trans。赛博。，50, 9, 4031-4042 (2020)
[36] Wang，J。；魏建民。；杨，Z。；Wang，S.-Q.，通过最大化独立分类信息进行特征选择，IEEE Trans。知识。数据工程，27，4，828-841（2017）
[37] 拉尔，S。；辛哈，D。；Ghosh，A。；森古普塔博士。；Bandyopadhyay，S.，使用基于copula的互信息进行稳定特征选择，模式识别。，112，文章e107697 pp.（2021）
[38] 山田，M。；Tang，J。；Lugo-Martinez，J。；Hodzic，E。；Shrestha，R。；萨哈，A。；欧阳，H。；尹，D。；Mamisuka，H。；Sahinalp，C。；Radivojac，P。；门策尔，F。；Chang，Y.，大生物数据的超高维非线性特征选择，IEEE Trans。知识。数据工程，30，7，1352-1363（2018）
[39] 科尔特斯，C。；莫赫里，M。；Rostamizadeh，A.，基于中心对齐的内核学习算法，J.马赫。学习。《决议》，第13卷，第795-828页（2012年）·Zbl 1283.68286号
[40] 聂，F。；Yang，S。；张，R。；Li，X.，通过全局冗余最小化进行自动加权特征选择的通用框架，IEEE Trans。图像处理。，28, 5, 2428-2438 (2019) ·Zbl 1411.94009号
[41] 马萨利，M。；冯先生。；Dy，J.G.，《从基于变换的降维到特征选择》（Furnkranz，J.；Joachims，T.，Proc.27 Int.Conf.Machine Learning，ICML’10（2010），Omnipress，Madison，WI），第751-758页
[42] 陈，J。；斯特恩，M。；Wainwright，M.J。；Jordan，M.，通过条件协方差最小化进行内核特征选择，（von Luxburg，U.；Guyon，I.；Bengio，S.；Wallach，H.；Fergus，R.，Proc.31 Conf.Neural Information Processing Systems，NIPS’17（2017），Curran Associates Inc.：Curran associatess Inc.Red Hook，NY），946-955
[43] Wang博士。；聂，F。；Huang，H.，通过全局冗余最小化进行特征选择，IEEE Trans。知识。数据工程，27，10，2743-2755（2015）
[44] 聂，F。；王，Z。；田，L。；王，R。；Li，X.，子空间稀疏判别特征选择，IEEE Trans。赛博。，52, 6, 4221-4233 (2022)
[45] 巴利亚辛格，P。；内亚克，I。；Kumar，V.，《通过差分算子进行矩阵反演》，伊朗。科学杂志。技术。，事务处理。科学。，42, 4, 2069-2077 (2018)
[46] J.C.A.巴拉塔。；侯赛因，M.S.，《摩尔-彭罗斯伪逆：理论的总体回顾》，布拉兹。《物理学杂志》。，42, 1/2, 146-165 (2012)
[47] Demsar，J.，《多数据集分类器的统计比较》，J.Mach。学习。研究，7，1-30（2006）·Zbl 1222.68184号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。