×
张艺诗；朱瑞林；陈志军；高杰；夏德

通过高维数据特征内部相关性的信息论下限来评估和选择特征。 （英语） Zbl 1487.62166号

欧洲药典。物件。 290，编号1235-247（2021）.
摘要：在大数据发挥重要作用的领域，特征选择是一种重要的预处理和解释方法。在本文中，我们首先从特征内部相关性近似的角度重新表述和分析了一些具有代表性的信息论特征选择方法，并指出许多方法都不能保证特征内部相关性的任何理论界。因此，我们引入了两个具有非常简单形式的特征冗余和互补下限，并验证了它们比一些最先进的信息理论方法应用的现有下限更接近于最优值。然后提出了一种基于所提出下限的简单有效的特征选择方法，并用大量的实际数据集进行了实证验证。实验结果表明，该方法在特征选择方面取得了很好的改进，表明了由所提出的冗余下限和互补下限组成的特征准则的有效性。

引用于1文件

MSC公司：

62兰特 大数据和数据科学的统计方面
62H20个 关联度量（相关性、典型相关性等）
68T05型 人工智能中的学习和自适应系统

关键词：

数据挖掘；特征选择；冗余；互补性；下限

软件：

4.5条
PDF格式BibTeX公司 XML格式引用
\textit{Y.Zhang}等人，欧洲期刊Oper。第290号决议，第1号，第235--247号（2021年；Zbl 1487.62166）
全文： DOI程序 链接

参考文献：

[1] 啊哈，D。；Kibler，D.，基于实例的学习算法，机器学习，637-66（1991）
[2] Albrecht，A.A.，特征集问题的随机局部搜索及其在微阵列数据中的应用，应用数学与计算，183，2，1148-1164（2006）·Zbl 1110.68370号
[3] 安东诺夫。；特科，I.V。；Mader，M.T。；Budczies，J。；Mewes，H.W.，癌症分类的优化模型：从微阵列表达数据中提取基因交互信息，生物信息学，20，5，644-652（2004）
[4] Aytug，H.，使用广义benders分解的支持向量机特征选择，《欧洲运筹学杂志》，244，1，210-218（2015）·Zbl 1347.62105号
[5] Battiti，R.，在监督神经网络学习中使用mi选择特征，IEEE神经网络汇刊，5，4，537-550（1994）
[6] Bennasar，M。；希克斯，Y。；Setchi，R.，使用联合互信息最大化的特征选择，具有应用程序的专家系统，42，22，8520-8532（2015）
[7] Bennasar，M。；Setchi，R。；Hicks，Y.，《特征交互最大化》，《模式识别快报》，34，14，1630-1635（2013）
[8] Bertolazzi，P。；费利西，G。；费斯塔，P。；Fiscon，G.公司。；Weitschek，E.，《特征选择的整数规划模型：新扩展和随机解算法》，《欧洲运筹学杂志》，250，2，389-399（2016）·Zbl 1346.90605号
[9] Bertsimas，D.、Pauphilet，J.和Parys，B.V.（2020年）。稀疏分类：可扩展的离散优化视角。
[10] Blum，A。；Langley，P.，《机器学习中相关特征和示例的选择》，人工智能，97，245-271（1997）·Zbl 0904.68142号
[11] 博尔恩·卡内多，V。；Alonso-Betanzos，A.，《特征选择的集合：回顾与未来趋势》，《信息融合》，第52期，第1-12页（2019年）
[12] Brown，G.，《信息论特征选择的新视角》，（van Dyk，D.；Welling，M.，《第十二届人工智能与统计国际会议论文集》，《机器学习研究论文集》第5期（2009），PMLR:PMLR美国佛罗里达州克利尔沃特海滩希尔顿克利尔沃特海滩度假村），49-56
[13] 布朗，G。；波科克，A。；赵明杰。；Luján，M.，《条件似然最大化：信息理论特征选择的统一框架》，《机器学习研究杂志》，第13期，第27-66页（2012年）·Zbl 1283.68283号
[14] Chang，X。；聂，F。；Yang，Y。；Huang，H.，半监督多标签特征选择的凸公式，AAAI人工智能会议论文集，1171-1177（2014）
[15] 陈，J。；宋，L。；温赖特，M。；Jordan，M.，《学习解释：模型解释的信息理论视角》，（Dy，J.；Krause，A.，《第35届机器学习国际会议论文集》，80（2018），PMLR:PMLR Stockholmsmässan，瑞典斯德哥尔摩），883-892
[16] 陈，Q。；Chen，Y.-P.P.，rna假结结构和功能特征的发现，IEEE知识与数据工程学报，21，7，974-984（2009）
[17] 陈，X。；徐，F。；Ye，Y.，解中非零项的下限理论ℓ_2-ℓ_p最小化，SIAM科学计算杂志，32，5，2832-2852（2010）·Zbl 1242.90174号
[18] 盖，T.M。；Thomas，J.A.，《信息理论的要素》（1991），威利出版社：美国纽约州威利·Zbl 0762.94001号
[19] 北卡罗来纳州克里斯蒂亚尼尼。；Shawe Taylor，J.，《支持向量机和其他基于内核的学习方法简介》（2000），剑桥大学出版社：剑桥大学出版社，英国剑桥
[20] Das，A.K。；帕蒂，S.K。；Ghosh，A.，《使用双目标遗传算法的相关特征选择和集成分类器设计》，知识与信息系统，62423-455（2020）
[21] Demšar，J.，多数据集上分类器的统计比较，机器学习研究杂志，7，1-30（2006）·Zbl 1222.68184号
[22] 丁，C。；Peng，H.，从微阵列基因表达数据中选择最小冗余特征，IEEE计算机学会生物信息学会议论文集。IEEE计算机学会生物信息学会议记录，CSB’03，523-528（2003），IEEE计算机协会：IEEE计算机社会，美国华盛顿特区
[23] Fano，R.，《信息传输：通信统计理论》（1961年），威利出版社：美国纽约威利出版社·Zbl 1474.94054号
[24] 法耶兹，U.M。；Irani，K.B.，用于分类学习的连续值属性的多间隔离散化，第13届人工智能国际联合会议论文集。第十三届国际人工智能联合会议记录，IJCAI'93，1022-1027（1993）
[25] Fleuret，F.，带条件互信息的快速二进制特征选择，机器学习研究杂志，51531-1555（2004）·Zbl 1222.68200号
[26] Furey，T.S。；北卡罗来纳州克里斯蒂亚尼尼。；达菲，N。；贝德纳尔斯基，D.W。；舒默，M。；Haussler，D.，使用微阵列表达数据对癌症组织样本进行支持向量机分类和验证，生物信息学，16，10，906-914（2000）
[27] 高，W。；胡，L。；Zhang，P.，基于互信息的特征选择的特征冗余术语变化，应用智能，501272-1288（2020）
[28] B.加达。；Naoum-Sawaya，J.，使用支持向量机进行高维数据分类和特征选择，《欧洲运筹学杂志》，265，3，993-1004（2018）·Zbl 1381.62170号
[29] 郭，B。；Nixon，M.S.，通过相互信息选择步态特征子集，IEEE系统交易，人与控制论，39，1，36-46（2009）
[30] 盖恩，I。；Gunn，S。；Nikravesh，M。；Zadeh，L.，《特征提取：基础与应用》（2006），施普林格出版社
[31] 何，X。；纪，M。；张，C。；Bao，H.，使用拉普拉斯正则化的特征选择方差最小化准则，IEEE模式分析和机器智能汇刊，33，10，2013-2025（2011）
[32] 赫尔曼，G。；张，B。；Wang，Y。；Ye，G。；Chen，F.，选择信息特征集的基于互信息的方法，模式识别，46，12，3315-3327（2013）
[33] Judea，P.，《因果关系：模型、推理和推断》（2000），剑桥大学出版社：剑桥大学出版社，纽约州纽约市，美国·Zbl 0959.68116号
[34] 昆都，P.P。；Mitra，S.，通过消息传递进行特征选择，IEEE控制论汇刊，47，12，4356-4366（2017）
[35] Lewis，D.D.，文本分类的特征选择和特征提取，语音和自然语言研讨会论文集，212-217（1992），计算语言学协会Morristown:计算语言学协会，美国新泽西州Morristown
[36] 李，J。；Cheng，K。；王，S。；Morstatter，F。；特雷维诺，R.P。；Tang，J。；Liu，H.，《特征选择：数据透视》，ACM Computing Surveys，50，6，94:1-94:45（2017）
[37] Ling，Z。；Yu，K。；Wang，H。；李，L。；Wu，X.，使用特征选择进行局部因果结构学习，IEEE计算智能新兴主题汇刊，1-11（2020）
[38] 刘，Y。；唐，F。；Zeng，Z.，基于依存度的特征选择，IEEE控制论汇刊，45，6，1209-1221（2015）
[39] López，J。；Maldonado，S.，基于稳健优化和特征选择的基于利润的信用评分，信息科学，500，190-202（2019）
[40] 马尔多纳多，S。；蒙托亚，R。；Weber，R.，《通过支持向量机使用特征选择的高级联合分析》，《欧洲运筹学杂志》，241564-574（2015）·兹比尔1339.91077
[41] 马尔多纳多，S。；佩雷斯，J。；Bravo，C.，《支持向量机基于成本的特征选择：在信用评分中的应用》，《欧洲运筹学杂志》，261,2656-665（2017）·Zbl 1403.90526号
[42] 梅耶，体育。；Schretter，C。；Bontempi，G.，使用可变互补性的微阵列数据中的信息论特征选择，IEEE信号处理选定主题期刊，2，3，261-274（2008）
[43] 彭，H。；长，F。；丁，C.，基于互信息的特征选择：最大依赖、最大相关和最小冗余标准，IEEE模式分析和机器智能汇刊，27，8，1226-1238（2005）
[44] Qu，G。；哈里里，S。；Yousif，M.，《特性的新依赖性和相关性分析》，IEEE知识与数据工程汇刊，17，9，1199-1207（2005）
[45] Quinlan，R.，C4.5：《机器学习程序》（1993），摩根·考夫曼出版社：摩根·考夫曼出版社，美国加利福尼亚州圣马特奥
[46] Robnik-Sikonja，M。；Kononenko，I.，《救济和救济的理论和实证分析》，机器学习，53，23-69（2003）·Zbl 1076.68065号
[47] 宋，Q。；Ni，J。；Wang，G.，用于高维数据的基于快速聚类的特征子集选择算法，IEEE知识与数据工程汇刊，25，1，1-14（2013）
[48] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊B辑》，58267-288（1996）·Zbl 0850.62538号
[49] 新泽西州文。；周，S。；Chan，J。；Bailey，J.，《高阶相关性能否改善基于互信息的特征选择？》？，模式识别，53，46-58（2016）·Zbl 1412.68194号
[50] 王，D。；聂，F。；Huang，H.，通过全局冗余最小化进行特征选择，IEEE知识与数据工程汇刊，27，10，2743-2755（2015）
[51] Wang，J。；魏建民。；杨，Z。；Wang，S.-Q.，通过最大化独立分类信息进行特征选择，IEEE知识与数据工程汇刊，29，4，828-841（2017）
[52] Witten，H.I。；Frank，E.，《数据挖掘：Java实现的实用机器学习工具和技术》（2000），Morgan Kaufmann:Morgan Koufmann San Francisco，CA，USA
[53] Won，D。；曼祖尔，H。；Chaovalitwingse，W.，网络数据中群组特征选择的凸优化，INFORMS计算杂志，32，1，182-198（2020）·Zbl 1451.90034号
[54] Yang，H.H。；Moody，J.，基于联合互信息的特征选择，国际公务员制度委员会智能数据分析进展专题讨论会论文集，22-25（1999）
[55] Yu，K。；刘，L。；李，J。；丁·W。；Le，T.D.，多源因果特征选择，IEEE模式分析和机器智能汇刊，42，9，2240-2256（2020）
[56] Yu，K。；X.Xu，M.E。；Kriegel，H.-P.，《协同过滤的特征权重和实例选择：信息理论方法》，《知识与信息系统》，2003年第5期，第2期，第201-224页
[57] Yu，L。；Liu，H.，通过相关性和冗余分析进行有效特征选择，《机器学习研究杂志》，51205-1224（2004）·Zbl 1222.68340号
[58] Zhang，Y。；杨，A。；熊，C。；Zhang，Z.，使用数据包络分析进行特征选择，基于知识的系统，64，70-80（2014）
[59] Zhang，Y。；张，Q。；陈，Z。；尚，J。；Wei，H.，利用非线性稀疏表示和近似相关性分析进行分类的特征评估和排序，决策支持系统，122，113064（2019）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。