爱思维尔

模式识别

第48卷第7期,2015年7月,第2151-2163页
模式识别

基于相对决策熵的特征选择方法

要闻

·

提出了一种新的粗糙集启发式特征选择算法。

·

提出了一种新的信息熵模型——相对决策熵。

·

我们证明了相对决策熵相对于分区的偏序是单调的。

·

我们将我们的特征选择算法应用到入侵检测中。

·

在KDD-99数据集和一些其他数据集上显示了算法的有效性。

摘要

粗糙集理论已被证明是一种有效的特征选择工具。为了避免穷举方法中的指数计算,在粗糙集中提出了许多启发式特征选择算法。然而,这些算法仍然遭受高的计算成本。在本文中,我们提出了一种新的启发式特征选择算法(称为FSMRDE)在粗糙集。为了度量特征在FSMRDE中的重要性,我们提出了一种新的相对决策熵模型,它是粗糙集中香农信息熵的推广。此外,为了测试FSMRDE的有效性,我们将其应用于入侵检测和其他应用领域。实验结果表明,基于相对决策熵的特征重要性作为启发式信息,FSMRDE是一种有效的特征选择方法。特别是,FSMRDE能够实现大数据集的良好的可扩展性。

关键词

粗糙集
特征选择
粗糙度
依存度
相对决策熵
特征意义

冯江2007获中国科学院计算机技术研究所计算机软件博士学位。现任中国青岛科技大学信息科学与技术学院计算机科学系副教授。他曾是IEEE粒度计算国际会议的程序委员会成员。他的研究兴趣包括粗糙集理论、数据挖掘和机器学习。

隋飞飞1988获中国科学院软件研究所中国数学博士学位。现任中国科学院计算技术研究所教授。他的研究兴趣包括人工智能的逻辑基础和本体工程。

林周2007在中国青岛科技大学获得计算机软件硕士学位。现任中国青岛科技大学信息科学与技术学院计算机系讲师,青岛。他的研究兴趣包括粗糙集理论和数据挖掘。

查看全文