跳到主要内容
研究论文

因果和非因果特征选择的统一观点

作者信息和声明
出版:2021年4月18日出版历史
跳过抽象节

摘要

在本文中,我们的目标是发展一种因果和非因果特征选择方法的统一观点。统一的观点将填补这两种方法之间关系研究的空白。基于贝叶斯网络框架和信息理论,我们首先证明了因果和非因果特征选择方法具有相同的目标。即找到类属性的马尔可夫覆盖层,即理论上用于分类的最佳特征集。然后,我们检查了搜索最优特征集时由因果和非因果特征选择方法所做的假设,并通过将这些假设映射到所研究问题的贝叶斯网络模型的结构限制来统一这些假设。我们进一步详细分析了结构假设如何导致这些方法在搜索过程中使用不同级别的近似,从而导致这些方法所找到的特征集相对于最佳特征集的近似。有了统一的观点,我们可以从因果的角度解释非因果方法的输出,并推导出这两种方法的误差界。最后,我们通过对合成数据和各种类型的真实世界数据的广泛实验,对因果方法和非因果方法之间的关系进行了实际理解。

跳过补充材料部分

补充材料

工具书类

  1. Alan Agresti和Maria Kateri,2011年。分类数据分析。国际统计科学百科全书。施普林格,206-208。谷歌学者谷歌学者
  2. Constantin F.Aliferis、Alexander Statnikov、Ioannis Tsamardinos、Subramani Mani和Xenofon D.Koutsoukos。2010年。用于因果发现和分类特征选择的局部因果和马尔可夫覆盖归纳第一部分:算法和实证评估。《机器学习研究杂志》11,7(2010),171-234。谷歌学者谷歌学者数字图书馆数字图书馆
  3. 君士坦丁·阿里费利斯(Constantin F.Aliferis)、伊奥安尼斯·沙马尔蒂诺斯(Ioannis Tsamardinos)和亚历山大·斯坦尼科夫(Alexander Statnikov)。2003年。HITON:一种用于最优变量选择的新型马尔可夫覆盖算法。AMIA年度研讨会论文集。2003年第卷。美国医学信息学协会,21。谷歌学者谷歌学者
  4. 凯文·巴赫和莫西·利奇曼。2013年,UCI机器学习库。检索自http://archive.ics.uci.edu/ml。谷歌学者谷歌学者
  5. Kiran S.Balagani和Vir V.Phoha。2010年。基于多维互信息近似的特征选择标准。IEEE模式分析和机器智能汇刊32,7(2010),1342--1343。谷歌学者谷歌学者数字图书馆数字图书馆
  6. 罗伯托·巴蒂蒂。1994.在监督神经网络学习中使用互信息选择特征。IEEE神经网络汇刊5,4(1994),537-550。谷歌学者谷歌学者数字图书馆数字图书馆
  7. Ingo A.Beinlich、Henri J.Suermondt、R.Martin Chavez和Gregory F.Cooper。1989年,警报监测系统:信念网络两种概率推理技术的案例研究。斯普林格。谷歌学者谷歌学者
  8. David A.Bell和Hui Wang。相关性形式及其在特征子集选择中的应用。机器学习41,2(2000),175--195。谷歌学者谷歌学者数字图书馆数字图书馆
  9. Gianluca Bontempi和Patrick E.Meyer。2010年。微阵列数据中的因果过滤器选择。第27届机器学习国际会议论文集。95--102.谷歌学者谷歌学者
  10. Giorgos Borboudakis和Ioannis Tsamardinos。2019年,提前下跌的远期选择。机器学习研究杂志20,1(2019),276--314。谷歌学者谷歌学者数字图书馆数字图书馆
  11. 加文·布朗、亚当·波科克、赵明杰和米凯尔·卢扬。2012.条件似然最大化:信息论特征选择的统一框架。《机器学习研究杂志》13,1(2012),27-66。谷歌学者谷歌学者数字图书馆数字图书馆
  12. 彼得·鲍尔曼(Peter Bühlmann)、马库斯·卡利什(Markus Kalisch)和马洛斯·马托伊斯(Marloes H.Maathuis)。2010.高维线性模型中的变量选择:部分忠实分布和PC-simple算法。《生物特征》97,2(2010),261--278。谷歌学者谷歌学者交叉引用交叉引用
  13. 托马斯·克文和乔伊·托马斯。2012.信息理论要素。约翰·威利父子公司。谷歌学者谷歌学者
  14. Manoranjan Dash和Huan Liu。2003.特征选择中基于一致性的搜索。人工智能151,1--2(2003),155-176。谷歌学者谷歌学者数字图书馆数字图书馆
  15. R·M·法诺。1961.信息传输:通信统计理论。麻省理工学院出版社。谷歌学者谷歌学者
  16. 弗朗索瓦·弗莱特。2004.带条件互信息的快速二进制特征选择。《机器学习研究杂志》5,9(2004),1531--1555。谷歌学者谷歌学者数字图书馆数字图书馆
  17. 尼尔·弗里德曼(Nir Friedman)、丹·盖革(Dan Geiger)和莫伊斯·戈德斯密特(Moises Goldszmidt)。1997.贝叶斯网络分类器。机器学习29,2--3(1997),131-163。谷歌学者谷歌学者数字图书馆数字图书馆
  18. 傅顺凯和米歇尔·德斯马拉斯。2008年,《通过单次通过内的局部学习实现快速马尔可夫覆盖发现算法》,《加拿大智能计算研究学会会议论文集》(the Proceedings of the Conference of the Canadian Society for Computational Studies of Intelligence)。施普林格,96-107。谷歌学者谷歌学者
  19. 福田敬助(Keinosuke Fukunaga)。2013.统计模式识别简介。学术出版社。谷歌学者谷歌学者数字图书馆数字图书馆
  20. 田高和强吉。2017年。高效马尔可夫覆盖发现及其应用。IEEE控制论汇刊47,5(2017),1169--1179。谷歌学者谷歌学者交叉引用交叉引用
  21. 伊莎贝拉·盖恩(Isabelle Guyon)、康斯坦丁·阿里费利斯(Constantin Aliferis)和安德烈·埃利塞夫(AndréElisseeff)。2007.因果特征选择。特征选择的计算方法,H.Liu和H.Motoda(编辑)。CRC出版社。谷歌学者谷歌学者
  22. 伊莎贝尔·盖恩和安德烈·埃利塞夫。2003年,变量和特征选择简介。机器学习研究杂志3,3月(2003),1157-1182。谷歌学者谷歌学者
  23. 伊莎贝尔·盖恩和安德烈·埃利塞夫。2006.特征提取简介。特征提取。施普林格,1-25。谷歌学者谷歌学者
  24. Martin E.Hellman和Josef Raviv。1970.错误概率、模棱两可和切尔诺夫界限。IEEE信息理论汇刊16,4(1970),368--372。谷歌学者谷歌学者数字图书馆数字图书馆
  25. 罗恩·科哈维和乔治·H·约翰。1997.特征子集选择包装器。人工智能97,1(1997),273--324。谷歌学者谷歌学者数字图书馆数字图书馆
  26. Daphne Koller和Mehran Sahami。1995年。走向最佳特征选择。第13届国际机器学习会议论文集。284--292.谷歌学者谷歌学者
  27. 所罗门·库尔贝克和理查德·莱布勒。1951.关于信息和充分性。《数理统计年鉴》22,1(1951),79-86。谷歌学者谷歌学者交叉引用交叉引用
  28. 大卫·D·刘易斯。1992.文本分类的特征选择和特征提取。演讲与自然语言研讨会论文集。计算语言学协会,212-217。谷歌学者谷歌学者数字图书馆数字图书馆
  29. 李俊东、程克伟、王素航、弗雷德·莫斯塔特、罗伯特·特雷维诺、汤继良和刘欢。2017.特征选择:数据视角。ACM计算调查50,6(2017),1-45。谷歌学者谷歌学者数字图书馆数字图书馆
  30. 林大华和汤晓鸥。2006.条件infomax学习:一个用于特征提取和融合的集成框架。《欧洲计算机视觉会议论文集》。施普林格,68-82。谷歌学者谷歌学者数字图书馆数字图书馆
  31. 玲兆龙、奎瑜、王浩、李磊和吴新东。2020年。使用特征选择进行局部因果结构学习。IEEE计算智能新兴主题汇刊。(2020).谷歌学者谷歌学者交叉引用交叉引用
  32. 玲兆龙、奎瑜、王浩、刘林、丁伟和吴新东。2019.Bamb:一种用于特征选择的平衡马尔可夫覆盖发现方法。ACM智能系统与技术汇刊10,5(2019),1-25。谷歌学者谷歌学者数字图书馆数字图书馆
  33. 迪米特里斯·马加里蒂斯和塞巴斯蒂安·特伦。2000.通过本地社区进行贝叶斯网络归纳。神经信息处理系统进展论文集。505--511.谷歌学者谷歌学者
  34. Patrick Emmanuel Meyer、Colas Schretter和Gianluca Bontempi。2008.使用可变互补性在微阵列数据中进行信息论特征选择。IEEE信号处理选定主题杂志2,3(2008),261--274。谷歌学者谷歌学者交叉引用交叉引用
  35. 朱迪娅·珀尔。2014.智能系统中的概率推理:合理推理网络。摩根·考夫曼。谷歌学者谷歌学者
  36. Jose M.Peña、Roland Nilsson、Johan Björkegren和Jesper Tegnér。2007年。实现马尔可夫边界的可扩展和数据高效学习。国际近似推理杂志45,2(2007),211--232。谷歌学者谷歌学者数字图书馆数字图书馆
  37. 彭汉川、龙福慧和丁克力。2005.基于最大相关性、最大相关性和最小冗余的互信息标准的特征选择。IEEE模式分析和机器智能汇刊27,8(2005),1226--1238。谷歌学者谷歌学者数字图书馆数字图书馆
  38. 马尔科·罗布尼克-什伊科尼亚和伊戈尔·科诺连科。2003年,ReliefF和RRelifF的理论和实证分析。机器学习53,1--2(2003),23-69。谷歌学者谷歌学者数字图书馆数字图书馆
  39. Bernhard Schölkopf、Francesco Locatello、Stefan Bauer、Nan Rosemary Ke、Nal Kalchbrenner、Anirudh Goyal和Yoshua Bengio。2021.走向因果表征学习。IEEE会议记录。内政部:10.1109/JPROC.2021.3058954谷歌学者谷歌学者交叉引用交叉引用
  40. 克劳德·埃尔伍德·香农。2001年,传播数学理论。ACM SIGMOBILE移动计算与通信评论5,1(2001),3--55。谷歌学者谷歌学者数字图书馆数字图书馆
  41. 亚历山大·希什金(Alexander Shishkin)、阿纳斯塔西亚·贝祖布茨娃(Anastasia Bezzubtseva)、阿列克谢·德鲁萨(Alexey Drutsa)、伊利亚·希什科夫(Ilia Shishkov)、叶卡捷琳娜·格拉德基克(Ekaterina Gladkikh)、格列布·。2016.基于条件互信息的高效高阶交互软件特征选择。神经信息处理系统进展论文集。4637--4645.谷歌学者谷歌学者
  42. Le Song、Alex Smola、Arthur Gretton、Justin Bedo和Karsten Borgwardt。2012.通过依赖最大化进行特征选择。《机器学习研究杂志》13,47(2012),1393-1434。谷歌学者谷歌学者数字图书馆数字图书馆
  43. 宋贤芳、张勇、郭一南、孙晓燕和王永利。2020年。用于高维数据特征选择的可变规模协同进化粒子群优化。IEEE进化计算汇刊24,5(2020),882--895。谷歌学者谷歌学者交叉引用交叉引用
  44. 彼得·斯皮特斯(Peter Spirtes)、克拉克·格雷摩尔(Clark N.Glymour)和理查德·谢恩斯(Richard Scheines)。2000.因果关系、预测和搜索。第81卷。麻省理工学院出版社。谷歌学者谷歌学者
  45. D.Tebbe和S.Dwyer。1968.不确定性和错误概率(Corresp.)。IEEE信息理论汇刊14,3(1968),516--518。谷歌学者谷歌学者数字图书馆数字图书馆
  46. Ioannis Tsamardinos和Constantin F.Aliferis,2003年。面向原则性特征选择:相关性、过滤器和包装器。第九届人工智能与统计国际研讨会论文集。摩根考夫曼出版社。谷歌学者谷歌学者
  47. Ioannis Tsamardinos、Constantin F.Aliferis和Alexander Statnikov。2003年,时间和样本有效发现马尔可夫毯子和直接因果关系。第九届ACM SIGKDD知识发现和数据挖掘国际会议论文集。美国医学会,673--678。谷歌学者谷歌学者数字图书馆数字图书馆
  48. Ioannis Tsamardinos、Constantin F.Aliferis、Alexander R.Statnikov和Er Statnicov。2003年,大规模马尔可夫覆盖发现算法。在FLAIRS会议记录中。第2卷。376--380.谷歌学者谷歌学者
  49. Ioannis Tsamardinos、Laura E.Brown和Constantin F.Aliferis,2006年。最大最小爬山贝叶斯网络结构学习算法。机器学习65,1(2006),31--78。谷歌学者谷歌学者数字图书馆数字图书馆
  50. 豪尔赫·韦加拉(Jorge R.Vergara)和巴勃罗·埃斯特韦斯(Pablo A.Estévez)。2014.基于互信息的特征选择方法综述。神经计算与应用24,1(2014),175--186。谷歌学者谷歌学者交叉引用交叉引用
  51. 米歇尔·维达尔·纳奎特(Michel Vidal-Naquet)和西蒙·乌尔曼(Shimon Ullman)。2003年。具有信息特征和线性分类的对象识别。第九届IEEE计算机视觉国际会议论文集。第1卷。281--281.谷歌学者谷歌学者交叉引用交叉引用
  52. 阮宣荣、周朔、陈杰弗里和詹姆斯·贝利。2016.高阶依赖性能否改善基于互信息的特征选择?模式识别53,May(2016),46-58。谷歌学者谷歌学者数字图书馆数字图书馆
  53. De Wang、Danesh Irani和Calton Pu。2012.网络垃圾邮件的进化研究:2011年网络垃圾邮件语料库与2006年网络垃圾语料库。第八届国际协作计算会议论文集:网络、应用和工作共享(CollaborateCom'12)。IEEE,40-49。谷歌学者谷歌学者数字图书馆数字图书馆
  54. 王浩、凌兆龙、余奎和吴新东。2020年。为特征选择高效发现马尔可夫覆盖层。信息科学5092020年1月,227--242。谷歌学者谷歌学者
  55. 王军、魏金茂、杨正璐和王淑琴。2017.通过最大化独立分类信息进行特征选择。IEEE知识与数据工程汇刊29,4(2017),828-841。谷歌学者谷歌学者数字图书馆数字图书馆
  56. 薛冰(Bing Xue)、张梦洁(Mengjie Zhang)、威尔·N·布朗(Will N.Browne)和姚欣(Xin Yao)。2015年,特征选择的进化计算方法调查。IEEE进化计算汇刊20,4(2015),606--626。谷歌学者谷歌学者数字图书馆数字图书馆
  57. Howard Hua Yang和John Moody。数据可视化和特征选择:非高斯数据的新算法。神经信息处理系统进展论文集。687--693.谷歌学者谷歌学者
  58. 桑迪普·亚拉马卡拉(Sandeep Yaramakala)。2004年,快速马尔可夫一揽子发现。博士论文。爱荷华州立大学。谷歌学者谷歌学者
  59. Sandeep Yaramakala和Dimitris Margaritis。2005.用于最佳特征选择的推测性马尔可夫覆盖发现。第五届IEEE数据挖掘国际会议论文集。IEEE,4。谷歌学者谷歌学者数字图书馆数字图书馆
  60. Kui Yu、Xianjie Guo、Lin Liu、Jiuyong Li、Hao Wang、Zhaolong Ling和Xindong Wu。2020年。基于因果关系的特征选择:方法和评估。ACM计算调查53,5(2020),1-36。谷歌学者谷歌学者数字图书馆数字图书馆
  61. Kui Yu、Lin Liu、Jiuyong Li、Wei Ding和Thuc Duy Le。2020年。多源因果特征选择。IEEE模式分析和机器智能汇刊42,9(2020),2240--2256。谷歌学者谷歌学者数字图书馆数字图书馆
  62. 雷雨和刘欢。2004.通过相关性和冗余分析进行有效的特征选择。机器学习研究杂志,2004年12月,1205-1224。谷歌学者谷歌学者
  63. 翟一腾(Yiteng Zhai)、王紫松(Yew-Soon Ong)和曾荫权(Ivor W.Tsang)。2014年,新兴的“大维度”。计算智能杂志,IEEE 9,3(2014),14-26。谷歌学者谷歌学者数字图书馆数字图书馆
  64. 张勇、龚敦伟和程健。2015.分类中基于成本的特征选择的多目标粒子群优化方法。IEEE/ACM计算生物学和生物信息学汇刊14,1(2015),64-75。谷歌学者谷歌学者数字图书馆数字图书馆
  65. Xun Zheng、Bryon Aragam、Pradeep K.Ravikumar和Eric P.Xing。2018年,DAG with NO TEARS:持续优化结构学习。第32届神经信息处理系统国际会议论文集。9472--9483.谷歌学者谷歌学者

索引术语

  1. 因果和非因果特征选择的统一观点

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    • 发布于

      从数据中发现知识的封面图像ACM事务
      ACM数据知识发现事务 第15卷第4期
      2021年8月
      486页
      国际标准编号:1556-4681
      EISSN公司:1556-472倍
      内政部:10.1145/3458847
      期刊目录

      版权所有©2021 ACM

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人拥有的本作品组件的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2021年4月18日
      • 认可的:2020年11月1日
      • 修订过的:2020年9月1日
      • 收到:2019年8月1日
      发布于tkdd公司第15卷第4期

      权限

      请求有关此文章的权限。

      请求权限

      检查更新

      限定符

      • 研究论文
      • 研究
      • 推荐

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器

    HTML格式

    以HTML格式查看本文。

    查看HTML格式