×

对称不确定性度量的多元方法:应用于特征选择问题。 (英语) Zbl 1454.62179号

小结:在这项工作中,我们提出了对称不确定性(SU)度量的扩展,以解决多元情况,同时获得检测特征之间可能的相关性和相互作用的能力。这种概括,即多元对称不确定性(MSU),是基于扩展到多元情况的全相关(TC)和互信息(MI)概念。广义测度将一组变量内的依赖性总量作为一个单一的量来说明。由于几个因素,多变量测量通常有偏差。为了克服这个问题,基于所有特征的基数,提出了一个数学表达式,该表达式可用于计算在预先指定的显著性水平上无偏估计MSU所需的样本数。在合成数据上的理论和实验结果表明,所提出的样本量表达式能够很好地控制偏差。此外,当MSU应用于合成和真实世界数据的特征选择时,它具有充分捕捉线性和非线性相关性和相互作用的优点,因此可以用作一种新的特征子集评估方法。

MSC公司:

62时20分 关联度量(相关性、典型相关性等)
62H10型 统计的多元分布

软件:

第4.5条
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 艾哈迈德,M.U。;Rehman,N。;鲁尼,D。;Rutkowski,T.M。;Kidmose,P。;Mandic,D.P.,数据驱动尺度的多元熵分析,IEEE国际声学、语音和信号处理会议(ICASSP),3901-3904(2012)
[2] 阿里亚斯·米切尔,R。;加西亚·托雷斯,M。;Scharer,C。;Divina,F.,使用近似多元马尔可夫毛毯的特征选择,混合人工智能系统-第11届国际会议,2016年4月18日至20日,西班牙塞维利亚,2016年,会议记录,114-125(2016)
[3] Avdiyenko,L。;北伯辛格。;Jost,J.,自适应信息-模式分类的理论特征选择,计算智能。计算智能研究,577,279-294(2015)·Zbl 1348.68209号
[4] 袋子,S。;库马尔,S。;Awasthi,A。;Tiwari,M.K.,在高度稀疏的评级环境中支持推荐系统的基于噪声校正的方法,Decis。支持系统。(2019)
[5] 袋子,S。;蒂瓦里,M.K。;Chan,F.T.S.,《预测消费者对耐用品的购买意愿:属性层次分析》,J.Bus。决议,94,408-419(2019)
[6] 鲍尔,K.R。;格兰塔,C。;蒙迪,W.R。;Shafer,T.J.,成长神经网络的互信息多元扩展,神经网络,95,29-43(2017)·Zbl 1439.92008年
[7] Bell,A.J.,《共同信息格》,第四届独立分量分析和盲源分离国际研讨会论文集,921-926(2003)
[8] Bennasar,M。;希克斯,Y。;Setchi,R.,使用联合互信息最大化的特征选择,专家系统。申请。,42, 22, 8520-8532 (2015)
[9] 伯利恒,J。;Cobben,F。;Schouten,B.,调查响应代表性指标,加拿大统计研讨会论文集,921-926(2008)
[10] Brown,G.,《信息论特征选择的新视角》,(van Dyk,D.;Welling,M.,《第十二届人工智能与统计国际会议论文集》,第十二届国际人工智能与统计学会议论文集,机器学习研究论文集,5(2009),PMLR), 49-56
[11] Chan,C。;Al-Bashabsheh,A。;周强,多元互信息的变化:从局部到全局,IEEE Trans。Inf.理论,64,1,57-76(2018)·Zbl 1390.94616号
[12] 陈,Z。;吴,C。;Zhang,Y。;黄,Z。;兰,B。;钟,M。;Lyu,N.,《冗余互补分散的特征选择》,Knowl-基于系统。,89,C,203-217(2015)
[13] Curtiss,J.,《关于两个机会变量商的分布》,《数学年鉴》。《统计》,第12、4、409-421页(1941年)·兹比尔0063.01023
[14] 道奎尔,G。;Verleysen,M.,《用于特征选择的多元互信息估计器的比较》,ICPRAM 2012-第一届模式识别应用和方法国际会议论文集,第1卷,葡萄牙阿尔加维维拉莫拉,2012年2月6-8日,176-185(2012)
[15] 加西亚·托雷斯,M。;Gómez-Vela,F。;梅利安·巴蒂斯塔,B。;Moreno-Vega,J.M.,《通过特征分组进行高维特征选择:可变邻域搜索方法》,《信息科学》。,326, 102-118 (2016)
[16] 郭,B。;Nixon,M.S.,《通过相互信息选择步态特征子集》,IEEE Trans。系统。ManCybern。A部分,39,1,36-46(2009)
[17] Hall,M.A.,《机器学习中基于相关性的特征子集选择》(1998),怀卡托大学:新西兰怀卡托-汉密尔顿大学,博士论文
[18] F.Höeppner,F.Klawann,《颗粒计算手册》,威利出版社,第187-204页。;F.Höeppner,F.Klawann,《颗粒计算手册》,威利出版社,第187-204页。
[19] Ince,R.A.A.,《利用盈余中的逐点共同变化测量多元冗余信息》,《熵》,19,7,1-37(2017)
[20] 雅库林,A。;Bratko,I.,量化和可视化属性交互,CoRR,cs。AI/0308002(2003)
[21] J·耶稣。;Canuto,A.等人。;Araüjo,D.,《基于信息理论的分类任务特征选择方法》,人工神经网络和机器学习ICANN 2017。人工神经网络和机器学习ICANN 2017,计算机科学讲稿,10614,359-367(2017),Springer-Verlag
[22] 约翰·G·H。;Kohavi,R。;Pfleger,K.,《无关特征和子集选择问题》,第十一届机器学习国际会议论文集,121-129(1994)
[23] 卡舍夫,S。;Nezamabadi-pour,H.,基于帕累托优势概念的标签特定多标签特征选择算法,模式识别。,88, 654-667 (2019)
[24] Kojadinovic,I.,基于k相加互信息的回归问题子集变量选择的相关性度量,计算。统计数据分析。,49, 4, 1205-1227 (2005) ·Zbl 1429.62044号
[25] Kononenko,I.,《关于估计多值属性的偏见》,第14届国际人工智能联合会议论文集第2卷。《第十四届国际人工智能联合会议论文集-第2卷,IJCAI'95,1034-1040(1995)》,摩根考夫曼出版社。
[26] 李,F。;张,Z。;Jin,C.,基于分区微分熵的大规模数据集特征选择,信息科学。,329, 690-700 (2016) ·Zbl 1390.68541号
[27] McGill,W.J.,多变量信息传输,心理测量学,19,2,97-116(1954)·Zbl 0058.35706号
[28] Méndez,J.R。;Cotos-Yañez,T.R。;Ruano-Ordás,D.,一种新的基于语义的垃圾邮件过滤特征选择方法,应用。软计算。,7689-104(2019)
[29] Mohammadi,S。;Mirvaziri,H。;Ahsaee,M.G.,入侵检测中的多元相关系数和基于互信息的特征选择,Inf.Secur。J.,26,5,229-239(2017)
[30] Ni,L。;曹,J。;Wang,R.,基于时间相关多变量多尺度熵的大脑意识诊断分析。摘自:《大脑启发认知系统的进展》,《计算机科学讲稿》,7888(2013),德国柏林斯普林格-弗拉格出版社
[31] 帕尔马·门多萨,R.-J。;德马科斯,L。;罗德里格斯,D。;Alonso-Betanzos,A.,《火花中基于分布式相关性的特征选择》,《信息科学》。(2018)
[32] 彭,H。;长,F。;Ding,C.,基于互信息的特征选择:最大相关性、最大相关性和最小冗余的标准,IEEE Trans。模式分析。机器。智力。,27, 8, 1226-1238 (2005)
[33] Pham,T.H。;Ho,T.B。;Nguyen,Q.D。;Tran,D.H。;Nguyen,V.H.,《发现生物网络的多元互信息测量》,2012年IEEE RIVF计算与通信技术、研究、创新和未来展望国际会议,1-6(2012),IEEE
[34] 出版社,W.H。;Teukolsky,S.A。;韦特林,W.T。;Flannery,B.P.,《C中的数字配方》(1988),剑桥大学出版社:剑桥大学出版社,英国剑桥·Zbl 0661.65001号
[35] Quinlan,J.R.,C4.5:机器学习课程(1993),摩根考夫曼出版社:摩根考夫曼出版社,美国加利福尼亚州旧金山
[36] 肖滕,B。;Cobben,F。;Bethlehem,J.,调查响应代表性指标,调查方法。,341011-113(2009年)
[37] C.Shalizi,《特征之间的信息和交互》(注释章节,卡内基梅隆大学统计系),2009年。;C.Shalizi,《特征之间的信息和交互》(注释章节,卡内基梅隆大学统计系),2009年。
[38] Shannon,C.E.,《通信数学理论》,贝尔系统。《技术期刊》,27,3,379-423(1948)·Zbl 1154.94303号
[39] Shishkin,A。;Bezzubtseva,A。;Drutsa,A。;希什科夫,I。;Gladkikh,E。;Gusev,G。;Serdyukov,P.,基于条件互信息的高效高阶交互感知特征选择,(Lee,D.D.;Sugiyama,M.;Luxburg,U.V.;Guyon,I.;Garnett,R.,《神经信息处理系统进展》29(2016),麻省理工学院出版社),4637-4645
[40] Shlomo,N。;斯金纳,C。;Schouten,B.,《调查响应代表性指标的估算》,J.Stat.Plann。推断,142201-211(2012)·兹比尔1284.62098
[41] 辛格,P.K.,概念格的M-极模糊图表示,工程应用。Artif公司。智力。,67, 52-62 (2018)
[42] 辛格,P.K。;Cherukuri,A.K。;Li,J.,使用香农熵的模糊设置形式概念分析中的概念约简,Int.J.Mach。学习。赛博。,8, 179-189 (2017)
[43] 辛格,P.K。;Gani,A.,使用香农熵和哈夫曼的模糊概念格约简,J.Appl。非经典逻辑,25,2,101-119(2015)·Zbl 1400.68209号
[44] 辛加,S。;Shenoy,P.P.,基于互补性的自适应启发式特征选择,马赫。学习。,107, 12, 2027-2071 (2018) ·Zbl 1480.62133号
[45] 研究生(M.)。;Vejnarová,J.,《作为测量随机相关性工具的多重信息函数》,《北约高级研究所关于图形模型学习的论文集》,261-297(1998)·Zbl 0917.60013号
[46] 汤普森,S.K.,估计多项式比例的样本量,《美国统计》,41,1,42-46(1987)
[47] 特隆,S.B。;Bala,J。;布鲁登,E。;I.布拉特科。;塞斯特尼克,B。;Cheng,J。;钟,K.D。;Dzeroski,S。;Fahlman,S.E。;费希尔,D。;哈曼,R。;考夫曼,K。;Keller,S。;科诺连科,I。;Kreuziger,J。;Michalski,R.S。;米切尔,T。;帕乔维茨,P。;Reich,Y。;瓦菲,H。;德维尔德,W.V。;Wenzel,W。;Wnek,J。;张。,J.,《MONK的问题:不同学习算法的性能比较》,技术报告(1992年),卡内基梅隆大学
[48] Watanabe,S.,多元相关性的信息理论分析,IBM J.Res.Dev.,4,1,66-82(1960)·Zbl 0097.35003号
[49] Yang,H.H。;Moody,J.,基于联合互信息的特征选择,国际公务员制度委员会智能数据分析进展研讨会论文集,22-25(1999)
[50] Yu,L。;Liu,H.,通过相关性和冗余分析进行有效特征选择,J.Mach。学习。第51205-1224号决议(2004年)·Zbl 1222.68340号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。