×

机器学习中相关特征和实例的选择。 (英语) Zbl 0904.68142

摘要:在这项调查中,我们回顾了机器学习在处理包含大量无关信息的数据集的方法方面的工作。我们关注两个关键问题:选择相关特征的问题和选择相关示例的问题。我们描述了在机器学习的经验和理论工作中在这些主题上取得的进展,并且我们提出了一个我们用来比较不同方法的一般框架。最后,我们将讨论这一领域未来工作的一些挑战。

理学硕士:

68T05型 人工智能中的学习与自适应系统

软件:

C4.5款
PDF格式 BibTeX公司 XML 引用
全文: 内政部

参考文献:

[1] Aha,D.,监督学习任务的基于实例的算法研究:数学、经验和心理评估(博士论文(1990年),加利福尼亚大学信息与计算机科学系:加利福尼亚大学欧文分校信息与计算机科学系)
[2] 啊哈,D.W。;Bankert,R.L.,序列特征选择算法的比较评估,(Fisher,D.;Lenz,J.-H.,人工智能和统计学V(1996),Springer:Springer New York)
[3] 阿穆阿利姆,H。;Dieterich,T.G.,《学习与许多不相关的特征》,(AAAI-91论文集,加利福尼亚州阿纳海姆(1991年),AAI出版社),547-552
[4] Angluin,D.,从查询和反例中学习规则集,通知。还有电脑。,7587-106(1987年)·津保0636.68112
[5] 安格鲁因,D。;赫尔斯坦,L。;Karpinski,M.,《使用查询学习一次性阅读公式》,J.ACM,40,185-210(1993)·Zbl 0764.68139
[6] 阿姆斯特朗,R。;弗雷塔格。;约阿希姆斯,T。;Mitchell,T.,《网络观察家:万维网的学习学徒》(AAAI Spring研讨会论文集,关于从异构分布式环境收集信息(1993年))
[7] 巴鲁贾,S。;Pomerleau,D.,动态相关性:使用人工神经网络的基于视觉的注意力集中(技术说明),人工智能,97381-395(1997),(本期)·Zbl 0904.68140
[8] 《在无限属性空间中学习布尔函数》,机器学习,9373-386(1992)·中银0766.68108
[9] Blum,A.,winnow和加权多数算法的经验支持:日历调度领域的结果,(第12届机器学习国际会议论文集,第12届国际机器学习会议论文集,加利福尼亚州塔霍湖(1995年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),64-72
[10] 布鲁姆,A。;弗斯特,M。;杰克逊,J。;卡恩斯,M。;曼苏尔,Y。;Rudic,S.,《弱学习DNF和使用傅立叶分析刻画统计查询学习》,《第26届ACM计算理论研讨会论文集》,第26届ACM计算理论研讨会论文集,魁北克省蒙特利尔市(1994年)),253-262·Zbl 1345.68186
[11] 布鲁姆,A。;赫尔斯坦,L。;《在有限或无限多个无关属性存在下的学习》,J.Comput。系统科学。,50,32-40(1995年)·Zbl 0826.68100
[12] 布鲁姆,A。;Kannan,R.,学习均匀分布上\(k\)半空间的交集,(第34届IEEE计算机科学基础研讨会论文集),第34届IEEE计算机科学基础年会论文集,加利福尼亚州帕洛阿尔托(1993),IEEE),312-320·邮政编码:0832.68088
[13] 布鲁默,A。;埃伦费赫特,A。;豪斯勒,D。;沃姆,M.K.,奥卡姆剃须刀,通知。过程。利特。,24377-380(1987年)·零担0653.68084
[14] 布鲁默,A。;埃伦费赫特,A。;豪斯勒,D。;Warmuth,M.K.,可学习性和Vapnik-Chervonenkis维度,J.ACM,36929-965(1989)·Zbl 0697.68079
[15] 布雷曼,L。;弗里德曼,J.H。;奥尔申,R.A。;Stone,C.J.,(分类和回归树(1984年),沃兹沃斯:沃兹沃斯-贝尔蒙特,加利福尼亚州)·Zbl 0541.62042
[16] Bshouty,N.H.,《通过单调理论进行精确学习》,《IEEE计算机科学基础研讨会论文集》,加利福尼亚州帕洛阿尔托市(1993),IEEE,302-311
[17] Cardie,C.,使用决策树改进基于案例的学习,(第10届机器学习国际会议论文集,第10届机器学习国际会议论文集,马萨诸塞州阿默斯特(Amherst,MA)(1993年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),25-32
[18] 卡鲁阿纳,R.A。;Freitag,D.,《贪婪属性选择》,《第11届机器学习国际会议论文集》,《第11届机器学习国际会议论文集》,新泽西州新不伦瑞克(1994年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),28-36
[19] 卡鲁阿纳,R.A。;Freitag,D.,相关性有多大用处?,(AAAI秋季相关性研讨会工作说明,《AAAI秋季相关性研讨会工作说明》,洛杉矶新奥尔良(1994年),AAAI出版社,25-29
[20] Catlett,J.,《窥视:高效地选择属性进行大规模归纳》(第九届机器学习国际会议论文集,第九届机器学习国际会议论文集,苏格兰阿伯丁(Aberdeen,Scotland)(1992年),摩根考夫曼:摩根考夫曼圣马特奥,加利福尼亚州),49-54
[21] 塞萨比安奇,北。;弗伦德,Y。;赫尔姆博尔德,D.P。;豪斯勒,D。;沙皮里,R.E。;《如何使用专家意见》,《计算理论年度ACM研讨会论文集》(1993年),382-391·Zbl 1310.68177
[22] 克拉克,P。;Niblett,T.,CN2归纳算法,机器学习,3261-284(1989)
[23] 科恩,D.A。;加哈拉马尼,Z。;Jordan,M.I.,使用统计模型进行主动学习,J.Artf。因特尔。研究,4129-145(1996)·Zbl 0900.68366
[24] 独立成分分析:一个新概念,信号处理。,36287-314(1994年)·Zbl 0791.62004
[25] 盖,T.M。;Hart,P.E.,最近邻模式分类,IEEE Trans。通知。理论,13,21-27(1967)·Zbl 0154.44505
[26] 戴尔曼,W。;吉利斯,S。;Durieux,G.,《压力的获取:面向数据的方法》,Comput。语言学,20,3421-451(1994)
[27] Devjver,P.A。;Kittler,J.,(模式识别:统计方法(1982),普伦蒂斯·霍尔:新泽西州普伦蒂斯·霍尔恩格尔伍德悬崖)·Zbl 0542.68071
[28] 达迦特,A。;Hellerstein,L.,具有不相关属性的PAC学习,(IEEE计算机科学基础研讨会论文集(1994年),IEEE),64-74
[29] Doak,J.,《特征选择方法及其在计算机安全中的应用评价》,(技术报告,CSE-92-18(1992),加州大学计算机科学系:加州大学戴维斯分校计算机科学系)
[30] 德鲁克,H。;沙皮里,R。;Simard,P.,使用boosting算法改善神经网络的性能,(神经信息处理系统的进展,第4卷(1992年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[31] 德鲁克,H。;科尔特斯,C。;杰克尔,法学博士。;莱昆,Y。;Vapnik,V.,Boosting和其他机器学习算法(第11届机器学习国际会议论文集,第11届机器学习国际会议论文集,新泽西州新不伦瑞克(1994年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),53-61
[32] 戴尔,M。;雕带,A。;Kannan,R.,近似凸体体积的随机多项式时间算法,(ACM计算理论年会论文集(1989)),375-381
[33] Freund,Y.,通过多数提升弱学习算法,(第三届计算学习理论研讨会论文集。第三届计算学习理论年度研讨会论文集,加利福尼亚州旧金山(1990年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),202-216
[34] Freund,Y.,一种改进的boosting算法及其对学习复杂性的影响(第五届ACM计算学习理论研讨会论文集),第五届ACM计算学习理论研讨会论文集,宾夕法尼亚州匹兹堡(1992),ACM出版社,391-398
[35] 加里,M。;(计算机与难处理性:NP完备性理论指南(1979),W.H.Freeman:W.H.Freeman San Francisco,CA)·Zbl 0411.68039
[36] Gil,Y.,高效领域独立实验,(第十届机器学习国际会议论文集,第十届机器学习国际会议论文集,马萨诸塞州阿默斯特(1993年),摩根考夫曼:摩根考夫曼圣马特奥,加利福尼亚州),128-134
[37] 格雷纳,R。;格罗夫,A.J。;Kogan,A.,知道什么无关紧要:利用不相关数据的遗漏,人工智能,97345-380(1997),(本期)·Zbl 0904.68141
[38] Gross,K.P.,通过属性进化和实验选择获得概念(博士论文(1991年),卡内基梅隆大学计算机科学学院:宾夕法尼亚州匹兹堡卡内基梅隆大学计算机科学学院)
[39] Haussler,D.,量化概念学习中的归纳偏差,(AAAI-86论文集,宾夕法尼亚州费城AAAI-86论文集,AAAI出版社),485-489
[40] 《非常简单的分类规则在最常用的领域表现良好》,机器学习,11,63-91(1993)·Zbl 0850.68278
[41] Jackson,J.,《基于均匀分布学习DNF的有效成员查询算法》,(IEEE计算机科学基础研讨会论文集(1994),IEEE)·Zbl 0897.68051
[42] 约翰·G·H。;科哈维,R。;Pfleger,K.,《无关特征与子集选择问题》,《第11届机器学习国际会议论文集》,新泽西州新不伦瑞克市第11届国际机器学习会议论文集(1994年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),121-129
[43] 约翰·G·H。;Langley,P.,《数据挖掘的静态与动态采样》,《第二届知识发现与数据挖掘国际会议论文集》,波特兰,OR(1996),AAAI出版社,367-370
[44] Jolliffe,I.T.,(主成分分析(1986),斯普林格:斯普林格纽约)
[45] 《组合问题的近似算法》,J.Comput。系统科学。,9256-278(1974年)·中银0296.65036
[46] 卡恩斯,M.J。;瓦兹拉尼(1994),麻省理工学院出版社:麻省理工学院剑桥出版社
[47] 基拉,K。;Rendell,L.,《特征选择的实用方法》,《第九届机器学习国际会议论文集》,第九届机器学习国际会议论文集,苏格兰阿伯丁(1992年),摩根考夫曼:摩根考夫曼圣马特奥,加州),249-256
[48] 基维宁,J。;Warmuth,M.K.,线性预测的加性梯度与指数梯度更新,(第27届ACM计算理论研讨会论文集),第27届ACM计算理论研讨会论文集,纽约(1995),ACM出版社,209-218·Zbl 0978.68559
[49] 基维宁,J。;沃穆特,M.K。;Auer,P.,《感知器算法与Winnow:当很少的输入变量相关时线性与对数错误界限(技术说明),《人工智能》,97325-343(1997),(本期)·Zbl 0904.68112
[50] 《决策表的力量》,《第八届欧洲机器学习会议论文集》(1995年)
[51] 科哈维,R。;John,G.H.,特征子集选择的包装器,人工智能,97273-324(1997),(本期)·Zbl 0904.68143
[第五十二条] 科哈维,R。;兰利,P。;Yun,Y.特征加权在最近邻算法中的应用(第九届欧洲机器学习会议论文集,第九届欧洲机器学习会议论文集,布拉格(1997),斯普林格:柏林斯普林格)
[53] 克诺贝,B。;Knobe,K.,一种推断上下文无关语法的方法,Inform。与控制,31,129-146(1977)·Zbl 0333.68065
[54] 科勒,D。;Sahami,M.,朝向最优特征选择,(第13届机器学习国际会议论文集,第13届机器学习国际会议论文集,巴里,意大利(1996),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[55] 《估计属性:救济的分析和扩展》,《第七届欧洲机器学习会议论文集》(1994年)
[56] 库巴特,M。;弗洛辛格,D。;Pfurtscheller,G.,《发现脑电图信号中的模式:几种方法的比较研究》,《1993年欧洲机器学习会议论文集》,维也纳(1993年),斯普林格:斯普林格柏林,367-371
[57] 库尔卡尼,D。;Simon,H.A.,机器发现实验,(Shrager,J.;Langley,P.,《科学发现和理论形成的计算模型》(1990年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[58] 兰利,P。;Iba,W.,《最近邻算法的平均案例分析》,(IJCAI-93论文集,IJCAI-93,Chambery,France(1993)),889-894
[59] 兰利,P。;Sage,S.,不经意的决策树和抽象案例,(AAAI-94案例推理研讨会的工作笔记,美国华盛顿州西雅图市(1994年),AAAI出版社,113-117
[60] 兰利,P。;Sage,S.,选择性贝叶斯分类器的归纳(第10届人工智能不确定性会议论文集,第10届人工智能不确定性会议论文集,西澳大利亚州西雅图市(1994年),摩根考夫曼:摩根考夫曼圣马特奥,CA),399-406
[61] 兰利,P。;Sage,S.,扩展到具有许多不相关特征的领域(Greiner,R.,计算学习理论和自然学习系统,第4卷(1997年),麻省理工学院出版社:麻省理工学院剑桥出版社)
[62] 刘易斯,D.D.,《信息检索中的表现与学习》(博士论文,技术报告,UM-CS-1991-093(1992),麻省大学计算机科学系:麻省大学阿默斯特计算机科学系)
[63] 刘易斯,D.D.,《文本分类的特征选择和特征提取》,《语音和自然语言研讨会论文集》,旧金山(1992年),摩根考夫曼:摩根考夫曼加州圣马特奥,212-217
[64] 路易斯,D.D。;Catlett,J.,异质不确定性抽样(第11届机器学习国际会议论文集),第11届机器学习国际会议论文集,新泽西州新不伦瑞克(1994年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),148-156
〔65〕 林立杰,基于强化学习之自我改善反应剂,规划与教学,机器学习,8293-321(1992)
[66] Littlestone,N.,当不相关的属性大量存在时快速学习:一种新的线性阈值算法,机器学习,2285-318(1988)
[67] 利特尔斯通,N。;下午好长时间。;Warmuth,M.K.,线性函数的在线学习(第23届ACM计算理论研讨会论文集),第23届ACM计算理论研讨会论文集,新奥尔良,LA(1991),ACM出版社,465-475
[68] 利特尔斯通,N。;Mesterharm,C.,《winnow的Apobayes亲属》,(Mozer,M.C.;Jordan,M.I.;Petsche,T.,《神经信息处理系统的进展》,第9卷(1997年),麻省理工学院出版社:麻省理工学院剑桥出版社)
〔69〕 利特尔斯通,N。;加权多数算法,通知。还有电脑。,108212-261(1994年)·Zbl 0804.68121号
[70] 洛瓦兹,L。;Simonovits,M.,《体积和直径的随机复杂性》,《IEEE计算机科学基础研讨会论文集》(1992),IEEE,482-491·Zbl 0942.68583
[71] 伦德,C。;Yannakakis,M.,《关于近似最小化问题的硬度》,《ACM计算理论年会论文集》(1993年),286-293·Zbl 1310.68094
[72] 马修斯,C.J。;Rendell,L.A.,《决策树的建设性归纳法》,《IJCAI-89论文集》,密歇根州底特律市(1989年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),645-650·Zbl 0708.68050
[73] Michalski,R.S.,模式识别作为规则引导的归纳推理,IEEE Trans。肛门模式。机器内部。,2349-361(1980年)·Zbl 0471.68068
[74] 明斯基,M。;Papert,S.,(感知器:计算几何导论(1969),麻省理工学院出版社:麻省理工学院剑桥出版社)·Zbl 0197.43702
[75] Mitchell,T.M.,概括为搜索,人工智能。(Shavlik,J.W.;Dieterich,T.G.,《机器学习读物》(1990年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),18203-226(1982年),转载于:
[76] 摩尔,A.W。;Lee,M.S.,《最小化交叉验证误差的有效算法》,《第11届机器学习国际会议论文集》,新泽西州新不伦瑞克,第11届国际机器学习会议论文集(1994年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),第190-198页
[77] Norton,S.W.,生成更好的决策树,(IJCAI-89论文集,密歇根州底特律市,1989年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),800-805·Zbl 0709.68085
[78] 帕扎尼,M.J。;Sarrett,W.,结合学习算法的平均案例分析框架,机器学习,9349-372(1992)
[79] 帕加洛,G。;《经验学习中的布尔特征发现》,机器学习,571-99(1990)
[80] Quinlan,J.R.,学习有效分类程序及其在国际象棋结束游戏中的应用,(Michalski,R.S.;Carbonell,J.G.;Mitchell,T.M.,机器学习:人工智能方法(1983年),摩根考夫曼:摩根考夫曼圣马特奥,加利福尼亚州)
[81] Quinlan,J.R.,(C4.5:机器学习程序(1993),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[82] Rajamoney,S.,理论修正的计算方法,(Shrager,J.;Langley,P.,《科学发现和理论形成的计算模型》(1990),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[83] 里维斯特,R.L。;夏皮里,R.E.,使用归位序列的有限自动机推理,通知。还有电脑。,103299-347(1993年)·Zbl 0786.68082
[84] 鲁梅尔哈特特区。;辛顿,G。;Williams,R.J.,《通过错误传播学习内部表征》(Rumelhart,D.E.;McClelland,J.L.;PDP研究小组,《并行分布式处理:认知微观结构的探索》,第1卷(1986年),麻省理工学院出版社:麻省理工学院剑桥出版社)
[85] 萨姆穆特,C。;Banerji,R.B.,通过提问学习概念,(Michalski,R.S.;Carbonell,J.G.;Mitchell,T.M.,《机器学习:人工智能方法》,第2卷(1986年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[86] Schapire,R.E.,《弱学习的力量》,机器学习,5197-227(1990)
[87] Schlimmer,J.C.,《高效诱导确定:使用最优修剪的完整高效搜索算法》,《第10届机器学习国际会议论文集》,马萨诸塞州阿默斯特,第10届国际机器学习会议论文集(1993年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),第284-290页
[88] 斯科特,P.D。;Markovitz,S.,探索性学习系统中的表征生成,(Fisher,D.H.;Pazzani,M.J.;Langley,P.,《概念形成:无监督学习中的知识和经验》(1991年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA)
[89] 承,H.S。;奥珀,M。;Sompolinsky,H.,《委员会的质疑》(第五届计算学习理论研讨会论文集第五届计算学习理论年度研讨会论文集,宾夕法尼亚州匹兹堡(1992年),ACM出版社:ACM出版社,纽约),287-294
[90] 沈伟。;Simon,H.A.,《通过环境探索创造规则和规则学习》,(IJCAI-89论文集,密歇根州底特律市(1989年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),675-680
[91] 辛克莱,A。;Jerrum,M.,近似计数,均匀生成和快速混合马尔可夫链,通知。还有电脑。,82,93-133(1989年)·Zbl 0668.05060
[92] 辛格,M。;Provan,G.M.,选择性和非选择性贝叶斯分类器的归纳算法比较,(第12届机器学习国际会议论文集,第12届机器学习国际会议论文集,加利福尼亚州塔霍湖(1995年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),497-505
[93] 辛格,M。;Provan,G.M.,选择性贝叶斯网络分类器的有效学习,(第13届机器学习国际会议论文集,第13届机器学习国际会议论文集,巴里,意大利(1996年),摩根考夫曼:摩根考夫曼圣马特奥,加州)
[94] Skalak,D.B.,通过抽样和随机突变爬山算法选择原型和特征,(第11届国际机器学习会议论文集,第11届国际机器学习会议论文集,新泽西州新不伦瑞克(1994年),摩根考夫曼:摩根考夫曼圣马特奥,加利福尼亚州),293-301
[95] Stanfill,C.W.,基于记忆的推理应用于英语发音,(AAAI-87论文集,华盛顿州西雅图市,1987年),AAI出版社,577-581
[96] 丁建民,连续值属性离散化与实例学习(科技报告第491号(1994),悉尼大学计算机科学系)
[97] 汤森·韦伯,T。;Kibler,D.,《基于实例的连续值预测》(AMI-94案例推理研讨会的工作说明,美国华盛顿州西雅图市(1994年),AAAI出版社,30-35
[98] Verbeurgt,K.,《多项式时间均匀分布下的DNF学习》,《计算学习理论第三届年度研讨会论文集》,《计算学习理论第三届年度研讨会论文集》,加利福尼亚州旧金山(1990年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),314-325
[99] Vere,S.A.,《谓词演算中的概念归纳》,(IJCAI-75论文集,格鲁吉亚第比利斯,1975年),Morgan Kaufmann:Morgan Kaufmann San Mateo,CA),281-287
[100] Vovk,V.,《聚合策略》,《计算学习理论第三届年度研讨会论文集》,《计算学习理论第三届年度研讨会论文集》,加利福尼亚州旧金山(1990年),摩根考夫曼:加州圣马特奥摩根考夫曼出版社,371-383
[第101条] 韦德罗,B。;Hoff,M.E.,自适应开关电路,(IRE-WESCON会议记录(1960)),96-104
[102] 温斯顿,P.H.,从例子中学习结构描述,(温斯顿,P.H.,计算机视觉心理学(1975),麦格劳-希尔:纽约麦格劳-希尔)·Zbl 0518.68050
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。