×
阿夫林·布鲁姆。；帕特·兰利

机器学习中相关特征和示例的选择。 （英语） Zbl 0904.68142号

Artif公司。智力。 97，编号1-2，245-271（1997）.
摘要：在这项调查中，我们回顾了机器学习中处理包含大量无关信息的数据集的方法。我们关注两个关键问题：选择相关特征的问题和选择相关示例的问题。我们描述了在机器学习的实证和理论工作中在这些主题上取得的进展，并提出了一个用于比较不同方法的一般框架。最后，我们提出了该领域未来工作的一些挑战。

引用于99文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

相关功能；相关示例；机器学习

软件：

4.5条
PDF格式BibTeX公司 XML格式引用
\textit{A.L.Blum}和\textit{P.Langley}，Artif。智力。97，编号1--2，245--271（1997；Zbl 0904.68142）
全文： 内政部

参考文献：

[1] Aha，D.，《监督学习任务中基于实例的算法研究：数学、经验和心理评估》，（加利福尼亚大学信息与计算机科学系博士论文（1990年）：加利福尼亚大学欧文分校信息与计算机系）
[2] 阿哈·D·W。；Bankert，R.L.，《序列特征选择算法的比较评估》（Fisher，D.；Lenz，J.-H.，《人工智能与统计V》（1996），Springer:Springer New York）
[3] 阿穆阿利姆，H。；Dietterich，T.G.，《具有许多不相关特征的学习》（Proceedings AAAI-91）。AAAI-91会议记录，加利福尼亚州阿纳海姆（1991），AAAI出版社，547-552
[4] Angluin，D.，从查询和反例中学习规则集，Inform。和计算。，75, 87-106 (1987) ·Zbl 0636.68112号
[5] 安格鲁因，D。；Hellerstein，L。；Karpinski，M.，通过查询学习一次性阅读公式，美国计算机学会，40185-210（1993）·Zbl 0764.68139号
[6] Armstrong，R。；弗雷塔格，D。；约阿希姆斯，T。；Mitchell，T.，《网络观察者：万维网的学习学徒》（AAAI异构分布式环境信息收集春季研讨会论文集，1993年）
[7] 巴卢贾，S。；Pomerleau，D.，《动态相关性：基于视觉的注意力焦点使用人工神经网络》（技术说明），《人工智能》，97，381-395（1997），（本期）·Zbl 0904.68140号
[8] Blum，A.，《在无限属性空间中学习布尔函数》，机器学习，9373-386（1992）·Zbl 0766.68108号
[9] Blum，A.，基于winnow和加权多数算法的实证支持：日历调度领域的结果，（第12届机器学习国际会议论文集。第12届国际机器学习会议论文集，加州塔霍湖（1995），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），64-72
[10] Blum，A。；弗斯特，M。；J·杰克逊。；卡恩斯，M。；Mansour，Y。；Rudic，S.，《弱学习DNF和使用傅里叶分析表征统计查询学习》（Proceedings 26 Annual ACM Symposium on Theory of Computing），第26届ACM Symbosium on Theory on Computing，Montreal，Que.（1994），第253-262页·兹比尔1345.68186
[11] Blum，A。；Hellerstein，L。；Littlestone，N.，《有限或无限多无关属性存在下的学习》，J.Compute。系统科学。，50, 32-40 (1995) ·Zbl 0826.68100号
[12] Blum，A。；Kannan，R.，《学习均匀分布上（k）半空间的交集》，（第34届IEEE计算机科学基础研讨会论文集。第34届EEE计算机科学基础会议论文集，加利福尼亚州帕洛阿尔托（1993），IEEE），312-320·Zbl 0832.68088号
[13] Blumer，A。；埃伦费奇特，A。；Haussler，D。；Warmuth，M.K.，Occam剃刀，Inform。过程。莱特。，24, 377-380 (1987) ·Zbl 0653.68084号
[14] Blumer，A。；埃伦费奇特，A。；Haussler，D。；Warmuth，M.K.，《可学习性与Vapnik-Chervonenkis维度》，J.ACM，36929-965（1989）·兹比尔0697.68079
[15] 布雷曼，L。；弗里德曼，J.H。；Olshen，R.A。；Stone，C.J.，（分类和回归树（1984），Wadsworth:Wadsworth Belmont，CA）·Zbl 0541.62042号
[16] Bshouty，N.H.，通过单调理论进行精确学习，（IEEE计算机科学基础研讨会论文集。IEEE计算机科学基础研讨会论文集，加利福尼亚州帕洛阿尔托（1993），IEEE），302-311
[17] Cardie，C.，《使用决策树改进基于案例的学习》（第十届机器学习国际会议论文集。第十届国际机器学习会议论文集，马萨诸塞州阿默斯特（1993），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），25-32
[18] 卡鲁阿纳，R.A。；Freitag，D.，贪婪属性选择，（第11届机器学习国际会议论文集。第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），28-36
[19] 卡鲁阿纳，R.A。；Freitag，D.，相关性有多大用处？，（《AAAI秋季相关性研讨会工作笔记》，洛杉矶新奥尔良，AAAI出版社，1994年），第25-29页
[20] Catlett，J.，Peepholing:高效地为大规模归纳选择属性，（第九届机器学习国际会议论文集。第九届国际机器学习会议论文集，苏格兰阿伯丁（1992），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），49-54
[21] 塞萨·比安奇，N。；弗伦德，Y。；Helmbold，D.P。；Haussler，D。；夏皮雷，R.E。；Warmuth，M.K.，《如何使用专家建议》，（美国计算机学会计算机理论年会论文集（1993）），382-391·Zbl 1310.68177号
[22] 克拉克·P。；Niblett，T.，CN2归纳算法，机器学习，3261-284（1989）
[23] 科恩，D.A。；加赫拉马尼，Z。；Jordan，M.I.，《统计模型的主动学习》，J.Artif。智力。研究，4129-145（1996）·兹比尔0900.68366
[24] Comon，P.，《独立成分分析：一个新概念，信号处理》。，36287-314（1994年）·Zbl 0791.62004号
[25] 盖，T.M。；Hart，P.E.，最近邻模式分类，IEEE Trans。通知。理论，13，21-27（1967）·兹比尔0154.44505
[26] Daelemans，W。；Gillis，S。；Durieux，G.，《压力的获取：以数据为导向的方法》，计算。语言学，20,3421-451（1994）
[27] Devijver，P.A。；Kittler，J.，（模式识别：统计方法（1982），普伦蒂斯·霍尔：普伦蒂斯霍尔·恩格尔伍德·克利夫斯，新泽西州）·Zbl 0542.68071号
[28] Dhagat，A。；Hellerstein，L.，具有无关属性的PAC学习，（IEEE计算机科学基础研讨会论文集（1994），IEEE），64-74
[29] Doak，J.，《特征选择方法及其在计算机安全中的应用评估》（技术报告CSE-92-18（1992），加利福尼亚大学计算机科学系：加利福尼亚大学戴维斯分校计算机科学系）
[30] Drucker，H。；夏皮雷，R。；Simard，P.，《使用增强算法改进神经网络性能》，（神经信息处理系统进展，第4卷（1992年），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[31] Drucker，H。；科尔特斯，C。；Jackel，L.D。；LeCun，Y。；Vapnik，V.，Boosting和其他机器学习算法，（第11届机器学习国际会议论文集。第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），53-61
[32] 戴尔，M。；弗里兹，A。；Kannan，R.，用于近似凸体体积的随机多项式时间算法，（美国计算机学会计算理论年会论文集（1989）），375-381
[33] Freund，Y.，以多数推动弱学习算法，（计算学习理论第三届年度研讨会论文集。计算学习理论论文集第三届年会，加利福尼亚州旧金山（1990），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），202-216
[34] Freund，Y.，《改进的boosting算法及其对学习复杂性的影响》，（第五届计算学习理论年度ACM研讨会论文集。第五届ACM计算学习理论研讨会论文集，宾夕法尼亚州匹兹堡（1992），ACM出版社），391-398
[35] Garey，M。；Johnson，D.，（《计算机与难处理性：NP-完全性理论指南》（1979），W.H.Freeman:W.H.Freeman San Francisco，CA）·Zbl 0411.68039号
[36] Gil，Y.，高效领域独立实验，（第十届国际机器学习会议论文集。第十届国际机器学习会议论文集，马萨诸塞州阿默斯特（1993），Morgan Kaufmann：Morgan Kaufmann San Mateo，CA），128-134
[37] 格雷纳，R。；格罗夫，A.J。；Kogan，A.，《知道什么无关紧要：利用不相关数据的遗漏》，《人工智能》，97，345-380（1997），（本期）·Zbl 0904.68141号
[38] Gross，K.P.，《通过属性进化和实验选择获取概念》（博士论文（1991），卡内基梅隆大学计算机科学学院：宾夕法尼亚州匹兹堡卡内基梅隆大学计算机学院）
[39] Haussler，D.，量化概念学习中的归纳偏差（论文集AAAI-86）。AAAI-86会议记录，宾夕法尼亚州费城（1986），AAAI出版社），485-489
[40] Holte，R.，《非常简单的分类规则在最常用的领域中表现良好》，机器学习，11，63-91（1993）·Zbl 0850.68278号
[41] Jackson，J.，关于均匀分布学习DNF的有效成员资格查询算法，（IEEE计算机科学基础研讨会论文集（1994），IEEE）·Zbl 0897.68051号
[42] 约翰·G·H。；Kohavi，R。；Pfleger，K.，《无关特征和子集选择问题》（Proceedings 11th International Conference on Machine Learning），第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），121-129
[43] 约翰·G·H。；Langley，P.，《数据挖掘的静态与动态采样》，（《第二届知识发现和数据挖掘国际会议论文集》，俄勒冈州波特兰，第二届国际知识发现与数据挖掘会议论文集（1996），AAAI出版社），367-370
[44] Jolliffe，I.T.，（主成分分析（1986），Springer:Springer New York）
[45] Johnson，D.S.，组合问题的近似算法，J.Compute。系统科学。，9, 256-278 (1974) ·Zbl 0296.65036号
[46] M.J.卡恩斯。；Vazirani，U.V.，（《计算学习理论导论》（1994），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥）
[47] Kira，K。；Rendell，L.，特征选择的实用方法，（《第九届国际机器学习会议论文集》，《第九届国际机器学习会议论文集》，苏格兰阿伯丁（1992年），Morgan Kaufmann：Morgan Kaufmann San Mateo，CA），249-256
[48] Kivinen，J。；Warmuth，M.K.，线性预测的加性与指数梯度更新，（第27届美国计算机学会计算理论研讨会论文集。第27届ACM计算理论研讨会会议论文集，纽约（1995），美国计算机学会出版社），209-218·Zbl 0978.68559号
[49] Kivinen，J。；Warmuth，M.K。；Auer，P.，The Perceptron algorithm vs.Winnow：相关输入变量较少时的线性与对数错误界限（技术说明），《人工智能》，97，325-343（1997），（本期）·Zbl 0904.68112号
[50] Kohavi，R.，《决策表的力量》（第八届欧洲机器学习会议论文集（1995））
[51] Kohavi，R。；John，G.H.，《特征子集选择包装器》，人工智能，97，273-324（1997），（本期）·Zbl 0904.68143号
[52] Kohavi，R。；兰利，P。；Yun，Y.，《特征加权在最近邻算法中的应用》，（第九届欧洲机器学习会议论文集。第九届欧盟机器学习会议文献集，布拉格（1997），施普林格：施普林格-柏林）
[53] 克诺贝，B。；Knobe，K.，《推断无上下文语法的方法》，Inform。和控制，31129-146（1977）·Zbl 0333.68065号
[54] 科勒，D。；Sahami，M.，《走向最佳特征选择》（第13届国际机器学习会议论文集。第13届机器学习国际会议论文集，意大利巴里（1996），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[55] Kononenko，I.，《估计属性：RELIEF的分析和扩展》（第七届欧洲机器学习会议论文集（1994））
[56] 库巴特，M。；Flotzinger，D。；Pfurtscheller，G.，《发现脑电图信号中的模式：几种方法的比较研究》（《1993年欧洲机器学习会议论文集》，1993年维也纳欧洲机器学习大会论文集，1993年，施普林格：施普林格柏林），367-371
[57] Kulkarni，D。；Simon，H.A.，《机器发现实验》（Shrager，J.；Langley，P.，《科学发现和理论形成的计算模型》（1990），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[58] 兰利，P。；Iba，W.，最近邻算法的平均案例分析，（Proceedings IJCAI-93。《国际商会国际会议记录-93》，法国尚贝里（1993），889-894
[59] 兰利，P。；Sage，S.，《不经意的决策树和抽象案例》，（《AAAI-94基于案例推理研讨会工作笔记》，《AAAI.94基于案例的推理研讨会工作备忘录》，西雅图，华盛顿州（1994），AAAI出版社），113-117
[60] 兰利，P。；Sage，S.，选择性贝叶斯分类器的归纳，（《人工智能不确定性第十届会议论文集》，第十届人工智能不确定会议论文集，西雅图，华盛顿州（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），399-406
[61] 兰利，P。；Sage，S.，《扩展到具有许多不相关特征的领域》（Greiner，R.，《计算学习理论和自然学习系统》，第4卷（1997），麻省理工学院出版社：麻省理学院出版社剑桥，MA）
[62] Lewis，D.D.，《信息检索的表现与学习》，（麻省大学计算机科学系：麻省大学阿默斯特分校计算机科学系，UM-CS-1991-093（1992），博士论文，技术报告）
[63] Lewis，D.D.，《文本分类的特征选择和特征提取》（Proceedings Speech and Natural Language Workshop.Proceeding Speech和Natural Language Workshop，San Francisco（1992），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），212-217
[64] 刘易斯，D.D。；Catlett，J.，《异质不确定性抽样》（《第11届机器学习国际会议论文集》，第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），148-156
[65] Lin，L.J.，基于强化学习、规划和教学的自我改进反应剂，机器学习，8293-321（1992）
[66] Littlestone，N.，《当不相关的属性大量存在时快速学习：一种新的线性阈值算法》，《机器学习》，2285-318（1988）
[67] 利特斯通，N。；Long，P.M。；Warmuth，M.K.，线性函数的在线学习，（第23届美国计算机学会计算理论研讨会论文集。第23届ACM计算理论研讨会会议论文集，新奥尔良，LA（1991），美国计算机学会出版社），465-475
[68] 利特斯通，N。；Mesterharm，C.，winnow的阿波贝叶斯亲戚（Mozer，M.C.；Jordan，M.I.；Petsche，T.，《神经信息处理系统进展》，第9卷（1997），麻省理工学院出版社：麻省理学院出版社剑桥，MA）
[69] 利特斯通，N。；Warmuth，M.K.，加权多数算法，Inform。和计算。，108, 212-261 (1994) ·Zbl 0804.68121号
[70] Lovász，L。；Simonovits，M.，《关于体积和直径的随机复杂性》（IEEE计算机科学基础研讨会论文集（1992），IEEE），482-491·Zbl 0942.68583号
[71] Lund，C。；Yannakakis，M.，《关于近似最小化问题的困难》，（美国计算机学会计算机理论年会论文集（1993）），286-293·Zbl 1310.68094号
[72] 马修斯，C.J。；Rendell，L.A.，《决策树上的构造归纳法》（Proceedings IJCAI-89）。《IJCAI-89会议记录》，密歇根州底特律（1989），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），645-650·Zbl 0708.68050号
[73] Michalski，R.S.，作为规则引导归纳推理的模式识别，IEEE Trans。模式分析。机器智能。，2, 349-361 (1980) ·Zbl 0471.68068号
[74] 明斯基，M。；Papert，S.，（Perceptrons:计算几何导论（1969），麻省理工学院出版社：麻省理学院出版社剑桥）·Zbl 0197.43702号
[75] Mitchell，T.M.，作为搜索的泛化，人工智能。（Shavlik，J.W.；Dietterich，T.G.，《机器学习阅读》（1990），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），第18期，第203-226页（1982年），再版于：
[76] 摩尔，A.W。；Lee，M.S.，《最小化交叉验证错误的高效算法》，（第11届机器学习国际会议论文集。第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994年），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），190-198
[77] Norton，S.W.，《生成更好的决策树》（Proceedings IJCAI-89）。《IJCAI-89会议记录》，密歇根州底特律（1989），摩根考夫曼：摩根考夫曼圣马特奥，加利福尼亚州），800-805·Zbl 0709.68085号
[78] 巴扎尼，M.J。；Sarrett，W.，联合学习算法的平均案例分析框架，机器学习，9349-372（1992）
[79] 帕加洛，G。；Haussler，D.，经验学习中的布尔特征发现，机器学习，571-99（1990）
[80] Quinlan，J.R.，《学习高效分类程序及其在国际象棋比赛中的应用》（Michalski，R.S.；Carbonell，J.G.；Mitchell，T.M.，《机器学习：人工智能方法》（1983），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[81] Quinlan，J.R.，（C4.5：机器学习程序（1993），Morgan Kaufmann：Morgan Koufmann-San Mateo，CA）
[82] Rajamoney，S.，《理论修正的计算方法》（Shrager，J.；Langley，P.，《科学发现和理论形成的计算模型》（1990），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[83] Rivest，R.L。；Schapire，R.E.，使用归巢序列推断有限自动机，Inform。和计算。，103, 299-347 (1993) ·Zbl 0786.68082号
[84] Rumelhart，D.E。；辛顿，G。；Williams，R.J.，《通过错误传播学习内部表征》（Rumelhart，D.E.；McClelland，J.L.；PDP研究小组，《并行分布式处理：认知微观结构的探索》，第1卷（1986），麻省理工学院出版社：麻省理学学院出版社剑桥，MA）
[85] Sammut，C。；Banerji，R.B.，《通过提问学习概念》（Michalski，R.S.；Carbonell，J.G.；Mitchell，T.M.，《机器学习：人工智能方法》，第2卷（1986），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）·Zbl 0593.68060号
[86] Schapire，R.E.，《弱可学习性的力量》，机器学习，5197-227（1990）
[87] Schlimmer，J.C.，《高效诱导决定：使用最优修剪的完整高效搜索算法》（第十届机器学习国际会议论文集。第十届国际机器学习会议论文集，马萨诸塞州阿默斯特（1993），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），284-290
[88] 斯科特，P.D。；Markovitz，S.，探索性学习系统中的表征生成，（Fisher，D.H.；Pazzani，M.J.；Langley，P.，《概念形成：非监督学习中的知识和经验》（1991），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[89] Seung，H.S。；奥珀，M。；Sompolinsky，H.，委员会质疑，（第五届计算学习理论年度研讨会论文集。第五届计算机学习理论年度会议论文集，宾夕法尼亚州匹兹堡（1992），ACM出版社：纽约ACM出版社），287-294
[90] 沈伟民（Shen，W.M.）。；Simon，H.A.，《通过环境探索创造规则和学习规则》（Proceedings IJCAI-89）。会议记录IJCAI-89，密歇根州底特律（1989年），Morgan Kaufmann：Morgan Kaufmann San Mateo，CA），675-680·兹比尔0709.68069
[91] 辛克莱，A。；Jerrum，M.，近似计数，均匀生成和快速混合马尔可夫链，Inform。和计算。，82, 93-133 (1989) ·Zbl 0668.05060号
[92] 辛格，M。；Provan，G.M.，《选择性和非选择性贝叶斯分类器归纳算法的比较》，（第12届机器学习国际会议论文集。第12届国际机器学习会议论文集，加州塔霍湖（1995），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），497-505
[93] 辛格，M。；Provan，G.M.，《选择性贝叶斯网络分类器的有效学习》，（第13届国际机器学习会议论文集。第13届机器学习国际会议论文集，意大利巴里（1996），Morgan Kaufmann:Morgan Koufmann San Mateo，CA）
[94] Skalak，D.B.，通过采样和随机变异爬山算法进行原型和特征选择，（第11届机器学习国际会议论文集。第11届国际机器学习会议论文集，新泽西州新不伦瑞克（1994），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），293-301
[95] Stanfill，C.W.，《基于记忆的推理应用于英语发音》（Proceedings AAAI-87）。《AAAI-87会议记录》，西雅图，华盛顿州（1987），AAAI出版社，577-581
[96] Ting，K.M.，连续值属性离散化与基于实例的学习，（悉尼大学计算机科学Basser系技术报告第491号（1994））
[97] Townsend-Weber，T。；Kibler，D.，基于实例的连续值预测，（AMI-94基于案例推理研讨会工作笔记。AMI-94案例推理研讨会的工作笔记，西雅图，华盛顿州（1994），AAAI出版社），30-35
[98] Verbeurgt，K.，在多项式时间的均匀分布下学习DNF，（第三届计算学习理论年度研讨会论文集。第三届计算学习理论年度研讨会论文集，加利福尼亚州旧金山（1990），Morgan Kaufmann：Morgan Kaufmann San Mateo，CA），314-325
[99] Vere，S.A.，谓词演算中概念的归纳（Proceedings IJCAI-75）。乔治亚州第比利斯市IJCAI-75会议记录（1975年），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），281-287
[100] Vovk，V.，《聚合策略》（第三届计算学习理论年度研讨会论文集。第三届计算机学习理论年度会议论文集，加利福尼亚州旧金山（1990），Morgan Kaufmann:Morgan Koufmann San Mateo，CA），371-383
[101] 维德罗，B。；Hoff，M.E.，自适应开关电路（IRE WESCON公约记录（1960）），96-104
[102] Winston，P.H.，从示例中学习结构描述·Zbl 0518.68050号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。