×
大卫·豪斯勒

量化归纳偏差：人工智能学习算法和Valiant的学习框架。 （英语） Zbl 0651.68104号

Artif公司。智力。 36，第2期，177-221（1988）.
我们表明，在Valiant最近介绍的框架中，概念学习中的归纳偏差概念可以通过与学习绩效直接相关的方式进行量化。我们的偏差测量基于Vapnik和Chervonenkis引入的增长函数，以及Vapnik-Chervonenkis维度。我们测量了一些常见的语言偏见，包括对合取概念的限制、带有内部析取的合取概念、k-DNF和k-CNF概念。我们还测量了因偏好更简单的假设而产生的某些类型的偏见。利用这些偏差度量，我们从Valiant的学习框架的角度分析了经典学习算法对合取概念的性能。
然后，我们使用一个使用贪婪启发式的假设简化例程来增强该算法，并展示了这如何提高对简单目标概念的学习性能。针对具有内部析取、k-DNF和k-CNF概念的合取概念，还开发了改进的学习算法。我们表明，就实现Valiant框架中给定水平的学习性能所需的示例数量而言，我们的所有算法都在最佳的对数因子范围内。我们的结果适用于由树结构或线性属性定义的任意基于属性的实例空间。

引用于48文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

归纳偏倚；概念学习；偏差测量
PDF格式BibTeX公司 XML格式引用
\textit{D.Haussler}，阿蒂夫。智力。36，第2号，177--221（1988；Zbl 0651.68104）
全文： DOI程序

参考文献：

[1] Angluin，A.，《查询和概念学习》，机器学习，2，4，319-342（1988）·兹比尔1470.68050
[2] 安格鲁因，D。；Laird，P.D.，从噪声示例中学习，机器学习，2，4，343-370（1988）
[3] Banerji，R.，《学习的逻辑：模式识别和性能改进的基础》，高级计算。，177-216年（1985年）
[4] Blumer，A。；埃伦菲赫特，A。；Haussler，D。；Warmuth，M.，《奥卡姆剃刀》（Inf.Proc.Lett.，24（1987）），第377-380页·Zbl 0653.68084号
[5] Blumer，A.、Ehrenfeucht，A.、Haussler，D.和Warmuth，M.，《可学习性和Vapnik-Chervonenkis维度》，美国临床医学杂志; Blumer，A.、Ehrenfeucht，A.、Haussler，D.和Warmuth，M.，《可学习性和Vapnik-Chervonenkis维度》，美国临床医学杂志·Zbl 0697.68079号
[6] 布鲁纳，J.S。；J.古德诺。；Austin，G.A.（《思考研究》（1956），威利出版社：威利纽约）
[7] A.邦迪。；银，B。；普卢默，D.，《一些规则学习程序的分析比较》，《人工智能》，27137-181（1985）·Zbl 0583.68043号
[8] Chvatal，V.，集合覆盖问题的贪婪启发式，数学。操作。第4、3、233-235号决议（1979年）·Zbl 0443.90066号
[9] Cover，T.，线性不等式组的几何和统计性质及其在模式识别中的应用，IEEE Trans。选举。计算。，14, 326-334 (1965) ·Zbl 0152.18206号
[10] Dietterich，T.G。；Michalski，R.S.，《从示例中学习的选定方法的比较评论》（Michalski-R.S.；Carbonell，J.G.；Mitchell，T.M.，《机器学习：人工智能方法》（1983），Tioga:Tioga Palo Alto，CA），41-81
[11] 埃伦菲赫特，A。；Haussler，D.，从随机示例中学习决策树，（技术报告UCSC-CRL-87-15（1987），加利福尼亚大学：加利福尼亚大学圣克鲁斯分校。加利福尼亚州）·Zbl 0679.68157号
[12] Ehrenfeucht，A.，Haussler，D.，Kearns，M.和Valiant，L.G.，学习所需示例数量的一般下界，Inf.计算。; Ehrenfeucht，A.、Haussler，D.、Kearns，M.和Valiant，L.G.，学习所需示例数量的一般下限，Inf.计算。·Zbl 0679.68158号
[13] Garey，M。；Johnson，D.，（《计算机与难处理性：NP-完备性理论指南》（1979），弗里曼：弗里曼旧金山，加利福尼亚州）·Zbl 0411.68039号
[14] Haussler，D.，量化概念学习中的归纳偏差，（技术报告UCSC-CRL-86-25（1986），加州大学：加州大学圣克鲁斯分校）
[15] Haussler，D.，学习结构域中的连接概念，机器学习; Haussler，D.，学习结构域中的连接概念，机器学习
[16] （Michalski，R.S.；Kodratoff，机器学习，III（1987）），加利福尼亚州洛斯阿尔托斯
[17] Haussler，D。；Welzl，E.，Epsilon网和单纯形范围查询，离散计算。几何学，2127-151（1987）·Zbl 0619.68056号
[18] Johnson，D.S.，组合问题的近似算法，J.Compute。系统。科学。，9, 256-278 (1974) ·Zbl 0296.65036号
[19] 约翰逊，D.S。；Niemi，K.A.，《关于背包、分区和树的新动态编程技术》，数学。操作。第8、1、1-14号决议（1983年）·兹比尔0506.90035
[20] 卡恩斯，M。；Li，M.，《恶意错误下的学习》，（第20届美国计算机学会计算理论研讨会论文集，第20届ACM计算理论研讨会，伊利诺伊州芝加哥（1988）），267-280
[21] 卡恩斯，M。；李，M。；皮特·L。；Valiant，L.，布尔概念学习的最新结果，（第四届机器学习国际研讨会论文集。第四届机器学习国际研讨会论文集，加利福尼亚州欧文市（1987）），337-352
[22] Laird，P.D.，《通过精化进行归纳推理》（技术报告.YALEU/DCS/TR-376（1986），耶鲁大学：耶鲁大学纽黑文分校，康涅狄格州）
[23] Littestone，N.，《当不相关属性大量存在时快速学习：一种新的线性阈值算法》，机器学习，2，4，245-318（1988）
[24] Michalski，R.S.，《归纳学习的理论和方法》（Michalski-R.S.；Carbonell，J.G.；Mitchell，T.M.，《机器学习：人工智能方法》（1983），Tioga:Tioga Palo Alto，CA），83-134
[25] Milosavljevic，A.，在有背景知识的情况下学习，（加州大学技术代表UCSC-CRL-87-27（1987），加州大学：加州大学圣克鲁斯分校）
[26] Mitchell，T.M.，《学习泛化中对偏见的需要》（《技术报告》CBM-TR-117（1980），罗格斯大学计算机科学系：新泽西州罗格斯大学计算科学系）
[27] Mitchell，T.M.，作为搜索的泛化，人工智能，18203-226（1982）
[28] Natarajan，B.K。；Tadepalli，P.，《两种新的学习框架》（第五届机器学习国际研讨会论文集，第五届机械学习国际研讨会，密歇根州安娜堡（1988））·Zbl 0900.68365号
[29] Nigmatullin，R.G.，《覆盖问题的最快下降法》（Proceedings Symposium on problems of Precision and Efficiency of Computer Algorithms，5（1969）），116-126，基辅，苏联。
[30] Pearl，J.，《关于推断模型的复杂性和可信度之间的联系》，《国际通用系统杂志》。，4, 255-264 (1978) ·Zbl 0386.93005号
[31] Quinlan，J.R.，决策树归纳，机器学习，1，1，81-106（1986）
[32] Rendell，L.，归纳法的一般框架和选择性归纳法的研究，机器学习，1,2177-226（1986）
[33] Rissanen，J.，《最短数据描述建模》，Automatica，1465-471（1978）·Zbl 0418.93079号
[34] Rivest，R.，《学习决策表》，机器学习，2，3，229-246（1987）
[35] Schlimmer，J.C.，学习表征的增量调整，（第四届机器学习国际研讨会论文集，第四届机械学习国际研讨会，加利福尼亚州欧文（1987）），79-90
[36] Sammut，C。；Banerji，R.，《通过提问学习概念》（Michalski，R.；Carbonell，J.；Mitchell，T.，《机器学习》，II（1986），Morgan Kaufmann:Morgan Koufmann Los Altos，CA）
[37] Subramanian，D。；Feigenbaum，J.，实验生成中的因子分解，（美国医学会杂志AAAI-86。美国宾夕法尼亚州费城AAAI-86会议记录（1986），518-522
[38] Utgoff，P.，《归纳概念学习的偏见转移》（Michalski，R.；Carbonell，J.；Mitchell，T.，《机器学习》，II（1986），Morgan Kaufmann:Morgan Koufmann Los Altos，CA）
[39] Valiant，L.G.，《可学习的共同理论》。ACM，27，11，1134-1142（1984）·Zbl 0587.68077号
[40] Valiant，L.G.，《学习连词的析取》（Proceedings IJCAI-85）。IJCAI-85会议记录，加利福尼亚州洛杉矶（1985），560-566
[41] 皮特·L。；Valiant，L.G.，《从实例中学习的计算限制》（《技术报告》，TR-05-86（1986），哈佛大学爱肯计算实验室：爱肯计算实验，哈佛大学剑桥分校，马萨诸塞州），另外：美国临床医学杂志，显示·Zbl 0662.68086号
[42] Vapnik，V.N.，（基于经验数据的依赖性估计（1982），Springer:Springer New York）·Zbl 0499.62005号
[43] Vapnik，V.N。；A.Ya.Chervonenkis。，关于事件相对频率与其概率的一致收敛性，Theor。普罗巴伯。申请。，16, 2, 264-280 (1971) ·Zbl 0247.60005号
[44] Wenocur，R.S。；Dudley，R.M.，一些特殊的Vapnik-Chervonenkis类，离散数学。，33, 313-318 (1981) ·Zbl 0459.60008号
[45] Winston，P.，从例子中学习结构描述，（Winston，P.H.，《计算机视觉心理学》（1975），麦格劳-希尔出版社：纽约麦格劳-希尔出版社）·Zbl 1007.68915号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。