研究论文

学习决策列表和树的下限

作者:

托马斯汉考克,

约翰特朗普作者信息和声明

信息与计算,体积126,问题2

页114-122

https://doi.org/10.1006/inco.1996.040

出版:1996年5月1日出版历史

摘要

k-决策表和决策树在学习理论和实际学习系统中发挥着重要作用。k-决策列表概括了单项式、k-DNF和k-CNF等类，与这些子类一样，它们是多项式PAC-learnable R.Rivest，Mach。《学习》2（1987），229 246]。这就留下了一个悬而未决的问题，即是否可以像DNF那样高效地学习决策列表。我们从某种意义上否定了这个问题，从而反驳了流行教科书M.Anthony和N.Biggs《计算学习理论》中的一个说法，剑桥大学出版社，英国剑桥，1992年]。另一方面，尽管决策树具有广泛的实际应用，但人们甚至不知道它是多项式PAC学习的。我们将证明决策树不太可能是有效的PAC可学习的。我们总结了我们的具体结果。除非NP DTIME2polylogn]，否则下列问题不能在多项式时间内以2log为因子或任何<1近似：广义集合覆盖、k-决策列表、单调决策列表的k-决策表和决策树。对于某些常数>0，除非NP=P，否则决策列表不能在n因子内的多项式时间内近似。此外，具有10 1个交替的k决策列表也不能在因子loglnunlessNP-DTIMEnO（loglogn）内近似（提供了与a.Dhagat和L.Hellerstein在“FOCS’94”中获得的上界的有趣比较第64至74页]）。

工具书类

[1]

Aditi Dhagat和Lisa Hellerstein（1994），《不相关属性的PAC学习》，载于《第35届IEEE Symp.Found.Comp.Sci.程序》，第64-74页。

[2]

Anthony，M.和Biggs，N.（1992），“计算学习理论”，剑桥大学出版社，英国剑桥。

[3]

Board，R.和Pitt，L.（1990），《关于Occam算法的必要性》，载于《第22届ACM计算机理论交响乐》，第54-63页。

[4]

Arora，A.、Lund，C.、Motwani，R.、Sudan，M.和Szegedy，M.（1992），近似问题的证明验证和硬度，见“第33届IEEE Symp.Found.Comp.Sci.程序”，第14-23页。

[5]

Bellare，M.、Goldwasser，S.、Lund，C.和Russel，A.（1993），《高效概率可检验证明及其在近似中的应用》，载于《第25届美国计算机学会计算机理论研讨会》，第294-304页。

[6]

Blumer，A.、Ehrenfeucht，A.、Haussler，D.和Warmuth，M.（1989），可学习性和Vapnik-Chervonenkis维度，J.协会计算。机器。35, 929-965.

数字图书馆

[7]

Breiman，L.、Friedman，J.、Olshen，R.和Stone，C.（1984），“分类和回归树”，加利福尼亚州贝尔蒙特沃兹沃斯。

[8]

Ehrenfeucht，A.和Haussler，D.（1988），从随机示例中学习决策树，《Proc.1st COLT》

[9]

Garey，M.和Johnson，D.（1979年），“计算机与难治性”，纽约弗里曼。

[10]

Haussler，D.（1988），量化归纳偏差：AI学习算法和Valiant的学习框架，工件。智力。36第2期，177-222。

数字图书馆

[11]

Hyafil，L.和Rivest，R.（1976），构建最优决策树是NP完全的，通知。过程。莱特。5第1期，第15-17页。

[12]

Kearns，M.、Li，M.，Pitt，L.和Valiant，L.（1987），《关于布尔函数的可学习性》，载于《第19届美国计算机学会计算机理论研讨会》，第285-295页。

[13]

Kivinen，J.、Mannila，H.和Ukkonen，E.，《学习层次规则集》，“COLT’92”，第37-44页。

[14]

Lund，C.和Yannakakis，M.，《关于近似最小化问题的困难》，载于《第25届ACM计算机理论研讨会》，第286-293页。

[15]

Mingers，J.（1989），决策树归纳选择措施的实证比较，机器。学习3, 319-342.

数字图书馆

[16]

Quinlan，J.R.（1986），决策树的归纳，机器。学习1, 81-106.

数字图书馆

[17]

Quinlan，J.R.和Rivest，R.（1989），使用最小描述长度原则推断决策树，通知。和计算。80, 227-248.

数字图书馆

[18]

Papadimitriou，C.H.和Yannakakis，M.（1991），优化、近似和复杂性类，《第20届美国计算机学会计算机理论研讨会论文集》中的扩展摘要，第229-234页；中的完整版本J.计算。系统科学。43, 425-440.

[19]

Pitt，L.和Valiant，L.（1988），从示例中学习的计算限制，J.协会计算。机器。35第4期，965-984。

数字图书馆

[20]

Rivest，R.（1987），学习决策列表，机器。学习2, 229-246.

数字图书馆

[21]

Valiant，L.（1984），可学习理论，通信ACM 27, 1134-1142.

数字图书馆

[22]

Auer，P.、Holte，R.C.和Maass，W.（1995），用小决策树进行不可知PAC-learning的理论和应用，《第十二届国际机器学习会议论文集》，塔霍市，第21-29页。

引用人

鲁宾菲尔德R瓦西利扬A萨哈BServedio R公司(2023)测试学习算法的分布假设第55届ACM计算理论年会论文集10.1145/3564246.3585117(1643-1656)在线发布日期：2023年6月2日
https://dl.acm.org/doi/10.1145/3564246.3585117
沙蒂·P科恩·EMcIlraith S公司(2023)基于SAT的非二进制数据最优分类树约束条件2007年10月10日/10601-023-09348-128:2(166-202)在线发布日期：2023年7月8日
https://dl.acm.org/doi/10.1007/s10601-023-09348-1
苏扎五世西卡莱斯F劳动力E莫里纳罗M科耶霍S穆罕默德·S阿加瓦尔A贝尔格雷夫D赵·K哦，A(2022)具有简短可解释规则的决策树第36届神经信息处理系统国际会议记录10.5555/3600270.3601168(12365-12379)在线发布日期：2022年11月28日
https://dl.acm.org/doi/10.5555/3600270.3601168
显示更多引用者

索引术语

学习决策列表和树的下限
1. 计算方法
2. 计算理论

建议

有效的学习算法产生电路下限

我们描述了一种新的方法来理解设计高效学习算法的困难。我们证明了Angluin精确学习隶属度模型中C类电路的有效学习算法的存在性，并证明了该算法的有效性。。。
阅读更多信息
树型证明的提升下界

众所周知，某些重言式的恒深Frege证明需要指数大小。对于更一般的证明系统，没有这样的下限结果。我们考虑公式可以包含模的树型序列演算证明。。。
阅读更多信息
稀疏自可约集与非一致下界

众所周知，可由多项式大小电路计算的集合类等于可将多项式时间还原为稀疏集的集合类。人们普遍认为，但不幸的是，到目前为止，还没有证明，有设置。。。
阅读更多信息

评论

信息和贡献者

问询处

发布时间

封面图像信息与计算

信息与计算第126卷第2期

1996年5月1日

65页

国际标准编号：0890-5401

编辑：
阿尔伯特·梅耶
剑桥麻省理工学院

版权所有©学术出版社。

出版商

学术出版社。

美国

出版历史

出版：1996年5月1日

作者标记

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

31
引文总数
查看引文
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

鲁宾菲尔德R瓦西利扬A萨哈BServedio R公司(2023)测试学习算法的分布假设第55届ACM计算理论年会论文集10.1145/3564246.3585117(1643-1656)在线发布日期：2023年6月2日
https://dl.acm.org/doi/10.1145/3564246.3585117
沙蒂·P科恩·EMcIlraith S公司(2023)基于SAT的非二进制数据最优分类树约束条件2007年10月10日/10601-023-09348-128:2(166-202)在线发布日期：2023年7月8日
https://dl.acm.org/doi/10.1007/s10601-023-09348-1
苏扎五世西卡莱斯F劳动力E莫里纳罗M科耶霍S穆罕默德·S阿加瓦尔A贝尔格雷夫D赵·K哦，A(2022)具有简短可解释规则的决策树第36届神经信息处理系统国际会议记录10.5555/3600270.3601168(12365-12379)在线发布日期：2022年11月28日
https://dl.acm.org/doi/10.5555/3600270.3601168
于J伊格纳季耶夫AStuckey P公司Le Bodic P报(2022)用SAT学习最优决策集和列表人工智能研究杂志10.1613/jair.1.1271972(1251-1279)在线发布日期：2022年1月4日
https://dl.acm.org/doi/10.1613/jair.1.12719
布兰科·G兰格J乔·M棕色L(2022)在几乎多项式时间内正确学习决策树美国医学会杂志10.1145/356104769:6(1-19)在线发布日期：2022年11月24日
https://dl.acm.org/doi/10.1145/3561047
张GGionis A公司(2022)正则化杂质减少：具有复杂性保证的准确决策树数据挖掘与知识发现2007年10月10日/10618-022-00884-737:1(434-475)在线发布日期：2022年11月28日
https://dl.acm.org/doi/10.1007/s10618-022-00884-7
伊索伊O阿尔帕伊德东区(2022)分布式决策树结构、句法和统计模式识别10.1007/978-3-031-23028-8_16(152-162)在线发布日期：2022年8月26日
https://dl.acm.org/doi/10.1007/978-3-031-23028-8_16
平原S伊兰戈R洛夫B(2021)恒定通信复杂性的硬度第36届计算复杂性会议记录10.4230/LIPIcs公司。CCC.2021.31号文件在线发布日期：2021年7月20日
https://dl.acm.org/doi/10.4230/LIPIcs.CCC.2021.31
洛维特S吴凯（Wu K）张杰(2021)基于轻度随机约束的决策表压缩美国医学会杂志10.1145/348500768:6(1-17)在线发布日期：2021年10月28日
https://dl.acm.org/doi/10.1145/3485007
麦康奈尔D朱J潘迪亚S阿吉亚尔D马兰奥J怀纳A(2021)民事诉讼动议结果的案例级预测第十八届国际人工智能与法律会议记录10.1145/3462757.3466101(99-108)在线发布日期：2021年6月21日
https://dl.acm.org/doi/10.1145/3462757.3466101
显示更多引用者

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录