×

使用分层狄利克雷过程的贝叶斯网络分类器的精确参数估计。 (英语) Zbl 1473.68189号

摘要:本文介绍了一种基于层次Dirichlet过程的贝叶斯网络分类器概率表参数估计新方法。本文的主要结果是表明,改进的参数估计使BNC在0-1损失和RMSE方面都优于领先的学习方法,尽管只是在分类数据集上。随着数据资产变得越来越大,进入大肆宣传的“大”世界,高效准确的分类需要三个主要要素:(1)低偏差的分类器,可以捕获大数据集的精细细节(2)可以从数据中学习而不必将其全部保存在主内存中的核心外学习者(3)能够非常有效地对新数据进行分类的模型。最新的BNC满足这些要求。通过增加图中节点的父节点数,可以轻松控制它们的偏差。它们的结构可以通过有限的数据传递从核心中学习出来。然而,由于准确建模分类任务的偏差较小,因此其参数估计的准确性也较低,因为每个参数都是根据不断减少的数据量进行估计的。在本文中,我们介绍了使用HDP进行准确的BNC参数估计,即使偏差较小。我们在68个标准数据集上进行了一组广泛的实验,结果表明,我们的分类器在预测方面与随机森林具有很强的竞争力,同时保持了超出核心的能力和优越的分类时间。

MSC公司:

68T20型 人工智能背景下的问题解决(启发式、搜索策略等)
10层62层 点估计
2015年1月62日 贝叶斯推断
62G05型 非参数估计
62H22个 概率图形模型
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 比尔扎,C;Larrañaga,P,离散贝叶斯网络分类器:调查,ACM计算调查,47,5,(2014)·Zbl 1322.68147号 ·数字对象标识代码:10.1145/2576868
[2] Boström,H,概率估计树森林,国际模式识别与人工智能杂志,26,1251001,(2012)·doi:10.1142/S021801412510019
[3] Breiman,L,《随机森林,机器学习》,45,5-32,(2001)·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[4] 邦廷,W,《从数据中学习概率网络的文献指南》,IEEE知识与数据工程汇刊,8195-210,(1996)·doi:10.1109/69.494161
[5] Buntine,W.和Mishra,S.(2014年)。非参数主题模型实验。第20届ACM SIGKDD知识发现和数据挖掘国际会议,ACM,美国纽约州纽约市,KDD’14(第881-890页)。
[6] 卡瓦略,AM;Roos,T;奥利维拉,阿拉巴马州;Myllymäki,P,《通过因子化条件对数似然对贝叶斯网络进行判别学习》,《机器学习研究杂志》,12,2181-2210,(2011)·Zbl 1280.68158号
[7] Chen,S.和Goodman,J.(1996)。语言建模平滑技术的实证研究。96年ACL第34届计算语言学协会年会(第310-318页)。
[8] Chen,T.和Guestrin,C.(2016)。XGBoost:一个可扩展的树增强系统。第22届ACM SIGKDD知识发现和数据挖掘国际会议记录ACM,美国纽约州纽约市,KDD’16(第785-794页)。https://doi.org/10.1145/2939672.2939785。
[9] Chow,C;Liu,C,用依赖树逼近离散概率分布,IEEE信息理论汇刊,14462-467,(1968)·Zbl 0165.22305号 ·doi:10.1109/TIT.1968.1054142
[10] 杜,L;邦廷,W;Jin,H,基于双参数Poisson-Dirichlet过程的分段主题模型,机器学习,81,5-19,(2010)·doi:10.1007/s10994-010-5197-4
[11] 法耶兹,U;Irani,K,关于决策树生成中连续值属性的处理,机器学习,8,87-102,(1992)·Zbl 0767.68084号
[12] Ferguson,T,一些非参数问题的贝叶斯分析,《统计年鉴》,1209-230,(1973)·Zbl 0255.62037号 ·doi:10.1214/aos/1176342360
[13] 弗里德曼,N;盖革,D;Goldszmidt,M,贝叶斯网络分类器,机器学习,29,131-163,(1997)·Zbl 0892.68077号 ·doi:10.1023/A:1007465528199
[14] 弗里德曼,N;Koller,D,关于网络结构的贝叶斯分析。贝叶斯网络中结构发现的贝叶斯方法,机器学习,50,95-125,(2003)·Zbl 1033.68104号 ·doi:10.1023/A:1020249912095
[15] Gasthaus,J.和Teh,Y.(2010年)。序列记忆器的改进。收件人:J.D.Lafferty、C.K.I.Williams、J.Shawe-Tylor、R.S.Zemel和A.Culotta,第23届神经信息处理系统国际会议论文集加拿大不列颠哥伦比亚省温哥华,2010年12月6-9日(第1卷,第685-693页)。Curran Associates公司。
[16] Hardy,G.H.[(1889)1920]。信件。精算师学院学报8,第180-181页(最初发表在“保险记录457”上)。
[17] Huynh,V.、Phung,D.Q.、Venkatesh,S.、Nguyen,X.、Hoffman,M.D.和Bui,H.H.(2016)。可扩展非参数贝叶斯多级聚类阿拉伯联合酋长国.
[18] Hwang,HK,第一类Stirling数的渐近展开式,组合理论杂志,A辑,71343-351,(1995)·Zbl 0833.05005号 ·doi:10.1016/0097-3165(95)90010-1
[19] Koller,D.和Friedman,N.(2009年)。概率图形模型.原理和技术。自适应计算与机器学习马萨诸塞州剑桥:麻省理工学院出版社。
[20] Lewis,D.(1998年)。40岁的朴素贝叶斯:信息检索中的独立假设。第十届欧洲机器学习会议英国伦敦施普林格,ECML’98(第4-15页)。
[21] Lichman,M.(2013)。UCI机器学习库。http://archive.ics.uci.edu/ml2015年1月23日查阅。
[22] Lidstone,G,关于归纳或后验概率贝叶斯-拉普拉斯公式的一般情况的注释,《教师精算师学报》,8182-192,(1920)
[23] 林,K;邦廷,W;陈,C;Du,L,用分层Pitman-Yor过程进行非参数贝叶斯主题建模,国际近似推理杂志,78,172-191,(2016)·Zbl 06639853号 ·doi:10.1016/j.jar.2016年7月16日
[24] Lyubimov,D.和Palumbo,A.(2016年)。Apache Mahout:超越MapReduce(第1版)。北查尔斯顿:CreateSpace独立发布平台。
[25] 马丁内斯,A;韦伯,G;陈,S;Zaidi,N,贝叶斯网络分类器的可伸缩学习,机器学习研究杂志,17,1-35,(2016)·Zbl 1360.68694号
[26] Mitchell,T.(1997)。机器学习纽约:McGraw-Hill·Zbl 0913.68167号
[27] Nguyen,V.、Phung,D.Q.、Venkatesh,S.和Bui,H.H.(2015)。多水平回归的贝叶斯非参数方法。PAKDD公司(第1卷,第330-342页)。
[28] Rennie,J.、Shih,L.、Teevan,J.和Karger,D.(2003)。处理朴素贝叶斯文本分类器的不良假设。第20届国际机器学习会议,AAAI出版社,ICML'03(第616-623页)。
[29] Roos,T;湿度,H;Grünwald,P;Myllymäki,P;Tirri,H,《鉴别贝叶斯网络分类器和逻辑回归》,机器学习,59,267-296,(2005)·Zbl 1101.68785号
[30] Sahami,M.(1996年)。学习有限依赖贝叶斯分类器。第二届知识发现和数据挖掘国际会议(第334-338页)。加利福尼亚州门罗公园AAAI出版社。
[31] Shareghi,E.、Cohn,T.和Haffari,G.(2016)。基于改进的Kneser-Ney语言建模的Richer插值平滑。自然语言处理中的经验方法(第944-949页)。
[32] Shareghi,E.、Haffari,G.和Cohn,T.(2017a)。压缩非参数语言建模。国际JCAI2017年4月23日接受。
[33] Shareghi,E.、Haffari,G.和Cohn,T.(2017b)。压缩非参数语言建模。第二十六届人工智能国际联合会议论文集,IJCAI-17(第2701-2707页)。https://doi.org/10.24963/ijcai.2017/376。
[34] Sonnenburg,S.和Franc,V.(2010年)。COFFIN:线性SVM的计算框架。在J.Fürnkranz&T.Joachims(编辑)中,ICML公司(第999-1006页)。
[35] Teh,Y.(2006)。内插Kneser-Ney的贝叶斯解释。新加坡国立大学计算机学院技术代表TRA2/06。
[36] Teh,Y;约旦,M;比尔,M;Blei,D,层次Dirichlet过程,美国统计协会杂志,1011566-1581,(2006)·Zbl 1171.62349号 ·doi:10.1198/016214500000302
[37] 韦伯,GI;布顿,J;Wang,Z,Not so naive Bayes:aggregating one-dependence estimators,机器学习,58,5-24,(2005)·Zbl 1075.68078号 ·doi:10.1007/s10994-005-4258-6
[38] 韦布,G;鲍顿,J;郑,F;Ting,K;Salem,H,《从边际到全多元概率分布的外推学习:朴素贝叶斯分类递减》,机器学习,86,233-272,(2012)·Zbl 1238.68136号 ·doi:10.1007/s10994-011-5263-6
[39] Wermuth,N;Lauritzen,S,《列联表的图形和递归模型》,Biometrika,70537-552,(1983)·Zbl 0541.62038号 ·doi:10.2307/2336490
[40] 木材,F;加斯豪斯,J;Archambeau,C;詹姆斯,L;Teh,Y,序列记忆器,ACM通信,54,91-98,(2011)·doi:10.1145/1897816.1897842
[41] 扎伊迪,NA;韦伯,GI;MJ Carman;佩蒂让,F;邦廷,W;海恩斯,M;Sterck,H,贝叶斯网络分类器的有效参数学习,机器学习,1061289-1329,(2017)·Zbl 1454.62183号 ·数字对象标识代码:10.1007/s10994-016-5619-z
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。