×

贝叶斯网络分类器的有效参数学习。 (英语) Zbl 1454.62183号

摘要:最近的进展表明,使用生成性和区分性参数进行学习有很大好处。一方面,生成方法解决了联合分布参数的估计-(mathrm{P}(y,mathbf{x}),对于大多数网络类型来说,这是非常需要计算的有效率的(马尔可夫网络是一个显著的例外),另一方面,判别方法解决了后验分布参数的估计,而且有效的对于分类,因为它们直接适合\(\mathrm{P}(y|\mathbf{x})\)。然而,判别方法的计算效率较低,因为条件对数拟合法中的归一化因子排除了推导参数的闭式估计。本文介绍了一种新的贝叶斯网络分类器的判别参数学习方法,该方法将生成方法和判别方法学习到的参数完美地结合在一起。该方法本质上是有区别的,但使用生成概率的估计来加速优化过程。第二个贡献是提出了一个简单的框架来描述贝叶斯网络分类器的参数学习任务。我们在72个标准数据集上进行了一组广泛的实验,证明了我们提出的区分参数化可以有效地替代其他最先进的参数化。

MSC公司:

62H22个 概率图形模型
68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
62甲12 多元分析中的估计
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Buntine,W.(1994)。图形模型学习操作。人工智能研究杂志,2159-225。
[2] Byrd,R.、Lu,P.和Nocedal,J.(1995)。用于边界约束优化的有限内存算法。SIAM科学与统计计算杂志,16(5),1190-1208·Zbl 0836.65080号 ·doi:10.1137/0916069
[3] Carvalho,A.、Roos,T.、Oliveira,A.和Myllymaki,P.(2011)。基于因子化条件对数似然的贝叶斯网络判别学习。机器学习研究杂志·Zbl 1280.68158号
[4] Chow,C.和Liu,C.(1968年)。用依赖树逼近离散概率分布。IEEE信息理论汇刊,14(3),462-467·Zbl 0165.22305号 ·doi:10.1109/TIT.1968.1054142
[5] Demšar,J.(2006)。多个数据集上分类器的统计比较。机器学习研究杂志,7,1-30·Zbl 1222.68184号
[6] Fayyad,U.M.和Irani,K.B.(1992年)。关于决策树生成中连续值属性的处理。机器学习,8(1),87-102·Zbl 0767.68084号
[7] Frank,A.和Asuncion,A.(2010年)。UCI机器学习库。http://archive.ics.uci.edu/ml。
[8] Friedman,N.、Geiger,D.和Goldszmidt,M.(1997)。贝叶斯网络分类器。机器学习,29(2),131-163·Zbl 0892.68077号 ·doi:10.1023/A:1007465528199
[9] Greiner,R.和Zhou,W.(2002)。逻辑回归的结构扩展:信念网络分类器的判别参数学习。在全国人工智能年会(AAAI)上,第167-173页·Zbl 0767.68084号
[10] Greiner,R.、Su,X.、Shen,B.和Zhou,W.(2005)。逻辑回归的结构扩展:信念网分类器的判别参数学习。机器学习,59297-322·Zbl 1101.68759号
[11] Grossman,D.和Domingos,P.(2004)。通过最大化条件似然学习贝叶斯网络分类器。在ICML中·Zbl 0836.65080号
[12] Heckerman,D.和Meek,C.(1997年)。回归和分类的模型和选择标准。在人工智能不确定性国际会议上·Zbl 0836.65080号
[13] Jebara,T.(2003)。机器学习:区分性和生成性。柏林:斯普林格·Zbl 1030.68073号
[14] Kohavi,R.和Wolpert,D.(1996年)。零损失函数的偏差加方差分解。ICML(第275-283页)·Zbl 1222.68184号
[15] Langford,J.、Li,L.和Strehl,A.(2007年)。Vowpal wabbit在线学习项目。https://github.com/JohnLangford/vovepal_wabbit/wiki。 ·Zbl 1222.68184号
[16] Martinez,A.、Chen,S.、Webb,G.I.和Zaidi,N.A.(2016年)。贝叶斯网络分类器的可扩展学习。机器学习研究杂志,17,1-35·Zbl 1360.68694号
[17] Ng,A.和Jordan,M.(2002年)。判别分类器与生成分类器:逻辑回归与朴素贝叶斯的比较。神经信息处理系统进展·Zbl 0892.68077号
[18] Pernkopf,F.和Bilmes,J.(2005)。贝叶斯网络分类器的鉴别与生成参数和结构学习。在ICML中·Zbl 1242.68294号
[19] Pernkopf,F.和Bilms,J.A.(2010年)。贝叶斯网络分类器区分结构学习的有效启发式算法。《机器学习研究杂志》,1122323-2360·Zbl 1242.68294号
[20] Pernkopf,F.和Wohlmayr,M.(2009年)。贝叶斯网络分类器的判别参数学习。在ECML PKDD中·Zbl 1295.68187号
[21] Ripley,B.D.(1996)。模式识别和神经网络。剑桥:剑桥大学出版社·Zbl 0853.62046号 ·doi:10.1017/CBO9780511812651
[22] Roos,T.、Wettig,H.、Grünwald,P.、Myllymäki,P.和Tirri,H.(2005)。判别贝叶斯网络分类器与逻辑回归。机器学习,59(3),267-296·Zbl 1101.68785号
[23] Rubinstein,Y.D.和Hastie,T.(1997)。区分性学习与信息性学习。在AAAI。
[24] Sahami,M.(1996年)。学习有限依赖贝叶斯分类器。第二届知识发现和数据挖掘国际会议论文集(第335-338页)·兹比尔1317.68199
[25] Su,J.、Zhang,H.、Ling,C.和Matwin,S.(2008)。贝叶斯网络的判别参数学习。在ICML中。
[26] Webb,G.I.(2000)。多重助推:一种结合助推和摆动的技术。机器学习,40(2),159-196·doi:10.1023/A:1007659514849
[27] Webb,G.I.、Boughton,J.、Zheng,F.、Ting,K.M.和Salem,H.(2012年)。通过从边缘到全多元概率分布的外推学习:逐渐朴素的贝叶斯分类。机器学习,86(2),233-272·Zbl 1238.68136号
[28] Zaidi,N.A.、Carman,M.J.、Cerquides,J.和Webb,G.I.(2014)。奈夫·巴耶斯(Naive-bayes)为加速逻辑回归提供了有效的预调节剂。在IEEE数据挖掘国际会议上·Zbl 1317.68199号
[29] Zaidi,N.A.、Cerquides,J.、Carman,M.J.和Webb,G.I.(2013)。通过属性加权缓解朴素贝叶斯属性独立性假设。《机器学习研究杂志》,1947-1988年,第14期·Zbl 1317.68199号
[30] Zaidi,N.A.、Petitjean,F.和Webb,G.I.(2016)。使用朴素贝叶斯对人工神经网络进行预处理。在第20届亚太知识发现和数据挖掘会议(PAKDD)的会议记录中。
[31] Zaidi,N.A.、Webb,G.I.、Carman,M.J.和Petitjean,F.(2015)。深度广泛学习——大数据的大模型。arXiv:1509.01346。
[32] Zhu,C.、Byrd,R.H.和Nocedal,J.(1997)。LBFGSB,用于大规模边界约束优化的Fortran例程。ACM数学软件汇刊,23(4),550-560·Zbl 0912.65057号 ·doi:10.1145/279232.279236
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。