罗伊·凯尔纳;波阿斯·勒纳 通过风险最小化学习贝叶斯网络分类器。 （英语） Zbl 1242.68230号 国际J近似推理 53，第2期，248-272（2012）. 摘要：贝叶斯网络（BNs）为编码一组变量之间的概率关系提供了强大的图形模型，因此可以自然地用于分类。然而，贝叶斯网络分类器（BNC）通常使用似然分数以普通方式学习，通常只会获得中等的分类精度，因为这些分数不太特定于分类，而是适合一般的推理问题。我们建议使用0/1损失函数通过交叉验证（RMCV）最小化风险，该损失函数是无限制BNC的一种面向分类的评分。RMCV是学习受限BNC和非BN分类器中常用的分类导向分数的扩展。使用小的实际问题和合成问题，考虑到学习所有可能的图形，我们实证证明了RMCV在分类准确性方面优于基于边缘和类条件的相似性分数。使用22个真实数据集进行的实验表明，使用基于RMCV的算法学习的BNC显著优于朴素贝叶斯分类器（NBC）、树增强NBC（TAN）和其他使用边缘或条件似然分数学习的BNCs，并且与非BN最先进的分类器（如支持向量机、，神经网络和分类树。这些实验还表明，RMCV的优化版本比所有无限制BNC都快，在运行时间方面与神经网络相当。我们的实验得出的主要结论是，在正确学习的情况下，无限制的BNC在准确性和效率方面都可以很好地替代限制的BNC和传统的机器学习分类器。 引用于4文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 2015年1月62日 贝叶斯推断 62小时30分 分类和区分；聚类分析（统计方面） 关键词：贝叶斯网络;分类;概率图形模型;结构学习 软件：MLC公司++;公关工具;BNT公司;伦敦银行支持向量机;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{R.Kelner}和\textit{B.Lerner}，《国际近似推理》53，第2期，248--272（2012；Zbl 1242.68230） 全文： DOI程序 参考文献： [1] Pearl，J.，《智能系统中的概率推理：合理推理网络》（1988），摩根考夫曼出版社。公司：Morgan Kaufmann Publishers。Inc.美国加利福尼亚州旧金山 [2] 库珀，G.F。；Herskovits，E.，从数据中归纳概率网络的贝叶斯方法，马赫。学习。，9, 4, 309-347 (1992) ·Zbl 0766.68109号 [3] D.Heckerman，《贝叶斯网络学习教程》，技术代表MSR-TR-95-06，微软研究院，1995年。；D.Heckerman，《贝叶斯网络学习教程》，技术代表MSR-TR-95-06，微软研究院，1995年·Zbl 0921.62029号 [4] 弗里德曼，N。；盖革，D。；Goldszmidt，M.，贝叶斯网络分类器，马赫。学习。，29，2-3131-163（1997年）·Zbl 0892.68077号 [5] P.Kontkanen，P.Myllymaki，T.Sliander，H.Tirri，《关于贝叶斯网络的监督选择》，载于：《第十五届人工智能不确定性国际会议论文集》（UAI-1999），摩根考夫曼出版社。Inc.，加利福尼亚州旧金山，美国，1999年，第334-342页。；P.Kontkanen，P.Myllymaki，T.Sliander，H.Tirri，《关于贝叶斯网络的监督选择》，载于：《第十五届人工智能不确定性国际会议论文集》（UAI-1999），摩根考夫曼出版社。Inc.，加利福尼亚州旧金山，美国，1999年，第334-342页。 [6] D.Grossman，P.Domingos，《通过最大化条件似然学习贝叶斯网络分类器》，载《第21届机器学习国际会议论文集》（ICML-2004），2004年，第361-368页。；D.Grossman，P.Domingos，《通过最大化条件似然学习贝叶斯网络分类器》，载《第21届机器学习国际会议论文集》（ICML-2004），2004年，第361-368页。 [7] 郭彦宏，R.格雷纳，信念网络结构的判别模型选择，载《第20届全国人工智能会议论文集》（AAAI-2005），2005年，第770-776页。；郭彦宏，R.格雷纳，信念网络结构的判别模型选择，载《第20届全国人工智能会议论文集》（AAAI-2005），2005年，第770-776页。 [8] 酸，S。；Campos，L。；Castellano，J.，《学习贝叶斯网络分类器：在部分有向非循环图空间中搜索》，Mach。学习。，59, 213-235 (2005) ·Zbl 1101.68710号 [9] Roos，T。；韦蒂格，H。；Grünwald，P。；Myllymäki，P。；Tirri，H.，《鉴别贝叶斯网络分类器和逻辑回归》，马赫。学习。，59, 3, 267-296 (2005) ·Zbl 1101.68785号 [10] 佩恩科普夫，F。；Bilmes，J.A.，《贝叶斯网络分类器区分结构学习的有效启发式》，J.Mach。学习。第112323-2360号决议（2010年）·Zbl 1242.68294号 [11] Drugan，M.M。；Wiering，M.A.，使用MDL-FS评分的贝叶斯网络分类器的特征选择，Int.J.Approximate Reas。，51, 6, 695-717 (2010) ·Zbl 1205.68286号 [12] 赫克曼，D。；盖革，D。；Chickering，D.M.，《学习贝叶斯网络：知识和统计数据的结合》，马赫出版社。学习。，20, 197-243 (1995) ·Zbl 0831.68096号 [13] A.Y.Ng，M.I.Jordan，《区分性分类器与生成性分类器：逻辑回归与朴素贝叶斯的比较》，载于《神经信息处理系统的进展》，麻省理工学院，1998年，第2卷，2001年，第841-848页。；A.Y.Ng，M.I.Jordan，《区分性分类器与生成性分类器：逻辑回归与朴素贝叶斯的比较》，载于《神经信息处理系统的进展》，麻省理工学院，1998年，第2卷，2001年，第841-848页。 [14] Jebara，T.，《机器学习：歧视性和生成性》（2004），Kluwer学术出版社：Kluwer-学术出版社，美国马萨诸塞州诺威尔·兹比尔1030.68073 [15] Bishop，C.M。；Lasserre，J.，生殖还是歧视？两全其美，（Bernardo，J.M.；Bayarri，M.J.；Berger，J.O.；Dawid，A.P.；Heckerman，D.；Smith，A.F.M.；West，M.，Bayesian Statistics，第8卷（2007），牛津大学出版社），3-24·Zbl 1252.62063号 [16] 佩恩科普夫，F。；Bilmes，J.，贝叶斯网络分类器的判别与生成参数和结构学习，（第22届机器学习国际会议论文集（ICML-2005）（2005），Springer:Springer New York，NY，USA），657-664 [17] R.Malka，贝叶斯网络分类器，硕士论文，Ben-Gurion大学，2005。；R.Malka，贝叶斯网络分类器，硕士论文，Ben-Gurion大学，2005年。 [18] Pernkopf，F.，贝叶斯网络分类器与选择性神经网络分类器，模式识别。，38, 1, 1-10 (2005) ·Zbl 1101.68826号 [19] Lauritzen，S.L。；Spiegelhalter，D.J.，《图形结构概率的局部计算及其在专家系统中的应用》，J.Roy。统计师。Soc.，Ser.公司。B、 50、157-224（1988）·Zbl 0684.68106号 [20] 林，W。；Bacchus，F.，《学习贝叶斯信念网络：基于MDL原理的方法》，计算。智力。，10, 3, 269-293 (1994) [21] Dawid，A.P.，《现状和潜在发展：一些个人观点》。统计理论。前一种方法，J.Roy。统计师。Soc.，Ser.公司。A、 147、2、278-292（1984）·Zbl 0557.62080号 [22] R.Kohavi，《精度估计和模型选择的交叉验证和引导研究》，载《第十四届国际人工智能联合会议论文集》（IJCAI-1995），1995年，第1137-1143页。；R.Kohavi，《精度估计和模型选择的交叉验证和引导研究》，载于《第十四届国际人工智能联合会议论文集》（IJCAI-1995），1995年，第1137-1143页。 [23] Vapnik，V.N.，《统计学习理论》（1998），John Wiley&Sons:John Willey&Sons New York·兹比尔0934.62009 [24] Cowell，R.，《贝叶斯网络推理导论》（Jordan，M.I.，《学习图形模型》（1999），麻省理工学院出版社：麻省剑桥麻省理学院出版社），9-26·Zbl 0948.62015.中 [25] P.Langley，W.Iba，K.Thompson，《贝叶斯分类器分析》，载《第十届全国人工智能会议论文集》（AAAI-1992），1992年，第223-228页。；P.Langley，W.Iba，K.Thompson，《贝叶斯分类器分析》，载《第十届全国人工智能会议论文集》（AAAI-1992），1992年，第223-228页。 [26] A.Frank，A.Asuncion，加州大学欧文分校信息与计算机科学学院UCI机器学习库<http://archive.ics.uci.edu/ml>; A.Frank，A.Asuncion，加州大学欧文分校信息与计算机科学学院UCI机器学习库<http://archive.ics.uci.edu/ml> [27] Kohavi，R。；约翰·G。；朗·R。；曼利，D。；Pfleger，K.，MLC++：C++中的机器学习库，（第六届人工智能工具国际会议论文集（TAI-1994）（1994），IEEE Compute。Soc.Press公司），740-743 [28] Murphy，K.，Matlab的Bayes网络工具箱，计算。科学。统计，33，331-350（2001） [29] P.Leray，O.Francois，BNT结构学习包：文档和实验，技术代表FRE CNRS 2645，PSI实验室，2004年。；P.Leray，O.Francois，BNT结构学习包：文档和实验，技术代表FRE CNRS 2645，PSI实验室，2004年。 [30] C.Chang，C.Lin，LIBSVM：支持向量机库<网址：http://www.csie.ntu.edu.tw/∼;cjlin/libsvm>；C.Chang，C.Lin，LIBSVM：支持向量机库<网址：http://www.csie.ntu.edu.tw/∼;cjlin/libsvm> [31] R.P.W.Duin、P.Juszczak、P.Paclik、E.Pekalska、D.de Ridder、D.M.J.Tax、S.Verzakov、PRTools4.1:模式识别的Matlab工具箱，代尔夫特理工大学，2007年。；R.P.W.Duin、P.Juszczak、P.Paclik、E.Pekalska、D.de Ridder、D.M.J.Tax、S.Verzakov、PRTools4.1:模式识别的Matlab工具箱，代尔夫特理工大学，2007年。 [32] Demšar，J.，多数据集上分类器的统计比较，J.Mach。学习。研究，7，1-30（2006）·Zbl 1222.68184号 [33] 罗宾逊，R.W.，《计算未标记的无环有向图》，（Little，C.H.C.，组合数学V.组合数学V，数学课堂讲稿，第622卷（1997），施普林格：施普林格柏林，海德堡），28-43·Zbl 0376.05031号 [34] 布雷曼，L。；弗里德曼，J。；斯通，C.J。；Olshen，R.H.，《分类和回归树》（1984），沃兹沃斯：加州沃兹沃思贝尔蒙特·Zbl 0541.62042号 [35] Bishop，C.M.，《模式识别的神经网络》（1995），牛津大学出版社：牛津大学出版社，英国 [36] 科尔特斯，C。；Vapnik，V.，支持向量网络，马赫。学习。，20, 273-297 (1995) ·Zbl 0831.68098号 [37] 勒纳，B。；Malka，R.，学习贝叶斯网络分类器中K2算法的研究，应用。工件。智力。，25, 74-96 (2011) [38] Bouckaert，R.R。；Frank，E.，《评估用于比较学习算法的显著性测试的可复制性》，（第八届亚太知识发现和数据挖掘进展会议论文集（PAKDD-2004）（2004），Springer），3-12 [39] E.J.Keogh、M.J.Pazzani，《学习增强贝叶斯分类器：基于分布和基于分类方法的比较》，载于：《第七届人工智能与统计国际研讨会论文集》（1999年），佛罗里达州劳德代尔堡，1999年，第225-230页。；E.J.Keogh、M.J.Pazzani，《学习增强贝叶斯分类器：基于分布和基于分类方法的比较》，载于：《第七届人工智能与统计国际研讨会论文集》（1999年），佛罗里达州劳德代尔堡，1999年，第225-230页。 [40] J.Cheng，R.Greiner，《比较贝叶斯网络分类器》，载《第15届人工智能不确定性会议论文集》（UAI-1999），摩根考夫曼出版社。Inc.，加利福尼亚州旧金山，美国，1999年，第101-108页。；J.Cheng，R.Greiner，《比较贝叶斯网络分类器》，载《第15届人工智能不确定性会议论文集》（UAI-1999），摩根考夫曼出版社。Inc.，加利福尼亚州旧金山，美国，1999年，第101-108页。 [41] Sierra，B。；Larrañaga，P.，使用遗传算法自动诱导的贝叶斯网络预测恶性皮肤黑素瘤的存活率——不同方法之间的经验比较，Artif。智力。医学，14，215-230（1998） [42] 凌，C.X。；Zhang，H.，走向准确概率的贝叶斯分类器，（第六届亚太知识发现和数据挖掘进展会议论文集（PAKDD-2002）（2002），Springer:Springer Verlag），123-134·Zbl 1048.68823号 [43] 兰利，P。；Sage，S.，《选择性贝叶斯分类器的归纳》，（第十届人工智能不确定性年会论文集（UAI-1994）（1994），摩根考夫曼出版社。公司：Morgan Kaufmann Publishers。美国加利福尼亚州旧金山），399-406 [44] M.Singh、G.M.Provan，《选择性贝叶斯网络分类器的有效学习》，载于：《第十三届机器学习国际会议论文集》（ICML-1996），摩根·考夫曼出版社。公司，加利福尼亚州旧金山，美国，1996年，第453-461页。；M.Singh、G.M.Provan，《选择性贝叶斯网络分类器的有效学习》，载于：《第十三届机器学习国际会议论文集》（ICML-1996），摩根·考夫曼出版社。公司，加利福尼亚州旧金山，美国，1996年，第453-461页。 [45] Kohavi，R。；John，G.H.，特征子集选择包装器，Artif。智力。，97, 1-2, 273-324 (1997) ·Zbl 0904.68143号 [46] C.Aliferis，I.Tsamardinos，A.Statnikov，HITON:一种用于最优变量选择的新型马尔可夫覆盖算法，载于：《美国医学信息学会年度研讨会论文集》（AMIA-2003），2003年，第21-25页。；C.Aliferis，I.Tsamardinos，A.Statnikov，HITON:一种用于最优变量选择的新型马尔可夫毯算法，载于：《美国医学信息学协会年度研讨会论文集》（AMIA-2003），2003年，第21-25页。 [47] 格雷纳，R。；周伟，逻辑回归的结构扩展：信念网络分类器的判别参数学习，马赫。学习。，59, 3, 297-322 (2005) ·Zbl 1101.68759号 [48] Madden，M.G.，《关于TAN和一般贝叶斯网络的分类性能》，Knowl-基于系统。，22, 7, 489-495 (2009) [49] Bilmes，J.，Dynamic Bayesian multinets，（《第16届人工智能不确定性会议论文集》（UAI-2000）（2000），Morgan Kaufman Publishers。公司：Morgan Kaufman Publishers。Inc.旧金山，加利福尼亚州，美国），38-45 [50] L.C.van der Gaag，P.R de Waal，多维贝叶斯网络分类器，载于：第三届欧洲概率图形模型研讨会论文集（PGM-2006），2006年，第107-114页。；L.C.van der Gaag，P.R.de Waal，多维贝叶斯网络分类器，收录于《概率图形模型第三届欧洲研讨会论文集》（PGM-2006），2006年，第107-114页。 [51] H.Borchani，C.Bielza，P.Larrañaga，学习CB-可分解多维贝叶斯网络分类器，收录于：第五届概率图形模型欧洲研讨会论文集（PGM-2010），2010年，第25-32页。；H.Borchani，C.Bielza，P.Larrañaga，学习CB-可分解多维贝叶斯网络分类器，收录于：第五届概率图形模型欧洲研讨会论文集（PGM-2010），2010年，第25-32页。 [52] 盖革，D。；Heckerman，D.，相似网络和贝叶斯多网中的知识表示和推理，Artif。智力。，82, 1-2, 45-74 (1996) ·Zbl 1517.68360号 [53] 梅拉，M。；Jordan，M.I.，《与树木混合学习》，J.Mach。学习。决议，1，1-48（2000）·兹比尔1052.68116 [54] K.Huang，I.King，M.R.Lyu，Bayesian Chow-Liu树多网络分类器的判别训练，载《国际神经网络联合会议论文集》（IJCNN-2003），第1卷，2003年，第484-488页。；K.Huang，I.King，M.R.Lyu，Bayesian Chow-Liu树多网络分类器的判别训练，载《国际神经网络联合会议论文集》（IJCNN-2003），第1卷，2003年，第484-488页。 [55] Gurwicz，Y。；Lerner，B.，Bayesian类匹配多网分类器，（Yeung，D.Y.；Kwok，J.T.；Fred，A.L.；Roli，F.；de Ridder，D.，SSPR/SPR.SPR，《计算机科学讲义》，第4109卷（2006），Springer），145-153 [56] Blum，A。；卡莱，A。；Langford，J.，《打破沉默：（K）折叠和渐进交叉验证的界限》，（第十二届计算学习理论年会论文集（COLT-1999）（1999），美国计算机学会出版社：美国纽约ACM出版社），203-208 [57] Jing，Y。；巴甫洛维奇，V。；Rehg，J.M.，增强贝叶斯网络分类器，马赫。学习。，73, 2, 155-184 (2008) ·Zbl 1470.68121号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。