×
Dan Halbersberg；梅丹·维恩勒布；博厄斯·勒纳

贝叶斯网络分类器结构学习的准确性和信息联合最大化。 （英语） Zbl 1496.68274号

机器。学习。 109，第5期，1039-1099（2020）.
摘要：尽管最近的研究表明，贝叶斯网络分类器（BNC）能够最大化分类精度（即最小化0/1损失函数），是知识表示和分类的有力工具，但该分类器：（1）关注大多数类，因此将少数类错误分类；（2） 通常对错误分类的分布缺乏信息；和（3）对错误严重性不敏感（不区分错误分类类型）。在本研究中，我们建议使用一种信息度量（IM）来了解BNC的结构，该信息度量可以联合最大化分类精度和信息，从理论上激励该度量，并与使用不同数据集的六种常用度量进行比较评估。使用合成的混淆矩阵、23个人工数据集、17个UCI数据集和不同的性能度量，我们表明基于IM的BNC优于使用其他度量学习的BNC，尤其是在有序分类方面（考虑错误严重性很重要）和/或不平衡问题（这是最现实的分类问题）&在准确性和提供的信息量方面，它没有落后于最先进的分类器。为了进一步证明其能力，我们测试了基于IM的BNC预测年轻驾驶人摩托车事故的严重性和ALS患者的疾病状态（两类不平衡有序分类问题），并表明基于IM，BNC也适用于少数群体（致命事故和严重患者）不仅是针对大多数类别（轻度事故和轻度患者），还有其他分类器，提供了更丰富和实用的分类结果。根据我们在这里报告的许多实验，我们预计这些优点对于其他问题也会存在，在这些问题中，无论分类器是否为BNC，准确度和信息都应该最大化，数据不平衡，和/或问题是有序的。我们的代码、数据集和结果是公开的网址：http://www.ee.bgu.ac.il/~boaz/软件.

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H22个 概率图形模型
62H30型 分类和区分；聚类分析（统计方面）

关键词：

0/1损失函数；贝叶斯网络分类器；阶级不平衡；信息度量；顺序分类；结构学习

软件：

伦敦银行支持向量机；UCI-毫升；公关工具；BNT公司；Matlab公司；截止2001年；扩展_rmcv。米；SMOTE公司
PDF格式BibTeX公司 XML格式引用
\textit{D.Halbersberg}等人，马赫。学习。109，第5号，1039--1099（2020；Zbl 1496.68274）
全文： 内政部

参考文献：

[1] Agresti，A.，分类数据分析简介（2011），柏林：施普林格出版社，柏林
[2] Baccianella，S.、Esuli，A.和Sebastiani，F.（2009年）。序数回归的评价方法。第九届智能系统设计和应用国际会议论文集（第283-287页）。电气与电子工程师协会。
[3] 巴尔迪，P。；布鲁纳克，S。；乔文，Y。；加利福尼亚州安达信；Nielsen，H.，《评估分类预测算法的准确性：概述》，生物信息学，16，5，412-424（2000）
[4] 布雷曼，L。；弗里德曼，J。；斯通，CJ；Olshen，RA，分类和回归树（1984），博卡拉顿：CRC出版社，博卡拉顿·Zbl 0541.62042号
[5] Brodersen，K.H.、Ong，C.S.、Stephan，K.E.和Buhmann，J.M.（2010年）。平衡精度及其后验分布。《第20届模式识别国际会议论文集》（第3121-3124页）。电气与电子工程师协会。
[6] 布鲁克斯，BR；桑杰克，M。；Ringel，S。；英国，J。；Brinkmann，J。；佩斯特朗克，A。；Cedarbaum，JM，《肌萎缩侧索硬化症患者日常生活活动的肌萎缩侧索性功能评定量表》，《神经病学文献》，53，2，141-147（1996）
[7] 卡巴列罗，JCF；福建马丁内斯；埃尔瓦斯，C。；Gutiérrez，PA，使用模因帕累托进化神经网络解决多类问题的敏感性与准确性，IEEE神经网络汇刊，21，5，750-770（2010）
[8] Chang，C.C.和Lin，C.J.（2011）。LIBSVM：支持向量机库。ACM智能系统与技术汇刊，2（3）:27，网址：http://www.csie.ntu.edu.tw/cjlin/libsvm
[9] 查拉，N。；鲍耶，K。；霍尔，L。；Kegelmeyer，W.，SMOTE:合成少数人过采样技术，《人工智能研究杂志》，16，321-357（2002）·兹比尔0994.68128
[10] Chawla，N.V.（2005）。不平衡数据集的数据挖掘：概述。在《数据挖掘和知识发现手册》（第853-867页）中。
[11] 库珀，GF；Herskovits，E.，从数据中归纳概率网络的贝叶斯方法，机器学习，9，4，309-347（1992）·Zbl 0766.68109号
[12] 盖子，TM；JA Thomas，《信息理论的要素》（2012），纽约：威利出版社，纽约
[13] Demšar，J.，多数据集上分类器的统计比较，机器学习研究杂志，7，1-30（2006）·Zbl 1222.68184号
[14] 多明戈斯，P.（1999）。Metacost：使分类器具有成本敏感性的通用方法。第五届知识发现和数据挖掘国际会议论文集（KDD’99）（第155-164页）。
[15] Duin，R.、Juszczak，P.、Paclik，P..、Pekalska，E.、Ridder，D.D.、Tax，D.M.J.和Verzakov，S.（2000）。PRTools：用于模式识别的Matlab工具箱。版本3，http://www.prtools.org
[16] Elkan，C.，《成本敏感学习的基础》，第十七届国际人工智能联合会议论文集，17，973-978（2001）
[17] Fawcett，T.，ROC分析简介，模式识别快报，27，8，861-874（2006）
[18] 费里，C。；Hernández-Orallo，H。；Modroiu，R.，《分类性能度量的实验比较》，《模式识别快报》，30，1，27-38（2009）
[19] Frank，E.和Hall，M.（2001）。序数分类的简单方法。第12届欧洲机器学习会议记录（第145-156页）。斯普林格·Zbl 1007.68529号
[20] 弗里德曼，N。；盖革，D。；Goldszmidt，M.，贝叶斯网络分类器，机器学习，29，2-3，131-163（1997）·Zbl 0892.68077号
[21] 加拉尔，M。；A Fernandez，EB；Bustince，H。；Herrera，F.，《阶级不平衡问题的集合综述：打包、提升和混合方法》，IEEE系统、人和控制论汇刊：第C部分——应用和评论，42，4，463-484（2012）
[22] 南卡罗来纳州加西亚。；费尔南德斯，A。；Luengo，J。；Herrera，F.，《基于基因的机器学习的统计技术和性能度量研究：准确性和可解释性》，软计算，13，10，959-977（2009）
[23] García，V.、Mollineda，R.a.和Sanchez，J.S.（2010年）。不平衡数据性能度量的理论分析。《第20届模式识别国际会议论文集》（第617-620页）。电气与电子工程师协会。
[24] 盖革，D。；Heckerman，D.，通过全局和局部参数独立性描述Dirichlet分布，《统计年鉴》，25，3，1344-1369（1997）·Zbl 0885.62009号
[25] J.戈登。；Lerner，B.，从机器学习的角度对ALS的见解，《临床医学杂志》，8，101578（2019）
[26] Gorodkin，J.，通过k类相关系数比较两个k类分配，计算生物学和化学，28，5，367-374（2004）·Zbl 1088.92017年
[27] Grossman，D.和Domingos，P.（2004）。通过最大化条件似然学习贝叶斯网络分类器。第二十一届机器学习国际会议论文集（第361-368页）。ACM公司。
[28] Halbersberg，D.和Lerner，B.（2016年）。通过联合最大化准确性和信息来学习贝叶斯网络分类器。第22届欧洲人工智能会议记录（第1638-1639页）。IOS出版社。
[29] Halbersberg，D。；Lerner，B.，通过联合最大限度地提高准确性和信息来进行年轻驾驶员致命摩托车事故分析，事故分析和预防，129350-361（2019）
[30] 手，DJ；Till，RJ，多类分类问题ROC曲线下面积的简单概括，机器学习，45，2，171-186（2001）·Zbl 1007.68180号
[31] Heckerman，D.（1998）。贝叶斯网络学习教程。图形模型学习（第301-354页）。斯普林格·Zbl 0921.62029号
[32] 赫克曼博士。；盖革，D。；Chickering，D.，《学习贝叶斯网络：知识和统计数据的结合》，机器学习，20197-243（1995）·兹比尔08316.8096
[33] RJ Hyndman；Koehler，AB，《预测准确性的另一种衡量方法》，《国际预测杂志》，22，4，679-688（2006）
[34] Ide，J.S.和Cozman，F.G.（2002年）。贝叶斯网络的随机生成。《人工智能进展》（第366-376页）。斯普林格·Zbl 1031.68561号
[35] 朱尔曼，G。；里卡多纳，S。；Furlanello，C.，多类预测中MCC和CEN误差测量的比较，PLoS ONE，7，8，e41882（2012）
[36] Kelner，R。；Lerner，B.，《通过风险最小化学习贝叶斯网络分类器》，《国际近似推理杂志》，第53、2、248-272页（2012年）·Zbl 1242.68230号
[37] Kiernan，M。；Vucic，S。；谢，B。；特纳，M。；艾森，A.，《肌萎缩侧索硬化》，《柳叶刀》，377942-955（2011）
[38] Kontkanen，P.、Myllymäki，P.，Silander，T.和Tirri，H.（1999）。关于贝叶斯网络的监督选择。《第十五届人工智能不确定性会议论文集》（第334-342页）。摩根考夫曼出版公司·兹比尔1088.68726
[39] Labatut，V.和Cherifi，H.（2011）。分类器比较的准确性度量。第五届国际信息技术会议论文集。
[40] Lam，W。；Bacchus，F.，《学习贝叶斯信念网络：基于MDL原理的方法》，计算智能，10，3，269-293（1994）
[41] Leray，P.和Francois，O.（2004年）。BNT结构学习包：文档和实验。技术代表：PSI实验室。
[42] 勒纳，B。；Yeshaya，J。；Koushnir，L.，《关于小型不平衡细胞遗传学图像数据库的分类》，IEEE计算生物学和生物信息学汇刊，4，2204-215（2007）
[43] Lichman，M.（2013）。UCI机器学习库。网址：http://archive.ics.uci.edu/ml
[44] 刘，XY；吴杰。；Zhou，ZH，针对班级平衡学习的探索性欠采样，IEEE系统、人与控制论汇刊：B部分-控制论，39，2，539-550（2009）
[45] 米切尔，D。；Borasio，G.，肌萎缩侧索硬化，《柳叶刀》，33，51-59（2007）
[46] Murphy，K.，Matlab的贝叶斯网络工具箱，计算科学与统计，33，21024-1034（2001）
[47] 经合组织。(2006). 年轻司机：通往安全之路。经济合作与发展组织。
[48] Piccareta，R.，有序变量的分类树，计算统计学，23，20，407-427（2008）·Zbl 1223.62106号
[49] Provost，F.（2000）。从不平衡数据集进行机器学习。《AAAI非平衡数据集研讨会论文集》（第1-3页）。
[50] FJ Provost；福塞特，T。；Kohavi，R.，《反对比较归纳算法的精度估计案例》，《第十五届机器学习国际会议论文集》，98，445-453（1998）
[51] Ranawana，R.和Palade，V.（2006年）。优化精度——一种新的分类器性能评估方法。IEEE进化计算大会（第2254-2261页）。电气与电子工程师协会·Zbl 1098.68690号
[52] 索科洛娃，M。；Lapalme，G.，《分类任务绩效指标的系统分析，信息处理和管理》，45，4，427-437（2009）
[53] 铃木，M.，指数算子的分形分解及其在多体理论和蒙特卡罗模拟中的应用，《物理学快报A》，146，6，319-323（1990）
[54] 托莱多，T。；Lotan，T。；Taubman-Ben-Ari，O。；Grimberg，E.，《以色列提高年轻驾驶人安全计划的评估》，《事故分析与预防》，45，705-710（2012）
[55] 华莱士，CS；博尔顿，DM，《分类的信息度量》，《计算机杂志》，11，2，185-194（1968）·兹比尔0164.46208
[56] Wasikowski，M。；Chen，XW，使用特征选择解决小样本类不平衡问题，IEEE知识与数据工程学报，22，10，1388-1400（2010）
[57] 魏，吉咪；袁，XJ；胡，QH；Wang，SQ，评估分类器的新方法，应用专家系统，37，5，3799-3809（2010）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。