雅库布·M·托姆萨克。；马西耶·齐巴 分类规则的概率组合及其在医学诊断中的应用。 （英语） 兹比尔1343.62039 机器。学习。 101，编号1-3，105-135（2015）. 摘要：将机器学习应用于医学诊断需要面临两个主要问题，即学习可理解模型的必要性和处理数据不平衡现象的需要。第一个对应于实现可解释模型的问题，例如分类规则或决策树。第二个问题代表了这样一种情况，即一类患者（例如健康患者）的示例数量明显高于另一类患者的示例数量（例如生病患者）。倾向于不平衡数据的学习算法返回的模型偏向于多数类。在本文中，我们提出了一种概率组合软规则，这可以看作是分类规则的概率版本，通过引入新的潜在随机变量，称为连接特征.连接特征表示属性变量（特征）值的连接，我们假设对于给定的连接特征，对象及其标签（类）成为独立的随机变量。为了解决类间不平衡问题，我们提出了一种新的估计方法，它将数据不平衡性的知识引入到具有固定类标签的对象的初始概率超参数中。此外，我们还提出了一种方法，用于聚合在基于图形的结构中估计概率所需的足够统计信息，以加快计算速度。最后，我们进行了两个实验：（1）使用基准数据集，（2）使用医学数据集。对结果进行了讨论，并得出了结论。 引用于2文件 MSC公司： 62H30型 分类和区分；聚类分析（统计方面） 92 C50 医疗应用（通用） 关键词：概率组合；分类规则；不平衡数据；医学诊断 软件：UCI-毫升；SMOTE公司；4.5条；克里姆；阿达·布斯特。MH公司；JStatCom公司 PDF格式BibTeX公司 XML格式引用 \textit{J.M.Tomczak}和\textit{M.Ziȩba}，马赫。学习。101，编号1--3，105-135（2015；Zbl 1343.62039） 全文： 内政部 参考文献： [1] Alcalá，J.，Fernández，A.，Luengo，J..，Derrac，J，GarcíA，S.，Sánchez，L.等人（2010年）。KEEL数据挖掘软件工具：数据集存储库、算法集成和实验分析框架。多值逻辑和软计算杂志，17，255-287。 [2] Berzal，F.、Cubero，J.、Sánchez，D.和Serrano，J..（2004）。ART：一种混合分类模型。机器学习，54，67-92·Zbl 1075.68631号 ·doi:10.1023/B:MACH.0000008085.22487.a6 [3] Błaszczynski，J.、S \322»owiánski，R.和Szeląg，M.（2011）。可变一致性粗糙集方法的序列覆盖规则归纳算法。信息科学，181（5），987-102·doi:10.1016/j.ins.2010.1030 [4] Blinova，V.、Dobrynin，D.、Finn，V.，Kuznetsov，S.O.和Pankratova，E.（2003）。采用JSM方法进行毒理学分析。生物信息学，19（10），1201-1207·doi:10.1093/生物信息系统/btg096 [5] Braddil，P.B.、Soares，C.和Da Costa，J.P.（2003）。排名学习算法：在准确性和时间结果上使用IBL和元学习。机器学习，50（3），251-277·Zbl 1033.68082号 ·doi:10.1023/A：1021713901879 [6] Breiman，L.（1996）。装袋预测器。机器学习，24（2），123-140·Zbl 0858.68080号 [7] Brown，I.和Mues，C.（2012年）。不平衡信用评分数据集分类算法的实验比较。应用专家系统，39（3），3446-3453·doi:10.1016/j.eswa.2011.09.033 [8] Brzezinska，I.、Greco，S.和Slowinski，R.（2007）。挖掘关于支持和确认或支持和反支持的帕累托最优规则。人工智能的工程应用，20（5），587-600·doi:10.1016/j.engappai.2006.11.015 [9] Buntine，W.L.（1992）。学习分类规则的理论。悉尼科技大学博士论文。 [10] Cawley，G.C.（2006）。加权LS-SVM的基于Leave-on-out交叉验证的模型选择标准。神经网络国际联合会议（IJCNN'06）（第1661-1668页）。电气与电子工程师协会 [11] Ceglar，A.和Roddick，J.F.（2006年）。关联挖掘。ACM计算调查（CSUR），38（2），5·doi:10.1145/1132956.1132958 [12] Cerf，L.、Gay，D.、Selmaoui-Folcher，N.、Crémilleux，B.和Boulicaut，J.F.（2013）。多类不平衡数据集中的无参数分类。数据与知识工程，87，109-129·doi:10.1016/j.datak.2013.06.001 [13] Cestnik，B.（1990年）。估计概率：机器学习中的一项关键任务。ECAI（第147-149页）。 [14] Chawla，N.V.、Bowyer，K.W.、Hall，L.O.和Kegelmeyer，W.P.（2002）。SMOTE：合成少数过采样技术。《人工智能研究杂志》，16，321-357·兹比尔0994.68128 [15] Chen，Z.和Chen，G.（2008）。基于模糊关联规则构建关联分类器。国际计算智能系统杂志，1（3），262-273·doi:10.1080/187568981.2008.9727623 [16] Cohen，W.（1995）。快速有效的规则归纳。《机器学习：第十二届国际会议论文集》（第1-10页）。 [17] Cooper，G.F.和Herskovits，E.（1992年）。从数据中归纳概率网络的贝叶斯方法。机器学习，9（4），309-347·Zbl 0766.68109号 [18] Cortes，C.和Vapnik，V.（1995年）。支持向量网络。机器学习，20（3），273-297·Zbl 0831.68098号 [19] Daemen，A.和De Moor，B.（2009年）。临床数据核函数的开发。在医学和生物学会IEEE工程年度国际会议上（EMBC 2009）（第5913-5917页）。电气与电子工程师协会 [20] Damianou，A.、Ek，C.、Titsias，M.和Lawrence，N.（2012年）。歧管相关性确定。ICML（第145-152页）。 [21] Dembczyñski，K.，Kotłowski，W.，&S \322»owiánski，R.（2008）。最大似然规则集合。ICML（第224-231页）。ACM公司 [22] Demšar，J.（2006）。多个数据集上分类器的统计比较。机器学习研究杂志，7，1-30·Zbl 1222.68184号 [23] Domingos，P.（1997）。规则归纳中的贝叶斯模型平均。第六次人工智能和统计国际研讨会的初步文件（第157-164页）·Zbl 0850.68278号 [24] Domingos，P.（2000）。分类器的贝叶斯平均和过拟合问题。ICML（第223-230页）。 [25] Domingos，P.和Pazzani，M.（1997年）。简单贝叶斯分类器在零损失下的最优性。机器学习，29（2），103-130·Zbl 0892.68076号 ·doi:10.1023/A:1007413511361 [26] Díeroski，S.、Cestnik，B.和Petrovski，I.（1993）。在规则归纳中使用\[m\]m估计。《计算与信息技术杂志》，1（1），37-46。 [27] Ek，C.H.、Rihan，J.、Torr，P.H.、Rogez，G.和Lawrence，N.D.（2008年）。潜在空间中的模糊建模。多模态交互的机器学习（第62-73页）。施普林格 [28] Elkan，C.（2001）。成本敏感学习的基础。IJCAI（第17卷，第973-978页）。 [29] Fawcett，T.（2006）。ROC分析简介。模式识别字母，27（8），861-874·Zbl 1106.74031号 ·doi:10.1016/j.patrec.2005.10.010 [30] Fawcett，T.和Provost，F.（1997年）。自适应欺诈检测。数据挖掘和知识发现，1（3），291-316·doi:10.1023/A:1009700419189 [31] Fayyad，U.和Irani，K.（1993年）。用于分类学习的连续值属性的多间隔离散化。IJCAI（第1022-1029页）。 [32] Frank，A.和Asuncion，A.（2010年）。UCI机器学习库。网址：http://archive.ics.uci.edu/ml ·Zbl 0880.68103号 [33] Freund，Y.和Schapire，R.E.（1997）。在线学习的决策理论推广及其在助推中的应用。计算机与系统科学杂志，55（1），119-139·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [34] Fürnkranz，J.（1999）。分而治之的规则学习。《人工智能评论》，13（1），3-54·Zbl 0922.68030号 ·doi:10.1023/A:1006524209794 [35] Fürnkranz，J.和Flach，P.A.（2003）。规则评估指标分析。第20届机器学习国际会议论文集（ICML-03）（第202-209页）。 [36] Galar，M.、Fernández，A.、Barrenechea，E.、Bustince，H.和Herrera，F.（2012）。综述了解决阶级不平衡问题的群体：打包、增强和混合方法。IEEE系统、人与控制论汇刊，C部分：应用与评论，42（4），463-484·doi:10.1109/TSMCC.2011.2161285 [37] Gama，J.（2000）。成本敏感的迭代贝叶斯。在ICML中·Zbl 1055.68555号 [38] Hall，M.（1999）。用于机器学习的基于相关性的特征选择。怀卡托大学博士论文·Zbl 0850.68278号 [39] He，H.和Garcia，E.（2009）。从不平衡的数据中学习。IEEE知识与数据工程汇刊，21（9），1263-1284·doi:10.1109/TKDE.2008.239 [40] 霍尔特，R.（1993）。非常简单的分类规则在最常用的数据集上表现良好。机器学习，11，63-91·Zbl 0850.68278号 ·doi:10.1023/A:1022631118932 [41] Japkowicz，N.（2001年）。在阶级间和阶级内不平衡的情况下进行概念学习。《人工智能进展》（第67-77页）。施普林格·Zbl 0984.68643号 [42] Japkowicz，N.和Stephen，S.（2002年）。阶级失衡问题：一项系统研究。智能数据分析，6（5），429-449·兹比尔1085.68628 [43] Jaynes，E.T.（1968年）。先验概率。IEEE系统科学与控制论汇刊，4（3），227-241·Zbl 0181.21901号 ·doi:10.1109/TSSC.1968.300117 [44] Jeffreys，H.（1946年）。估计问题中先验概率的不变形式。伦敦皇家学会学报A辑，数学和物理科学，186（1007），453-461·Zbl 0063.03050号 ·doi:10.1098/rspa.1946.0056 [45] Kononenko，I.（1992年）。组合多个规则的决策。AIMSA（第87-96页）·Zbl 0892.68076号 [46] Kononenko，I.（2001年）。医学诊断的机器学习：历史、现状和展望。医学中的人工智能，23（1），89-109·doi:10.1016/S0933-3657（01）00077-X [47] Kotsiantis，S.（2007年）。监督机器学习：分类技术综述。Informatica，31，249-268·Zbl 1162.68552号 [48] Kubat，M.和Matwin，S.（1997年）。解决不平衡训练集的祸根：单面选择。ICML（第179-186页）。 [49] Kubat，M.、Holte，R.和Matwin，S.（1997）。当负面例子大量出现时学习。ECML（第146-153页）。 [50] 拉夫拉奇，N.（1999）。医学数据挖掘的选定技术。医学中的人工智能，16（1），3-23·doi:10.1016/S0933-3657（98）00062-1 [51] Liu，B.，Hsu，W.，&Ma，Y.（1998）。集成分类和关联规则挖掘。第四届知识发现和数据挖掘国际会议（KDD98）（第80-86页）·Zbl 1222.68184号 [52] Mac Namee，B.、Cunningham，P.、Byrne，S.和Corrigan，O.（2002年）。医疗决策支持中回归问题中训练数据的偏差问题。医学中的人工智能，24（1），51-70·doi:10.1016/S0933-3657（01）00092-6 [53] Mansoori，E.、Zolghadri，M.和Katebi，S.（2008）。SGERD：一种稳态遗传算法，用于从数据中提取模糊分类规则。IEEE模糊系统汇刊，16（4），1061-1071·doi:10.1109/TFUZZ.2008.915790 [54] Masnadi-Shirazi，H.和Vasconcelos，N.（2010年）。风险最小化、概率引出和成本敏感SVM。ICML（第204-213页）。 [55] Michalski，R.S.、Mozetic，I.、Hong，J.和Lavrac，N.（1986年）。多用途增量学习系统AQ15及其在三个医学领域的测试应用。《AAAI程序》（第1-41页）。 [56] Minka，T.P.（2000）。贝叶斯模型平均不是模型组合（第1-2页）。http://research.microsoft.com/en-us/um/people/minka/papers/minka-bma-isnt-mc [57] Mitchell，T.（1997）。机器学习。波士顿：麦格劳希尔·Zbl 0913.68167号 [58] Pawlak，Z.、Grzymala-Busse，J.、Slowinski，R.和Ziarko，W.（1995）。粗糙集。ACM通讯，38（11），88-95·doi:10.1145/219717.219791 [59] Pearson，R.、Goney，G.和Shwaber，J.（2003）。微阵列时间序列的非平衡聚类。在ICML中。 [60] Quinlan，J.R.（1993）。C4.5：机器学习程序。伯灵顿：摩根·考夫曼。 [61] Rückert，U.和Kramer，S.（2008）。基于Margin的一阶规则学习。机器学习，70（2-3），189-206·Zbl 1470.68166号 ·doi:10.1007/s10994-007-5034-6 [62] Shon，A.、Grochow，K.、Hertzmann，A.和Rao，R.P.（2005）。学习用于图像合成和机器人模仿的共享潜在结构。《神经信息处理系统进展》（第1233-1240页）。 [63] Stefanowski，J.（1998）。基于粗糙集的决策规则归纳方法。知识发现中的粗糙集，1（1），500-529·兹伯利0927.68094 [64] Stefanowski，J.和Wilk，S.（2006年）。处理不平衡数据的粗糙集：结合过滤和基于规则的分类器。《信息基础》，72（1），379-391·Zbl 1097.68605号 [65] Štrumbelj，E.、Bosnić，Z.、Kononenko，I.、Zakotnik，B.和GrašIčKuhar，C.（2010年）。预测模型的解释和可靠性：乳腺癌复发病例。知识与信息系统，24（2），305-324·doi:10.1007/s10115-009-0244-9 [66] Tenenbaum，J.和Griffiths，T.（2001）。泛化、相似性和贝叶斯推理。行为与脑科学，24（4），629-640。 [67] Tomczak，J.和Gonczarek，A.（2013年）。在糖尿病治疗环境发生变化的情况下，从数据流中提取决策规则。知识和信息系统，34521-546·doi:10.1007/s10115-012-0488-7 [68] Vamplew，P.、Dazeley，R.、Berry，A.、Issabekov，R.和Dekker，E.（2011年）。多目标强化学习算法的实证评价方法。机器学习，84（1-2），51-80·doi:10.1007/s10994-010-5232-5 [69] Viswanathan，M.和Webb，G.I.（1998年）。使用所有规则进行分类学习。机器学习：ECML-98（第149-159页）。 [70] Vorontsov，K.和Ivahnenko，A.（2011年）。阈值连接规则的紧组合泛化边界。模式识别和机器智能（第66-73页）。施普林格 [71] Vreeken，J.、Van Leeuwen，M.和Siebes，A.（2011年）。克里姆：挖掘压缩的项目集。数据挖掘和知识发现，23（1），169-214·Zbl 1235.68071号 ·doi:10.1007/s10618-010-0202-x [72] Wang，B.和Japkowicz，N.（2010年）。为不平衡数据集提升支持向量机。知识和信息系统，25（1），1-20·doi:10.1007/s10115-009-0198-y [73] Wolpert，D.H.（1992）。叠加概括。神经网络，5（2），241-259·doi:10.1016/S0893-6080（05）80023-1 [74] Zadrozny，B.和Elkan，C.（2001年）。从决策树和朴素贝叶斯分类器中获得校准的概率估计。ICML（第609-616页）。 [75] Zięba，M.、Tomczak，J.M.、Lubicz，M.和wiątek，J..（2014）。用于从不平衡数据中提取规则的增强支持向量机在肺癌患者术后预期寿命预测中的应用。应用软计算，1499-108·doi:10.1016/j.asoc.2013.07.016 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。