×

基于差分进化的贝叶斯网络参数判别学习。 (英语) Zbl 1481.68039号

摘要:这项工作提出了差分进化(DE)来训练贝叶斯网络(BN)的参数,以优化条件对数似然(判别学习)而不是对数似然(生成学习)。任何给定的BN结构都会对属性之间条件独立性的假设进行编码,如果这些假设在数据中不成立,就会导致错误。这种错误包括分类维度。辨别学习的主要目标是将这种错误最小化。从这个意义上讲,尽管已经提出了BN判别参数学习算法,但就作者所知,尚未设计出元神经方法。因此,这是我们的主要贡献:提出这种解决方案并评估其行为,以便确定其在该领域的可行性。关于所提出的方法,总体中最佳解决方案提供的偏差提高了DE的性能。当引入突变和交叉参数的适应机制时,特别推荐基于JADE的DE变体,如L-SHADE和C-JADE,从而减少对其校准的依赖性。在计算上,推荐使用L-SHADE,而不是其他DE变体。DE方法基本上在所有标准情况下都能很好地工作,因此DE方法是健壮的,至少与被称为WANBIA的最先进的鉴别学习方法一样好,而且通常更好。我们的结果表明,在属性之间具有强独立性假设的判别参数学习具有潜在的好处,并且它通常比生成学习产生更准确的分类器。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H22个 概率图形模型
68T20型 人工智能背景下的问题解决(启发式、搜索策略等)

软件:

;4.5条;
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 弗里德曼,N。;盖革,D。;Goldszmidt,M.,贝叶斯网络分类器,马赫。学习。,29, 131-163 (1997) ·Zbl 0892.68077号
[2] 北卡罗来纳州扎伊迪。;韦伯,G。;卡曼,M。;佩蒂让,F。;W.邦廷。;海恩斯,M。;Sterck,H.,贝叶斯网络分类器的有效参数学习,马赫。学习。,106, 1289-1329 (2017) ·Zbl 1454.62183号
[3] 苏,J。;张,H。;Ling,C。;Matwin,S.,贝叶斯网络的判别参数学习,在Proc。第25届机器学习国际会议。ACM,1016-1023(2008)
[4] 价格,K。;Storn,R.,《通过差异进化最小化1996年冰上竞赛的实际功能》,摘自Proc。IEEE C.进化。计算。,842-844 (1996)
[5] Tarkhaneh,O。;Shen,H.,一种自适应差分进化算法,用于优化MRI脑图像分割的多级阈值,专家系统。申请。,138, 112820 (2019)
[6] 比拉尔;裤子,M。;Zaheer,H。;Garcia-Hernandez,L。;Abraham,A.,《差异进化:20多年研究综述》,英国应用科学院。Artif公司。整数。,90, 103479 (2020)
[7] Minsky,M.,走向人工智能的步骤,Proc。IRE,49,1,8-30(1961)
[8] Keogh,E.J。;Pazzani,M.J.,《学习增强贝叶斯分类器的结构》,国际期刊Artif。智力。工具,11,04,587-601(2002)
[9] 罗素,S。;Norvig,P.,《人工智能:现代方法》(2003),新泽西州恩格尔伍德克利夫斯市普伦蒂斯·霍尔出版社
[10] Scanagatta,M。;Salmerón,A。;Stella,F.,《从数据中学习贝叶斯网络结构的调查》,Prog。Artif公司。整数。,8, 425-439 (2019)
[11] Chow,C。;Liu,C.,用依赖树逼近离散概率分布,IEEE Trans。Inf.理论,1462-467(1968)·Zbl 0165.22305号
[12] Sundararajan,P。;Mengshoel,O.,《使用期望最大化在贝叶斯网络中学习参数的遗传算法》,Proc。第八届概率图形模型国际会议,511-522(2016)
[13] 格雷纳,R。;周伟,《逻辑回归的结构扩展:信念网络分类器的判别参数学习》,AAAI/IAAI,167-173(2002)
[14] 沈,B。;苏,X。;格雷纳,R。;Musilek,P。;Cheng,C.,一般贝叶斯网络分类器的判别参数学习,收录于Proc。《国际贸易公约》工具第296-305条(2003年)
[15] 格雷纳,R。;苏,X。;沈,B。;周伟,逻辑回归的结构扩展:信念网络分类器的判别参数学习,马赫。学习。,59, 297-322 (2005) ·Zbl 1101.68759号
[16] 格雷纳,R。;格罗夫,A.J。;Schuurmans,D.,学习表现良好的贝叶斯网络,第十三届人工智能不确定性会议论文集。《第十三届人工智能不确定性会议论文集》,UAI’97,198-207(1997),Morgan Kaufmann Publishers Inc.:Morgan Koufmann-Publishers Inc.美国加利福尼亚州旧金山
[17] 佩恩科普夫,F。;Wohlmayr,M.,《关于贝叶斯网络分类器的判别参数学习》,Proc。ECML PKDD,221-237(2009)
[18] 北卡罗来纳州扎伊迪。;Cerquides,J。;卡曼,M.J。;Webb,G.I.,通过属性权重缓解朴素贝叶斯属性独立性假设,J.Mach。学习。1947-1988年第14号决议(2013年)·Zbl 1317.68199号
[19] 张杰。;Sanderson,A.,Jade:具有可选外部存档的自适应差分进化,IEEE Trans。进化。计算。,13, 945-958 (2009)
[20] 梅祖拉·蒙特斯,E。;Velázquez-Reyes,J。;Coello,C.A.C.,《用于全局优化的差异进化变体的比较研究》,第八届遗传和进化计算年会论文集-GECCO’06,485-492(2006),ACM出版社
[21] Tanabe,R。;Fukunaga,A.,《使用线性种群规模缩减改进阴影搜索性能》,见Proc。IEEE C.进化。计算。,1658-1665 (2014)
[22] 高,S。;Yu,Y。;Wang,Y。;Wang,J。;Cheng,J。;Zhou,M.,用于优化的混沌局部搜索差分进化算法,IEEE系统、人与控制论事务:系统,1-14(2020)
[23] 库根,L。;Cios,K.,CAIM离散化算法,IEEE Trans。知识。数据工程,16,2,145-153(2004)
[24] Breiman,L.,《随机森林》,马赫。学习。,45, 1, 5-32 (2001) ·兹比尔1007.68152
[25] 里普利,B.D.,模式识别和神经网络(1996),剑桥大学出版社·Zbl 0853.62046号
[26] Quinlan,J.R.,《改进c4.5中连续属性的使用》,《人工智能研究杂志》,477-90(1996)·Zbl 0900.68112号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。