×

变分贝叶斯-高斯混合模型的MAP逼近及其应用。 (英语) Zbl 1398.68446号

摘要:变分推理的学习可以被广泛认为是首先估计类分配变量,然后用它来估计混合模型的参数。估计主要通过计算先前模型的期望值进行。然而,学习并不仅仅是期望。一些作者报告了其他可能的配置,这些配置使用不同的最大化组合或估计期望。例如,在期望期望(EE)算法下推广了变分推理。受此启发,另一种称为最大化最大化(MM)算法的变体最近被用于各种模型,如高斯混合、高斯混合场和基于稀疏编码的Fisher向量。尽管最近取得了成功,但MM并非没有问题。首先,很少有理论研究将MM与EE进行比较。其次,很少有人将MM的计算效率和准确性与EE进行对比。因此,很难说服MM的使用超过主流学习者,例如EE甚至吉布斯抽样。在这项工作中,我们在一个简单的贝叶斯GMM案例中重新审视了EE和MM的学习。我们还对MM和EE进行了理论比较,发现它们实际上获得了几乎相同的解。在实验中,我们进行了无监督分类,比较了MM和EE在两个数据集上的计算效率和准确性。我们还对两个数据集进行了无监督特征学习,并将贝叶斯方法(如MM)与其他最大似然方法进行了比较。

理学硕士:

68T05型 人工智能中的学习和自适应系统

软件:

PRMLT公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bdiri,T;布吉拉,N;Ziou,D,具有特征选择的无限广义倒置Dirichlet混合变量贝叶斯推断及其在聚类中的应用,应用智能,44507-525,(2016)·doi:10.1007/s10489-015-0714-6
[2] Bishop CM(2006)模式识别和机器学习。纽约州施普林格·Zbl 1107.68072号
[3] 布莱,DM;密歇根州约旦;等。,Dirichlet过程混合物的变分推断,贝叶斯分析,121-144,(2006)·兹比尔1331.62259 ·doi:10.1214/06-BA104
[4] 辛比斯,RG;韦贝克,J;Schmid,C,用于图像分类的非iid图像模型的近似Fisher核,IEEE Trans-Pattern Ana Mach Intell,38,1084-1098,(2016)·doi:10.1109/TPAMI.2015.2484342
[5] Cordunenu A,Bishop CM(2001),混合分布的变分贝叶斯模型选择。收录于:《人工智能与统计》,第2001卷。摩根·考夫曼,马萨诸塞州沃尔瑟姆,第27-34页
[6] 风扇,W;Bouguila,N,同时聚类和特征选择的广义Dirichlet分布的Dirichle过程的变分学习,模式识别,462754-2769,(2013)·Zbl 1323.68432号 ·doi:10.1016/j.patcog.2013.03.026
[7] 费菲,L;费格斯,右;Perona,P,《从少数训练示例中学习生成性视觉模型:在101个对象类别上测试的增量贝叶斯方法》,《计算视觉图像理解》,106,59-70,(2007)·doi:10.1016/j.cviu.2005.09.012
[8] 费尔南多,B;弗罗蒙特,E;缪斯莱特,D;Sebban,M,用于视觉词汇生成的高斯混合模型监督学习,模式识别,45897-907,(2012)·Zbl 1225.68176号 ·doi:10.1016/j.patcog.2011.07.021
[9] Kurihara,K;Welling,M,贝叶斯k-means作为最大化期望算法,神经计算,211145-1172,(2009)·Zbl 1178.68425号 ·doi:10.1162/neco.2008.12-06-421
[10] Lazebnik S,Schmid C,Ponce J(2006)《超越特征袋:识别自然场景类别的空间金字塔匹配》。摘自:2006年IEEE计算机学会计算机视觉和模式识别会议记录(CVPR'06),第2卷。IEEE,第2169-2178页
[11] Lian X-C,Li Z,Wang C,Lu B-L,Zhang L(2010)监督字典学习的概率模型。摘自:2010年IEEE计算机视觉和模式识别(CVPR)会议记录。IEEE,第2305-2312页
[12] Lim K-L,Wang H(2016)学习高斯混合场模型进行图像分类。摘自:2016年第14届控制、自动化、机器人和视觉国际会议(ICARCV)会议记录。IEEE,第1-5页
[13] Lim K-L,Wang H(2017),基于稀疏编码的Fisher向量,使用贝叶斯方法。IEEE信号处理。莱特。24(1):91
[14] Lim K-L,Wang H,Mou X(2016)使用最大化-最大化算法学习高斯混合模型用于图像分类。摘自:2016年IEEE第12届控制与自动化国际会议(ICCA)会议记录。IEEE,第887-891页
[15] Liu L,Shen C,Wang L,van den Hengel A,Wang C(2014)基于Fisher向量的稀疏编码编码高维局部特征。主题:神经信息处理系统的进展,第1143-1151页
[16] 麦凯DJC(2003)信息理论、推理和学习算法。剑桥大学出版社·Zbl 1055.94001号
[17] 马,Z;Leijon,A,带变分推理的贝叶斯混合模型估计,IEEE Trans-Pattern Ana Mach Intell,33,2160-2173,(2011)·doi:10.1109/TPAMI.2011.63
[18] Neal,RM,Dirichlet过程混合模型的马尔可夫链抽样方法,计算图统计杂志,9,249-265,(2000)
[19] Ozuysal M,Lepetit V,Fua P(2009),类别特定多视角物体定位的姿态估计。摘自:2009年IEEE计算机视觉和模式识别会议记录。CVPR 2009。IEEE,第778-785页
[20] 佩斯利,J;王,C;布莱,DM;Jordan,MI,Nested分层Dirichlet过程,IEEE Trans-Pattern Ana Mach Intell,37,256-270,(2015)·doi:10.1109/TPAMI.2014.2318728
[21] Teh YW、Jordan MI、Beal MJ、Blei DM(2004)《相关群体之间的共享集群:分层Dirichlet过程》。In:《神经信息处理系统的进展》,第1385-1392页
[22] Welling M,Kurihara K(2006)贝叶斯K-means作为最大化期望算法。摘自:2006年SIAM数据挖掘国际会议记录,第474-478页·Zbl 1178.68425号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。