×
林，Kart Leong;王，韩

使用最大化-最大化算法快速逼近变分Bayes-Dirichlet过程混合。 （英语） Zbl 1458.62129号

国际J近似推理 93, 153-177 (2018).
摘要：在贝叶斯非参数模型中，如Dirichlet过程混合（DPM），学习几乎只限于变分推理或Gibbs抽样。然而，由于计算量大，变分推理在DPM快速算法中很少成为主流。相反，大多数快速算法主要基于吉布斯采样概率的MAP估计。然而，他们通常面临棘手的后置问题，并且通常退化条件似然来克服效率低下。存在诸如随机变分推理之类的可伸缩变分推理，但这些工作依赖于相同的两步学习方法，其中涉及超参数和期望更新。这构成了经常与变分推理相关的高成本。受快速DPM算法的启发，我们提出使用可变后验概率的MAP估计来逼近期望。因此，学习可以在一个步骤中完成。然而，我们遇到了未定义的对数期望变分后验。我们通过使用下限来解决这个问题。当我们的簇分配也使用MAP估计时，我们有一个全局目标，称为最大化最大化算法。我们重新讨论了变分推理的概念，并观察到通过我们提出的方法获得的一些解析解与变分推理非常相似。最后，我们在一些UCI和实际数据集上比较了我们的变分推理快速方法和快速DPM算法。实验结果表明，我们提出的方法在聚类精度和模型选择方面取得了相当的效果，但收敛速度明显快于变分推理。

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
62G05型 非参数估计
62-08 统计问题的计算方法

关键词：

快速贝叶斯非参数;Dirichlet工艺混合物;高斯混合模型;变分贝叶斯;变分最大化最大化算法

软件：

PRMLT公司;AMIDST公司
PDF格式BibTeX公司 XML格式引用
\textit{K.-L.Lim}和\textit{H.Wang}，国际J.近似推理93，153--177（2018；Zbl 1458.62129）
全文： DOI程序

参考文献：

[1] Daumé，H.，快速搜索Dirichlet过程混合物模型，（AISTATS，第3244卷（2007）），3245
[2] Wang，L。；Dunson，D.B.，Dirichlet过程混合模型中的快速贝叶斯推断，J.Compute。图表。统计，20，1，196-216（2011）
[3] Dahl，D.B.，一类产品划分模型中的模态聚类，贝叶斯分析。，4, 2, 243-264 (2009) ·Zbl 1330.62248号
[4] 库利斯，B。；Jordan，M.I.，《通过贝叶斯非参数重新审视k-means:新算法》，（《第29届机器学习国际会议论文集》，第29届国际机器学习会议论文集，ICML-12（2012）），513-520
[5] 布罗德里克，T。；库利斯，B。；Jordan，M.，《疯狂贝叶斯：贝叶斯的基于地图的渐进推导》，（第30届国际机器学习会议论文集（2013）），226-234
[6] 雷科夫，Y.P。；布库瓦拉斯，A。；Little，M.A.，Dirichlet过程混合物的简单近似映射推断，电子。J.Stat.，10，2，3548-3578（2016）·Zbl 1357.62227号
[7] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.W.，《随机变分推断》，J.Mach。学习。研究，14，1，1303-1347（2013）·Zbl 1317.68163号
[8] 王，C。；Blei，D.M.，贝叶斯非参数模型的无截断在线变分推理，（神经信息处理系统进展（2012）），413-421
[9] M.C.休斯。；Sudderth，E.，Dirichlet过程混合模型的记忆在线变分推理，（神经信息处理系统进展（2013）），1133-1141
[10] Chatzis，S.P.，空间约束数据聚类的马尔可夫随机场调节Pitman-Yor过程，模式识别。，46, 6, 1595-1603 (2013) ·Zbl 1264.62091号
[11] 佩斯利，J。；王，C。；布莱，D.M。；Jordan，M.I.，嵌套分层Dirichlet过程，IEEE Trans。模式分析。机器。智力。，37, 2, 256-270 (2015)
[12] Haines，T.S。；Xiang，T.，Dirichlet过程混合模型的背景减法，IEEE Trans。模式分析。机器。智力。，36, 4, 670-683 (2014)
[13] 马，Z。；Leijon，A.，带变分推理的贝叶斯混合模型估计，IEEE Trans。模式分析。机器。智力。，33, 11, 2160-2173 (2011)
[14] 马，Z。；拉纳，P.K。；Taghia，J。；弗利尔，M。；Leijon，A.，带变分推理的Dirichlet混合模型的贝叶斯估计，模式识别。，47, 9, 3143-3157 (2014) ·Zbl 1342.62034号
[15] 风扇，W。；布吉拉，北卡罗来纳州。；Ziou，D.，有限Dirichlet混合模型和应用的变分学习，IEEE Trans。神经网络。学习。系统。，23, 5, 762-774 (2012)
[16] 风扇，W。；Bouguila，N.，同时聚类和特征选择的广义Dirichlet分布的Dirichle过程的变分学习，模式识别。，46, 10, 2754-2769 (2013) ·Zbl 1323.68432号
[17] Bishop，C.M.，模式识别和机器学习（2006），Springer·Zbl 1107.68072号
[18] 布莱，医学博士。；Jordan，M.I.，狄利克雷过程混合物的变分推理，贝叶斯分析。，1, 1, 121-144 (2006) ·Zbl 1331.62259号
[19] Heinzl，F。；Tutz，G.，使用em算法在具有近似Dirichlet过程混合物的线性混合模型中进行聚类，统计模型。，13, 1, 41-67 (2013) ·Zbl 07257449号
[20] Heinzl，F。；Tutz，G.，具有近似Dirichlet过程混合物的加性混合模型：em方法，统计计算。，26, 1-2, 73-92 (2016) ·Zbl 1342.62106号
[21] Lim，K.-L。；Wang，H.，使用贝叶斯方法的基于稀疏编码的fisher向量，IEEE信号处理。莱特。，24, 1, 91 (2017)
[22] Lim，K.-L。；Wang，H.，变分贝叶斯-高斯混合模型的映射逼近及其应用，软计算。，1-13 (2017)
[23] Sethuraman，J.，《Dirichlet priors的建设性定义》，Stat.Sin。，639-650 (1994) ·Zbl 0823.62007号
[24] Jara，A.，《Dirichlet过程和相关模型的理论和计算：概述》，《国际期刊近似原因》。，81, 128-146 (2017) ·Zbl 1406.62029号
[25] 辛比斯，R.G。；Verbeek，J。；Schmid，C.，用于图像分类的非iid图像模型的近似fisher核，IEEE Trans。模式分析。机器。智力。，38, 6, 1084-1098 (2016)
[26] Bdiri，T。；布吉拉，北卡罗来纳州。；Ziou，D.，带特征选择的无限广义倒置Dirichlet混合变量贝叶斯推理及其在聚类中的应用，应用。智力。，44, 3, 507-525 (2016)
[27] Murphy，K.P.，高斯分布的共轭贝叶斯分析（2007）
[28] 刘，L。；沈，C。；Wang，L。；van den Hengel，A。；Wang，C.，利用基于稀疏编码的fisher向量编码高维局部特征，（神经信息处理系统进展（2014）），1143-1151
[29] 尼尔森，F。；Garcia，V.，《统计指数族：闪存卡摘要》
[30] 尼尔·R·M。；Hinton，G.E.，证明增量、稀疏和其他变体的em算法的观点，（图形模型学习（1998），Springer），355-368·Zbl 0916.62019号
[31] Titterington，D.M.，EM算法，混合物的变分近似和期望传播，（混合物：估计和应用（2011），John Wiley&Sons，Ltd.），1-29
[32] Kurihara，K。；Welling，M.，贝叶斯k-means作为最大化期望算法，神经计算。，21, 4, 1145-1172 (2009) ·Zbl 1178.68425号
[33] 马，Z。；Teschendorff，A.E。；Leijon，A。；乔，Y。；张，H。；Guo，J.，有界支持数据的变分贝叶斯矩阵分解，IEEE Trans。模式分析。机器。智力。，37, 4, 876-889 (2015)
[34] 朱，J。；Ge，Z。；Song，Z.，非高斯工业过程中软测量关键变量的变分贝叶斯-高斯混合回归，IEEE Trans。控制系统。技术。，25, 3, 1092-1099 (2017)
[35] 亨斯曼，J。；托盘，M。；劳伦斯，N.D.，结构化时间序列的快速非参数聚类，IEEE Trans。模式分析。机器。智力。，37, 2, 383-393 (2015)
[36] Ormoneit，D。；Tresp，V.，使用贝叶斯惩罚项和网络平均的改进高斯混合密度估计，（NIPS’95（1995）），542-548
[37] Kurihara，K。；韦林，M。；Teh，Y.W.，坍缩变分Dirichlet过程混合模型，（IJCAI’07（2007）），2796-2801
[38] Masegosa，A.R。；马丁内斯，A.M。；Langseth，H。；尼尔森，T.D。；Salmerón，A。；拉莫斯·洛佩斯，D。；Madsen，A.L.，使用分布式计算集群放大贝叶斯变分推理，国际期刊近似推理。，88, 435-451 (2017) ·Zbl 1420.68171号
[39] 佩利格，D。；Moore，A.W.，《X-means:扩展k-means并有效估计簇数》（ICML，第1卷（2000））
[40] Lim，K.W。；W.邦廷。；陈，C。；Du，L.，用分层Pitman-Yor过程进行非参数贝叶斯主题建模，国际期刊近似推理。，78, 172-191 (2016) ·Zbl 06639853号
[41] 科迪努努，A。；Bishop，C.M.，《混合分布的变分贝叶斯模型选择》，（《人工智能与统计》，第2001卷（2001年），Morgan Kaufmann:Morgan Koufmann Waltham，MA），27-34
[42] 布朗，M.S。；佩洛西，M.J。；Dirska，H.，道琼斯指数股票财务预测的动态半径物种保护遗传算法，（模式识别中的机器学习和数据挖掘（2013），Springer），27-41
[43] 周，F。；克莱尔，Q。；King，R.D.，《预测音乐的地理起源》，（IEEE国际数据挖掘会议。IEEE国际数据挖掘会议，ICDM 2014（2014），IEEE），1115-1120
[44] Alimoglu，F。；Alpaydin，E。；Denizhan，Y.，《组合多分类器进行笔式手写数字识别》（1996），Citeser
[45] 弗雷，P.W。；Slate，D.J.，使用荷兰式自适应分类器的字母识别，Mach。学习。，6, 2, 161-182 (1991)
[46] 格拉芙，F。；Kriegel，H.-P。；舒伯特，M。；Pölsterl，S。；Cavallaro，A.，使用径向图像描述符在ct图像中进行二维图像配准，（《医学图像计算和计算机辅助干预》，医学图像计算与计算机辅助干预，MICCAI 2011（2011），Springer），607-614
[47] Ozuysal，M。；Lepetit，V。；Fua，P.，类别特定多视图对象定位的姿态估计，（IEEE计算机视觉和模式识别会议。IEEE计算机图像和模式识别大会，CVPR 2009（2009），IEEE），778-785
[48] 费菲，L。；弗格斯，R。；Perona，P.，《从少数训练示例中学习生成性视觉模型：在101个对象类别上测试的增量贝叶斯方法》，计算。视觉。图像理解。，106, 1, 59-70 (2007)
[49] 拉泽布尼克，S。；施密德，C。；Ponce，J.，Beyond bags of features:spatial pyramid matching for recognize natural scene categories，（2006年IEEE计算机学会计算机视觉和模式识别会议，第2卷（2006），IEEE），2169-2178
[50] Lee，H。；Battle，A。；雷纳·R。；Ng，A.Y.，高效稀疏编码算法，（神经信息处理系统进展（2006）），801-808
[51] Neal，R.M.，Dirichlet过程混合模型的马尔可夫链抽样方法，J.Compute。图表。统计，9，2，249-265（2000）
[52] 韦林，M。；Kurihara，K.，作为最大化期望算法的贝叶斯K均值，（SDM（2006），SIAM），474-478
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。