克里斯托夫·杜佩;弗朗西斯·巴赫 基于局部Gibbs抽样的隐变量模型的在线精确推理。 (英语) Zbl 1442.62046号 J.马赫。学习。物件。 18(2017-2018),第126号论文,45页(2017). 小结:我们研究了大规模潜在变量模型中的参数推断。我们首先提出了一种统一的处理方法,用于从非标准指数族中对潜在变量模型进行在线推理,并在之前提出的几种频率学家或贝叶斯方法之间建立了明确的联系。然后,我们提出了一种新的参数频率估计推理方法,该方法将MCMC方法应用于隐变量模型的在线推理,并适当使用局部Gibbs采样。然后,对于潜在Dirichlet分配,我们提供了一组广泛的实验,并与现有工作进行了比较,其中我们的新方法优于所有先前提出的方法。特别是,就测试对数似然而言,使用Gibbs抽样进行潜在变量推断优于变分推断。此外,通过变分方法进行的贝叶斯推理表现不佳,有时会导致与高维潜在变量的拟合较差。 引用于2文件 MSC公司: 10层62层 点估计 60J22型 马尔可夫链中的计算方法 2015年1月62日 贝叶斯推断 62L20型 随机近似 68周27 在线算法;流式算法 关键词:潜在变量模型;在线学习;吉布斯采样;主题建模;隐含狄利克雷分布 软件:NLTK公司;PRMLT公司;PMTK公司;蟒蛇;SNAP(快照);固定点算法;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{C.Dupuy}和\textit{F.巴赫},J.马赫。学习。第18号决议,第126号论文,45页(2017年;Zbl 1442.62046) 全文: arXiv公司 链接 参考文献: [1] F.巴赫和E.莫里斯。收敛速度为O(1/n)的非强凸光滑随机逼近。高级NIPS,2013年。 [2] S.Bird、E.Klein和E.Loper。使用Python进行自然语言处理。O'Reilly Media,Inc.,2009年·Zbl 1187.68630号 [3] C.主教。模式识别和机器学习。斯普林格,2006年·Zbl 1107.68072号 [4] D.Blei、A.Ng和M.Jordan。潜在Dirichlet分配。机器学习研究杂志,3:993-10222003·Zbl 1112.68379号 [5] L.博图。在线学习和随机近似。神经网络在线学习,17:91998·Zbl 0968.68127号 [6] T.Broderick、N.Boyd、A.Wibisono、A.Wilson和M.Jordan。流式变分贝叶斯。2013 [7] O.Capp´e和e.Moulines。潜在数据模型的在线EM算法。《皇家统计学会杂志》,71(3):593-6132009年·Zbl 1250.62015年 [8] O.Capp´e、e.Moulines和T.Ryden。隐马尔可夫模型中的推断(统计学中的斯普林格级数)。斯普林格,2005年·Zbl 1080.62065号 [9] G.Casella和E.George,吉布斯采样器的解释。美国统计学家,46(3):167-1741992。 [10] J.Chang、S.Gerrish、C.Wang、J.Boyd-Graber和D.Blei。阅读茶叶:人类如何解释主题模型。2009 [11] B.Delyon、M.Lavielle和E.Moulines。EM算法的随机近似版本的收敛性。《统计年鉴》,27(1):94-1281999·Zbl 0932.62094号 [12] A.Dempster、N.Laird和D.Rubin。通过EM算法从不完整数据中获得最大似然。皇家统计学会杂志。B系列(方法论),39(1):1-381977·Zbl 0364.62022号 [13] Q.Diao、M.Qiu、C.-Y.Wu、A.J.Smola、J.Jiang和C.Wang。为电影推荐联合建模方面、评级和情感(JMARS)。程序中。ACM SIGKDD,2014年。 [14] Y.Gao、J.Chen和J.Zhu。LDA模型的流吉布斯采样。arXiv预打印arXiv:1601.01142,2016。 [15] T.Griffiths和M.Steyvers。寻找科学主题。《国家科学院院刊》,101(增刊1):5228-52352004年。 [16] K.黑斯廷斯。使用马尔可夫链的蒙特卡罗抽样方法及其应用。《生物统计学》,57(1):97-1091970年·Zbl 0219.65008号 [17] M.霍夫曼和D.布莱。结构化随机变分推理。程序中。AISTATS,2015年。 [18] M.霍夫曼、D.布莱和F.巴赫。在线学习潜在Dirichlet分配。二千零一十点四三 [19] M.Hoffman、D.Blei、C.Wang和J.Paisley。随机变分推理。机器学习研究杂志,14(1):1303-13472013·Zbl 1317.68163号 [20] A.Hyv¨arinen、J.Karhunen和E.Oja。独立成分分析,第46卷。John Wiley&Sons,2004年。 [21] N.Kantas、A.Doucet、S.Singh、J.Maciejowski和N.Chopin。状态空间模型参数估计的粒子方法。统计科学,30(3):328-3512015·Zbl 1332.62096号 [22] D.Koller和N.Friedman。概率图形模型:原理和技术。麻省理工学院出版社,2009年·Zbl 1183.68483号 [23] H.Kushner和G.Yin。随机逼近和递归算法及其应用。Springer-Verlag,第二版,2003年·Zbl 1026.62084号 [24] E.莱曼和G.卡塞拉。点估计理论,第31卷。施普林格科学与商业媒体,1998年·Zbl 0916.62017号 [25] J.Leskovec和A.Krevl。SNAP数据集:斯坦福大学大型网络数据集收集。http://snap.stanford.edu/data,2014年6月。 [26] P.Liang和D.Klein。无监督模型的在线EM。程序中。NAACL HLT,2009年。 [27] M.利奇曼。UCI机器学习库,2013年。统一资源定位地址http://archive.ics.uci。教育/毫升。 [28] J.迈拉尔。增量优化最小化优化及其在大规模机器学习中的应用。arXiv预印arXiv:1402.44192014。 [29] N.Metropolis、A.Rosenbluth、M.Rosenbluth、A.Teller和E.Teller。快速计算机器的状态方程计算。化学物理杂志,21(6):1087-10921953·Zbl 1431.65006号 [30] D.米姆诺、M.霍夫曼和D.布莱。潜在Dirichlet分配的稀疏随机推理。程序。ICML,2012年。 [31] T.明卡。估计Dirichlet分布。技术报告,2000年。 [32] K.墨菲。机器学习:概率的观点。麻省理工学院出版社,2012年·Zbl 1295.68003号 [33] R.Neal和G.Hinton。EM算法视图,用于证明增量、稀疏和其他变量的合理性。在图形模型学习中,第355-368页。斯普林格,1998年·Zbl 0916.62019号 [34] S.Patterson和Y.Teh。概率单纯形上的随机梯度黎曼-朗之万动力学。高级NIPS,2013年。 [35] B.Polyak和A.Juditsky。通过平均加速随机近似。SIAM控制与优化期刊,30(4):838-8551992·Zbl 0762.62022号 [36] D.Rohde和O.Capp´e。潜在因素模型的在线最大似然估计。程序中。IEEE SSP研讨会,2011年。44 [37] I.Sato、K.Kurihara和H.Nakagawa。LDA的确定性单程算法。高级NIPS,2010年。 [38] Y.Teh、M.Jordan、M.Beal和D.Blei。分层Dirichlet过程。美国统计协会杂志,101(476):1566-15812006·Zbl 1171.62349号 [39] M.蒂特林顿。使用不完整数据的递归参数估计。英国皇家统计学会杂志。B辑(方法学),46(2):257-2671984·Zbl 0556.62061号 [40] A.范德法特。渐近统计,第3卷。剑桥大学出版社,2000年·Zbl 0910.62001号 [41] H.瓦拉赫。主题建模:超越无稽之谈。2006 [42] H.Wallach、I.Murray、R.Salakhutdinov和D.Mimno。主题模型的评估方法。程序中。ICML,2009年。 [43] C.Wang和D.Blei。贝叶斯非参数模型的无截断在线变分推理。高级NIPS,2012年。 [44] G.Wei和M.Tanner。EM算法和穷人数据扩充算法的蒙特卡罗实现。美国统计协会杂志,85(411):699-7041990。 [45] F.Yan、N.Xu和Y.Qi。图形处理单元上潜在Dirichlet分配的并行推理。高级NIPS,2009年。 [46] H.Zhao、B.Jiang和J.Canny。相同但不同:快速高质量的吉布斯参数估计。arXiv预印arXiv:1409.54022014。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。