克林特·乔治。；多斯，哈尼 潜在Dirichlet分配模型中超参数的原则选择。 （英语） Zbl 1471.62283号 J.马赫。学习。物件。 18（2017-2018），论文编号162，38 p.（2018）. 摘要：潜在Dirichlet分配（LDA）是一个众所周知的主题模型，通常用于推断文本文档集合的属性。LDA是一种分层贝叶斯模型，涉及一组潜在主题变量的先验分布。先验是由某些超参数索引的，尽管这些超参数对推理有很大影响，但它们通常是以特定的方式选择的，或者是通过应用理论基础尚未牢固确立的算法来选择的。我们提出了一种基于马尔可夫链蒙特卡罗和重要性抽样相结合的方法来估计超参数的最大似然估计。该方法可被视为实施经验贝叶斯分析的计算方案。它有理论上的保证，我们方法的一个关键特征是我们为估计提供理论上有效的误差幅度。对合成数据和实际数据的实验表明，该方法具有良好的性能。 引用于4文件 MSC公司： 2015年1月62日 贝叶斯推断 60J22型 马尔可夫链中的计算方法 68T05型 人工智能中的学习和自适应系统 关键词：经验贝叶斯推断；隐含狄利克雷分布；马尔科夫蒙特卡洛；型号选择；主题建模 软件：根西姆；麦克马克塞；木槌 PDF格式BibTeX公司 XML格式引用 \textit｛C.P.George｝和\textit｛H.Doss｝，J.Mach。学习。第18号决议，第162号论文，38页（2018年；Zbl 1471.62283） 全文： 链接 参考文献： [1] 克里斯托夫·安德烈（Christophe Andrieu）、南多·德·弗雷塔斯（Nando De Freitas）、阿诺德·杜塞特（Arnaud Doucet）和迈克尔·乔丹（Michael I Jordan）。机器学习MCMC简介。机器学习，50:5–432003·Zbl 1033.68081号 [2] 亚瑟·阿松森（Arthur Asuncion）、马克斯·威林（Max Welling）、帕德拉克·斯迈思（Padhraic Smyth）和叶维德（Yee Whye Teh）。主题模型的平滑和推理。《第二十五届人工智能不确定性会议论文集》，UAI'09，第27-34页，美国弗吉尼亚州阿灵顿，2009年。AUAI出版社。 [3] 詹姆斯·伯格斯特拉（James Bergstra）和约舒亚·本吉奥（Yoshua Bengio）。超参数优化的随机搜索。机器学习研究杂志，13:281-3052012·Zbl 1283.68282号 [4] David M.Blei、Andrew Y.Ng和Michael I.Jordan。潜在Dirichlet分配。机器学习研究杂志，3:993–10222003·Zbl 1112.68379号 [5] 哲晨。通过贝叶斯混合模型推断潜在Dirichlet分配模型中的主题数。佛罗里达大学博士论文，2015年。 [6] Zhe Chen和Hani Doss。通过贝叶斯混合建模推断潜在狄利克雷分配模型中的主题数量。技术报告，佛罗里达大学统计系，2017年。 [7] Persi Diaconis、Kshitij Khare和Laurent Saloff Coste。吉布斯抽样、指数族和正交多项式（含讨论）。统计科学，23:151-1782008·Zbl 1327.62058号 [8] Hani Doss和Clint P.George。LDA模型中并行计算分组吉布斯采样器的理论和经验评估。技术报告，佛罗里达大学统计系，2017年。36 [9] Hani Doss和Yeonhee Park。通过经验过程进行经验贝叶斯推断和贝叶斯敏感性分析的MCMC方法。《统计年鉴》（即将出版），2018年·Zbl 1403.62016年6月 [10] James M.Flegal、Murali Haran和Galin L.Jones。马尔可夫链蒙特卡罗：我们能相信第三个有效数字吗？统计科学，23:250-2602008·Zbl 1327.62017年 [11] James M.Flegal、John Hughes和Dootika Vats。mcmcse：MCMC的蒙特卡罗标准误差。加利福尼亚州河滨市和明尼阿波利斯市，2016年。R包版本1.2-1。 [12] Gersende Fort和Eric Moulines。曲线指数族蒙特卡罗期望最大化的收敛性。《统计年鉴》，31:1220–12592003·Zbl 1043.62015年 [13] 大卫·弗里德曼。Wald讲座：关于无穷维参数的Bernstein-von Mises定理。《统计年鉴》，27:1119–1141191999年·Zbl 0957.6202号 [14] Claudio Fuentes、Vikneshwaran Gopal、George Casella、Clint P.George、Taylor C.Glenn、Joseph N.Wilson和Paul D.Gader。狄利克雷分配的乘积划分模型。2011年佛罗里达大学计算机与信息科学与工程系技术报告。 [15] 克林特·乔治（Clint P.George），《潜狄利克雷分配：超参数选择及其在电子发现中的应用》（Tetent Dirichlet Allocation:Hyperparameter Selection and Applications to Electronic Discovery）。佛罗里达大学博士论文，2015年。 [16] 克林特·乔治和哈尼·多斯。2018年“潜在Dirichlet分配模型中超参数的原则选择”的补充。 [17] 爱德华·乔治和迪安·福斯特。校准和经验贝叶斯变量选择。《生物统计学》，87:731–7472000年·Zbl 1029.62008号 [18] 查尔斯·盖尔（Charles J.Geyer）和伊丽莎白·汤普森（Elizabeth A.Thompson）。退火马尔可夫链蒙特卡罗及其在祖先推断中的应用。《美国统计协会杂志》，90:909-9201995年·Zbl 0850.62834号 [19] 托马斯·格里菲斯（Thomas L.Griffiths）和马克·斯泰弗斯（Mark Steyvers）。寻找科学主题。《美国国家科学院院刊》，101:5228–52352004。 [20] W.K.黑斯廷斯。使用马尔可夫链的蒙特卡罗抽样方法及其应用。《生物统计学》，57:97–1091970年·Zbl 0219.65008号 [21] 詹姆斯·霍伯特和乔治·卡塞拉。分层线性混合模型中不正确先验对吉布斯抽样的影响。美国统计协会杂志，91（436）：1461-14731996·Zbl 0882.62020号 [22] Galin L.Jones、Murali Haran、Brian S.Caffo和Ronald Neath。马尔可夫链蒙特卡罗固定宽度输出分析。美国统计协会杂志，101:1537–15472006·Zbl 1171.62316号 [23] J.S.Liu、W.H.Wong和A.Kong。吉布斯采样器的协方差结构及其在估计量和增强方案比较中的应用。《生物特征》，81:27–401994年·兹比尔0811.62080 [24] 恩佐·马里纳里和乔治·帕里西。模拟回火：一种新的蒙特卡罗方案。《欧洲物理学快报》，19:451–4581992年。37 [25] 安德鲁·卡奇特斯·麦卡勒姆。MALLET：语言工具包的机器学习。http://mallet.cs.umass.edu，2002年。 [26] 托马斯·明卡。估计Dirichlet分布，2003.URLhttp://research。microsoft.com/áminka/papers/dirichlet/。 [27] 大卫·纽曼（David Newman）、亚瑟·亚松森（Arthur Asuncion）、帕德拉克·斯迈思（Padhrac Smyth）和马克斯·威林（Max Welling）。主题模型的分布式算法。《机器学习研究杂志》，10:1801–18282009·Zbl 1235.68324号 [28] 拉迪姆·雷赫·乌雷克和彼得·索伊卡。使用大型语料库进行主题建模的软件框架。2010年，马耳他瓦莱塔，《LREC 2010年NLP框架新挑战研讨会论文集》，第45-50页。ELRA公司。 [29] 克里斯蒂安·罗伯特（Christian P.Robert）。贝叶斯选择：从决策理论基础到计算实现。Springer-Verlag，纽约，2001年·Zbl 0980.62005号 [30] Y.W.Teh、M.I.Jordan、M.J.Beal和D.M.Blei。分层Dirichlet过程。美国统计协会杂志，101:1566–15812006·Zbl 1171.62349号 [31] 马丁·温赖特和迈克尔·乔丹。图形模型、指数族和变分推理。机器学习的基础和趋势，1（1-2）：1–3052008.R·Zbl 1193.62107号 [32] 汉娜·M·瓦拉赫。主题建模：超越无稽之谈。《第23届国际机器学习会议论文集》，ICML'06，第977-984页，美国纽约州纽约市，2006年。ACM。 [33] 汉娜·M·瓦拉赫。语言的结构化主题模型。剑桥大学博士论文，2008年。 [34] 汉娜·M·瓦拉赫、伊恩·穆雷、鲁斯兰·萨拉库丁诺夫和大卫·米姆诺。主题模型的评估方法。《第26届国际机器学习年会论文集》，第1105-1112页。ACM，2009年。 [35] Greg C.G.Wei和Martin A.Tanner。EM算法和穷人数据增强算法的蒙特卡罗实现。《美国统计协会杂志》，85:699-7041990年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。