×

广义、线性和混合模型的期望传播。 (英语) Zbl 1521.62091号

摘要:期望传播是图形模型确定性近似贝叶斯推理的一种通用方法,尽管其文献主要局限于机器学习应用。我们研究了期望传播在广义、线性和混合模型设置中的效用。我们表明,尽管代数和计算很复杂,但通过因子图传递消息的概念可以简化所需的计算,并且我们明确列出了算法步骤。数值研究表明,对于所考虑的模型,期望传播比竞争方法稍微更准确,但代价是更大的代数和计算开销。

MSC公司:

62H22个 概率图形模型
2015年1月62日 贝叶斯推断
62J05型 线性回归;混合模型
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Azzalini,A.(2016)。R包sn:斜态正态分布和斜态t分布(版本1.2)。网址:http://azzalini.stat.unipd.it/SN
[2] 毕晓普,C.M.(2006)。模式识别和机器学习。纽约:斯普林格·Zbl 1107.68072号
[3] Challis,E.和Barber,D.(2013年)。Gaussian Kullback‐Leibler近似推断。机器学习研究杂志,14,2239-2286·Zbl 1318.62085号
[4] Faes,C.、Ormerod,J.T.和Wand,M.P.(2011年)。缺失数据的参数和非参数回归的变分贝叶斯推断。美国统计协会杂志,106959-971·Zbl 1229.62028号
[5] Frey,B.J.、Kschichang,F.R.、Loeliger,H.A.和Wiberg,N.(1998年)。因子图和算法。1997年第35届Allerton通信、控制和计算会议记录,第666-680页。
[6] Gelman,A.、Carlin,J.B.、Stern,H.S.、Dunson,D.B.、Vehtari,A.和Rubin,D.B.(2014)。贝叶斯数据分析,第3版。佛罗里达州博卡拉顿:CRC出版社·Zbl 1279.62004号
[7] Hall,P.、Ormerod,J.T.和Wand,M.P.(2011年)。泊松线性混合模型的高斯变分近似理论。中国统计局,21369-389·Zbl 1206.62035号
[8] Hall,P.、Pham,T.、Wand,M.P.和Wang,S.S.J.(2011年)。高斯变分近似的渐近正态性和有效推断。《统计年鉴》,39,2502-2532·Zbl 1231.62029号
[9] Kim,A.S.I.和Wand,M.P.(2016年)。简单统计模型的期望传播的显式形式。《电子统计杂志》,10550-581·Zbl 1332.62097号
[10] Luts,J.&Wand,M.P.(2015)。计数响应半参数回归的变分推断。贝叶斯分析,1991-1023·Zbl 1335.62054号
[11] Luts,J.、Broderick,T.和Wand,M.P.(2014年)。实时半参数回归。计算与图形统计杂志,23,589-615。
[12] Luts,J.、Wang,S.S.J.、Ormerod,J.T.和Wand,M.P.(2017年)。通过推断进行半参数回归分析。净利润。《统计软件杂志》,正在出版中。
[13] McCulloch,C.E.、Searle,S.R.和Neuhaus,J.M.(2008)。广义、线性和混合模型,第2版。纽约:John Wiley&Sons·Zbl 1165.62050号
[14] Minka,T.P.(2001)。近似贝叶斯推理的期望传播。《第十七届人工智能不确定性会议论文集》,J.S.Breese和D.Koller编辑,第362-369页。马萨诸塞州伯灵顿:Morgan Kaufmann。
[15] Minka,T.(2005),分歧度量和信息传递。微软研究技术报告系列,MSR‐TR‐2005‐173,1-17。
[16] Minka,T.&Winn,J.(2008),《盖茨:混合模型的图形符号》。微软研究技术报告系列,MSR‐TR‐2008‐185,1-16。
[17] Minka,T.、Winn,J.M.、Guiver,J.P.、Webster,S.、Zaykov,Y.、Yangel,B.、Spengler,A.和Bronskill,J.(2014)。推断。NET 2.6,微软剑桥研究院,2014年。http://research.microsoft.com/infernet
[18] Ormerod,J.T.&Wand,M.P.(2010年)。解释变分近似。美国统计学家,64140-153·Zbl 1200.65007号
[19] R核心团队(2016)。R: 统计计算语言和环境。奥地利维也纳:R统计计算基金会。https://www.Rproject.org/
[20] Ruppert,D.、Wand,M.P.和Carroll,R.J.(2009年)。2003-2007年期间的半参数回归。《电子统计杂志》,31193-1256·Zbl 1326.62094号
[21] 斯坦发展团队(2016)。Stan:概率和采样的C++库。http://rncstan.org/
[22] Tan,L.S.L.&Nott,D.J.(2013)。使用部分非中心参数化的广义线性混合模型的变分推理。统计科学,28,168-188·Zbl 1331.62167号
[23] Wainwright,M.J.和Jordan,M.I.(2008年)。图形模型、指数族和变分推理。机器学习的基础和趋势,1,1-305·Zbl 1193.62107号
[24] Wand,M.P.(2017)。通过消息传递对任意大的半参数回归模型进行快速近似推理(带讨论)。美国统计协会杂志,112137-168。
[25] Wand,M.P.和Ripley,B.D.(2015年)。R包KernSmooth。支持Wand&Jones(1995)(版本2.23)的内核平滑函数。https://cran.R-project.org。
[26] Wand,M.P.、Ormerod,J.T.、Padoan,S.A.和Frühwirth,R.(2011)。精细分布的平均场变分贝叶斯。贝叶斯分析,6847-900·Zbl 1330.62158号
[27] Wang,S.S.J.和Wand,M.P.(2011年)。使用推断。NET用于统计分析。美国统计学家,65,115-126·Zbl 06244069号
[28] Winn,J.和Bishop,C.M.(2005年)。可变消息传递。机器学习研究杂志,661-694·Zbl 1222.68332号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。