×
王冲;大卫·M·布莱。

稳健贝叶斯建模的一般方法。 （英语） Zbl 1407.62088号

贝叶斯分析。 13，第4号，1163-1191（2018）.
小结：稳健贝叶斯模型是标准模型的替代品，可以保护数据不受异常值或其他偏离模型假设的数据的影响。从历史上看，稳健模型大多是在个案基础上开发的；示例包括稳健线性回归、稳健混合模型和突发主题模型。在本文中，我们开发了一种鲁棒贝叶斯建模的通用方法。我们展示了如何将现有的贝叶斯模型转换为稳健模型，然后为其开发一种通用的计算策略。我们使用我们的方法研究了几种模型的稳健变体，包括线性回归、泊松回归、逻辑回归和概率主题模型。我们讨论了我们的方法与现有方法之间的联系，特别是经验Bayes和James-Stein估计。

引用于6文件

MSC公司：

2015年1月62日 贝叶斯推断
62层35 鲁棒性和自适应程序（参数推断）
62J12型 广义线性模型（逻辑模型）

关键词：

稳健统计;经验贝叶斯;概率模型;变分推理;EM算法;广义线性模型;主题模型

软件：

质量（R）;R（右）;PRMLT公司;贝叶斯DA;坚果;结构
PDF格式BibTeX公司 XML格式引用
\textit｛C.Wang｝和\textit｛D.M.Blei｝，贝叶斯分析。13，第4号，1163--1191（2018；Zbl 1407.62088）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Ahn，S.、Koratikara，A.和Welling，M.（2012年）。“通过随机梯度Fisher评分进行贝叶斯后验抽样”，arXiv预印本arXiv:1206.6380。
[2] Airoldi，E.、Blei，D.、Fienberg，S.和Xing，E.（2007年）。“统计网络分析中随机块模型和混合成员的组合”，《统计网络分析：模型、问题和新方向》，计算机科学讲义，57-74。斯普林格·弗拉格。
[3] Airoldi，E.、Blei，D.、Fienberg，S.和Xing，E.（2009）。“混合成员随机块模型”，摘自《神经信息处理系统》·Zbl 1225.68143号
[4] Antoniak，C.（1974）。“Dirichlet过程与贝叶斯非参数问题应用的混合”，《统计年鉴》，2（6）：1152-1174·Zbl 0335.60034号 ·doi:10.1214/aos/1176342871
[5] Asuncion，A.、Welling，M.、Smyth，P.和Teh，Y.（2009年）。“主题模型的平滑和推理”，摘自《人工智能中的不确定性》。
[6] Attias，H.（2000）。“图形模型的变分贝叶斯框架”，《神经信息处理系统进展》。
[7] Berger，J.O.、Moreno，E.、Pericchi，L.R.、Bayarri，M.J.、Bernardo，J.M.、Cano，J.A.、De la Horra，J.、Martín，J.，Ríos-Insu A，D.、Betró，B.等人（1994年）。“稳健贝叶斯分析概述”，测试，3（1）：5–124·Zbl 0827.62026号
[8] Bernardo，J.和Smith，A.（1994年）。贝叶斯理论。奇切斯特：John Wiley&Sons Ltd·Zbl 0796.6202号
[9] Bickel，P.和Doksum，K.（2007年）。《数理统计：基本思想和选题》第一卷。新泽西州上马鞍河：皮尔森·普伦蒂斯·霍尔，第二版·Zbl 0403.62001
[10] 毕晓普，C.（2006年）。模式识别和机器学习。纽约施普林格·Zbl 1107.68072号
[11] Blei，D.（2012）。“概率主题模型”，《ACM通讯》，55（4）：77-84。
[12] Blei，D.和Lafferty，J.（2007年）。“科学的相关主题模型”，《应用统计学年鉴》，1（1）：17-35·Zbl 1129.62122号 ·doi:10.1214/07-AOAS136
[13] Blei，D.、Ng，A.和Jordan，M.（2003年）。“潜在狄利克雷分配”，《机器学习研究杂志》，3:993–1022·Zbl 1112.68379号
[14] Blei，D.M.、Kucukelbir，A.和McAuliffe，J.D.（2017年）。《变量推断：统计学家评论》，《美国统计协会杂志》，112（518）：859-877。统一资源定位地址http://dx.doi.org/10.1080/01621459.2017.1285773
[15] Box，G.（1976年）。《科学与统计》，《美国统计协会杂志》，71（356）：791-799·Zbl 0335.62002号 ·doi:10.1080/01621459.1976.10480949
[16] Box，G.（1980）。“科学建模和稳健性中的抽样和贝叶斯推断”，《皇家统计学会杂志》，A辑，143（4）：383-430·Zbl 0471.62036号 ·doi:10.2307/2982063
[17] Cameron，A.C.和Trivedi，P.K.（2013）。计数数据的回归分析，第53卷。剑桥大学出版社·Zbl 1301.62003号
[18] Carlin，B.和Louis，T.（2000a）。数据分析的贝叶斯和经验贝叶斯方法，第2版。查普曼和霍尔/CRC·Zbl 1017.62005年
[19] Carlin，B.和Louis，T.（2000b）。“经验贝叶斯：过去、现在和未来”，《美国统计协会杂志》，95（452）：1286–1289·Zbl 1072.62511号 ·doi:10.1080/01621459.2000.10474331
[20] Copas，J.B.（1969年）。《复合决策和经验贝叶斯》，《皇家统计学会杂志》。B辑（方法学），31（3）：第397-425页。统一资源定位地址网址：http://www.jstor.org/stable/2984345 ·Zbl 0186.51905号
[21] Cordunenu，A.和Bishop，C.（2001年）。《混合分布的变分贝叶斯模型选择》，人工智能与统计国际会议。
[22] Dempster，A.、Laird，N.和Rubin，D.（1977年）。“通过EM算法从不完整数据中获得最大似然”，《皇家统计学会期刊》，B辑，39:1-38·Zbl 0364.62022号
[23] Diaconis，P.和Ylvisaker，D.（1979年）。《外族人的结合先验》，《统计年鉴》，7（2）：269-281·Zbl 0405.62011号 ·doi:10.1214操作系统/1176344611
[24] Doyle，G.和Elkan，C.（2009年）。《主题模型中突发性的解释》，摘自《第26届机器学习国际年会论文集》，ICML'09281-288。美国纽约州纽约市：ACM。
[25] Efron，B.（1996）。“组合可能性的经验贝叶斯方法”，《美国统计协会杂志》，91（434）：538-550·2018年8月68日 ·doi:10.1080/01621459.1996.10476919
[26] Efron，B.（2010年）。大尺度推断：估计、测试和预测的经验贝叶斯方法，第1卷。剑桥大学出版社·Zbl 1277.62016年
[27] Efron，B.和Morris，C.（1973年）。“结合可能相关的估计问题”，《皇家统计学会杂志》，B辑，35（3）：379-421·Zbl 0281.62030号
[28] Efron，B.和Morris，C.（1975年）。“使用Stein估计及其推广的数据分析”，《美国统计协会杂志》，70（350）：311-319·Zbl 0319.62018号 ·doi:10.1080/01621459.1975.10479864
[29] Erosheva，E.、Fienberg，S.和Joutard，C.（2007年）。“通过多元二进制数据的个人-水平混合模型描述残疾”，《应用统计学年鉴》·Zbl 1126.62101号 ·doi:10.1214/07-AOAS126
[30] Fei-Fei，L.和Perona，P.（2005）。“学习自然场景类别的贝叶斯层次模型”，IEEE计算机视觉和模式识别，524-531。
[31] Feng，J.、Xu，H.、Mannor，S.和Yan，S.（2014）。“稳健Logistic回归和分类”，《神经信息处理系统进展》，253-261页。
[32] Fernández，C.和Steel，M.F.（1999）。“多元学生t回归模型：陷阱和推断”，《生物特征》，86（1）：153-167·Zbl 0917.62020号 ·doi:10.1093/biomet/86.1153
[33] Fine，S.、Singer，Y.和Tishby，N.（1998年）。“层次隐马尔可夫模型：分析与应用”，《机器学习》，32:41-62·Zbl 0901.68178号 ·doi:10.1023/A:1007469218079
[34] Fox，E.、Sudderth，E.、Jordan，M.和Willsky，A.（2011年）。“粘稠的HDP-HMM应用于说话人日记”，《应用统计学年鉴》，5（2A）：1020–1056·Zbl 1232.62077号 ·doi:10.1214/10-AOAS395
[35] Geisser，S.和Eddy，W.F.（1979年）。“模型选择的预测方法”，《美国统计协会杂志》，74（365）：153–160·兹比尔0401.62036 ·网址：10.1080/01621459.1979.10481632
[36] Gelman，A.、Carlin，J.B.、Stern，H.S.和Rubin，D.B.（2014）。贝叶斯数据分析，第2卷。查普曼和霍尔/CRC博卡拉顿，佛罗里达州，美国·Zbl 1279.62004号
[37] Gelman，A.、Meng，X.和Stern，H.（1996）。“通过实现的差异对模型适合性进行后验预测评估”，《中国统计》，6:733-807·Zbl 0859.62028号
[38] Ghahramani，Z.和Beal，M.J.（2000）。《因子分析仪贝叶斯混合变量推断》，NIPS。
[39] Hoffman，M.、Blei，D.、Wang，C.和Paisley，J.（2013）。“随机变量推断”，《机器学习研究杂志》，14（1303-1347）·Zbl 1317.68163号
[40] Hoffman，M.D.和Gelman，A.（2014）。“无转取样器：在哈密尔顿蒙特卡罗中自适应设置路径长度”，《机器学习研究杂志》，15（4月）：1593-1623·Zbl 1319.60150号
[41] Huber，P.和Ronchetti，E.（2009年）。稳健统计。威利，第二版·Zbl 1276.62022号
[42] Huber，P.J.（1964年）。“位置参数的稳健估计”，《数理统计年鉴》，35（1）：73-101·Zbl 0136.39805号 ·doi:10.1214/aoms/1177703732
[43] Jordan，M.、Ghahramani，Z.、Jaakkola，T.和Saul，L.（1999）。“图形模型的变分方法简介”，机器学习，37:183–233·Zbl 0945.68164号 ·doi:10.1023/A:1007665907178
[44] Jorgensen，B.（1987）。《指数分散模型》，《皇家统计学会杂志》。B系列（方法学），127-162·Zbl 0662.62078号
[45] Kalman，R.（1960）。“线性滤波和预测问题的新方法线性滤波和预测问题的新方法，”AMSE交易：基础工程杂志，82:35-45。
[46] Kass，R.和Steffey，D.（1989年）。“条件独立层次模型中的近似贝叶斯推断（参数经验贝叶斯模型）”，《美国统计协会杂志》，84（407）：717-726。
[47] Lange，K.、Little，R.和Taylor，J.（1989）。“使用t分布的稳健统计建模”，《美国统计协会杂志》，84（408）：881。
[48] Madsen，R.E.、Kauchak，D.和Elkan，C.（2005）。“使用Dirichlet分布建模单词burstiness”，《第22届机器学习国际会议论文集》，545-552。ACM公司。
[49] Maritz，J.和Lwin，T.（1989）。经验贝叶斯方法。统计学和应用概率论专著。伦敦：查普曼和霍尔·Zbl 0731.62040号
[50] McCullagh，P.和Nelder，J.（1989）。广义线性模型。伦敦：查普曼和霍尔·Zbl 0744.62098号
[51] McCulloch，C.E.和Neuhaus，J.M.（2001）。广义线性混合模型。威利在线图书馆·Zbl 0964.62061号
[52] McLachlan，G.和Peel，D.（2000年）。有限混合模型。威利-国际科学·Zbl 0963.62061号
[53] Morris，C.（1983年）。“参数经验贝叶斯推断：理论与应用”，《美国统计协会杂志》，78（381）：47-65·Zbl 0506.62005年 ·doi:10.1080/01621459.1983.10477920
[54] Murphy，K.（2013）。机器学习：概率方法。麻省理工学院出版社。
[55] Paisley，B.和Carin，L.（2009年）。《Beta过程先验非参数因子分析》，机器学习国际会议·Zbl 1391.94357号 ·doi:10.1109/TSP.2009.2024987
[56] Peel，D.和McLachlan，G.J.（2000）。“使用t分布的稳健混合建模”，《统计与计算》，10（4）：339–348。
[57] Polson，N.G.和Scott，J.G.（2010年）。“全球收缩，局部行动：稀疏贝叶斯正则化和预测”，贝叶斯统计，9:501-538。
[58] Pregibon，D.（1982年）。“抗药性适用于医疗应用中的一些常用逻辑模型。”《生物统计学》，485-498。
[59] Pritchard，J.K.、Stephens，M.和Donnelly，P.（2000）。“利用多点基因型数据推断种群结构”，《遗传学》，155（2）：945-959。
[60] Rabe-Hesketh，S.和Skrondal，A.（2008）。“广义线性混合效应模型”，《纵向数据分析》，79-106·Zbl 1274.62031号
[61] Rabiner，L.R.（1989）。“语音识别中隐藏马尔可夫模型和选定应用的教程”，《IEEE学报》，77:257–286。
[62] Ranganath，R.、Gerrish，S.和Blei，D.（2014）。“黑箱变分推理”，《人工智能与统计学》。
[63] Robbins，H.（1964年）。“统计决策问题的经验贝叶斯方法”，《数理统计年鉴》，1–20·Zbl 0138.12304号 ·doi:10.1214/aoms/1177703729
[64] Robbins，H.（1980）。“经验贝叶斯估计问题”，《国家科学院学报》，77（12）：6988·Zbl 0456.62029号 ·doi:10.1073/pnas.77.12.6988
[65] Rubin，D.（1984）。“应用统计学家的贝叶斯合理和相关频率计算”，《统计年鉴》，12（4）：1151-1172·Zbl 0555.62010号 ·doi:10.1214/aos/1176346785
[66] Salakhutdinov，R.和Mnih，A.（2008）。《概率矩阵分解》，神经信息处理系统。
[67] She，Y.和Owen，A.（2011年）。“使用非凸惩罚回归进行异常检测”，《美国统计协会期刊》，106（494）·Zbl 1232.62068号 ·doi:10.1198/jasa.2011.tm10390
[68] Stefanski，L.A.、Carroll，R.J.和Ruppert，D.（1986年）。“广义线性模型的最优追踪得分函数及其在逻辑回归中的应用”，《生物特征》，73（2）：413-424·Zbl 0616.62043号
[69] Svensén，M.和Bishop，C.M.（2005年）。“稳健贝叶斯混合建模”，神经计算。，64: 235–252.
[70] Teh，Y.、Jordan，M.、Beal，M.和Blei，D.（2006年）。“层次迪里克莱过程”，《美国统计协会杂志》，101（476）：1566-1581·Zbl 1171.62349号 ·doi:10.19198/0162114506000000302
[71] Teh，Y.W.（2006）。“基于Pitman-Yor过程的层次贝叶斯语言模型”，摘自《第21届国际计算语言学会议论文集》和《计算语言学协会第44届年会论文集》，985-992年。统一资源定位地址http://www.aclweb.org/antology/P/P06/P06-1124
[72] Tibshirani，J.和Manning，C.D.（2013）。“使用移位参数的稳健Logistic回归”，CoRR，abs/1305.4987。
[73] Venables，W.N.和Ripley，B.D.（2002年）。《现代应用统计学》，纽约：斯普林格出版社，第四版。国际标准图书编号0-387-95457-0。统一资源定位地址网址：http://www.stats.ox.ac.uk/pub/MASS4 ·Zbl 1006.62003号
[74] 温赖特，M.和乔丹，M.（2008年）。“图形模型、指数族和变分推理”，《机器学习的基础和趋势》，1（1-2）：1-305·Zbl 1193.62107号 ·数字对象标识代码：10.1561/220000001
[75] Wang，C.和Blei，D.M.（2013）。“非共轭模型中的变分推理”，《机器学习研究杂志》，14（1）：1005-1031·Zbl 1320.62057号
[76] Wang，C.、Paisley，J.和Blei，D.（2011）。《层次Dirichlet过程的在线变分推断》，国际人工智能与统计会议。
[77] Welling，M.和Teh，Y.W.（2011年）。“通过随机梯度Langevin动力学进行贝叶斯学习”，《第28届机器学习国际会议（ICML-11）论文集》，681-688。
[78] Wood，F.、van de Meent，J.W.和Mansinghka，V.（2014）。《概率编程推理的新方法》，《人工智能与统计》，1024-1032。
[79] Xing，E.P.、Ho，Q.、Dai，W.、Kim，J.K.、Wei，J.、Lee，S.、Zheng，X.、Xie，P.、Kumar，A.和Yu，Y.（2013）。“Petuum：大数据分布式机器学习的新平台。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。