哈维尔·恩里克·阿吉拉尔;保尔·克里斯蒂安·比尔克纳 贝叶斯线性多级模型的直观联合先验：R2D2M2先验。 （英语） Zbl 07725166号 电子。J.统计。 17，编号1711-1767（2023）. 摘要：在相对稀疏的数据上训练高维回归模型是一个重要而复杂的主题，特别是当数据中的模型参数比观测值多很多时。从贝叶斯的角度来看，在这种情况下，至少对于广义线性模型，可以在收缩先验分布的帮助下进行推理。然而，现实世界的数据通常具有多级结构，例如重复测量或个体的自然分组，而现有的收缩先验并不是用来处理的。我们推广并扩展了其中一个先验函数，即R2D2先验函数Y.D.Zhang先生等[J.Am.Stat.Assoc.117，No.538，862–874（2022；Zbl 1507.62266号)]到线性多级模型，我们称之为R2D2M2优先。所建议的先验值可以使模型参数局部收缩和全局收缩。它带有可解释的超参数，我们证明这些超参数与先验的重要属性有内在联系，例如原点周围的浓度率、尾部行为和先验施加的收缩量。我们提供了如何通过导出收缩因子和测量非零模型系数的有效数量来选择先验超参数的指南。因此，用户可以很容易地评估和解释特定超参数选择所暗示的收缩量。最后，我们对模拟数据和实际数据进行了大量实验，表明我们的先验推理过程经过了很好的校准，具有理想的全局和局部正则化特性，能够对比以前可能更复杂的贝叶斯多级模型进行可靠和可解释的估计。 引用于1文件 MSC公司： 62至XX 统计学 关键词：贝叶斯推断;多级模型;先前的规范;收缩先期;正规化 引文：Zbl 1507.62266号 软件：贝叶斯雷;圣塔那主义;DLMF公司;rms（有效值）;lme4公司;加迈尔;斯坦;github;坚果;贝叶斯DA;业务风险管理系统 PDF格式BibTeX公司 XML格式引用 \textit{J.E.Aguilar}和\textit{P.-C.布尔克纳}，电子。J.Stat.17，No.1，1711---1767（2023；Zbl 07725166） 全文： 内政部 arXiv公司 链接 参考文献： [1] Aitchison，J.和Shen，S.M.（1980）。“逻辑正态分布：一些性质和用途。”生物计量学，67（2）：261-272。统一资源定位地址http://www.jstor.org/stable/2335470 ·Zbl 0433.62012号 [2] Bai，R.和Ghosh，M.（2019年）。“使用正态beta素数先验进行大规模多重假设检验。”统计学，53（6）：1210-1233。统一资源定位地址https://doi.org/10.1080/02331888.2019.1662017 ·Zbl 1435.62267号 [3] Barr，D.J.、Levy，R.、Scheepers，C.和Tily，H.J.（2013）。“验证性假设测试的随机效应结构：保持最大。”记忆与语言杂志, 68 3. [4] Bates，D.、Mächler，M.、Bolker，B.和Walker，S.（2015）。“使用lme4拟合线性混合效应模型。”统计软件杂志, 67(1): 1-48. 统一资源定位地址https://www.jstatsoft.org/index.php/jss/article/view/v067i01 [5] Benjamini，Y.和Hochberg，Y.（1995年）。“控制错误发现率：一种实用而强大的多重测试方法。”英国皇家统计学会杂志。B系列（方法学）, 57(1): 289-300. 统一资源定位地址http://www.jstor.org/stable/2346101 ·Zbl 0809.62014号 [6] Bhadra，A.、Datta，J.、Polson，N.G.和Willard，B.（2016）。“具有全局-局部收缩先验的默认贝叶斯分析。”生物计量学, 103(4): 955-969. 统一资源定位地址http://www.jstor.org/stable/26363497 ·Zbl 1506.62343号 [7] Bhattacharya，A.、Pati，D.、Pillai，N.S.和Dunson，D.B.（2015）。“Dirichlet-Laplace最优收缩先验。”美国统计协会杂志, 110(512): 1479-1490. PMID:27019543。统一资源定位地址https://doi.org/101080/01621459.2014.960967网址 ·Zbl 1373.62368号 [8] Brooks，Gelman，S.和Jones，A.（2011年）。马尔可夫链蒙特卡罗手册查普曼和霍尔/CRC，第1版·Zbl 1218.65001号 [9] Browne，W.J.和Draper，D.（2006年）。“贝叶斯和基于似然方法拟合多级模型的比较。”贝叶斯分析, 1(3): 473-514. 统一资源定位地址https://doi.org/10.1214/06-BA117网址 ·Zbl 1331.62125号 [10] Buehlmann，P.、Kalisch，M.和Meier，L.（2014）。“高维统计与生物学应用展望”统计年鉴及其应用, 1(1): 255-278. 统一资源定位地址https://doi.org/10.1146/annurev-statistics-022513-115545 [11] Bürkner，P.-C.（2017）。“brms:使用Stan的贝叶斯多级模型的R包。”统计软件杂志, 80(1): 1-28. 统一资源定位地址https://www.jstatsoft.org/index.php/jss/article/view/v080i01 [12] 伯克纳，P.-C.（2021）。“使用brms和Stan在R中进行贝叶斯项目响应建模。”统计软件杂志, 100(5): 1-54. 统一资源定位地址https://www.jstatsoft.org/index.php/jss/article/view/v100i05 [13] Bürkner，P.-C.和Charpentier，E.（2020年）。“贝叶斯回归模型中序数预测因子的单调效应建模。”英国数学与统计心理学杂志, 73(3): 420-451. 统一资源定位地址https://bpspsychub.onlinelibrary.wiley.com/doi/abs/10.1111/bmsp.12195 [14] Carpenter，B.、Gelman，A.、Hoffman，M.D.、Lee，D.、Goodrich，B.、Betancourt，M.、Brubaker，M.，Guo，J.、Li，P.和Riddell，A.（2017）。“斯坦：概率编程语言。”统计软件杂志, 76(1): 1-32. 统一资源定位地址https://www.jstatsoft.org/index.php/jss/article/view/v076i01 [15] 卡瓦略、波尔森和斯科特（2010年）。“稀疏信号的马蹄形估计器。”生物计量学, 97(2): 465-480. 统一资源定位地址http://www.jstor.org/stable/25734098 ·Zbl 1406.62021号 [16] Carvalho，C.M.、Polson，N.G.和Scott，J.G.（2009年）。《通过马蹄处理稀疏性》（Handling Sparsity via the Horseshoe），摘自范戴克（van Dyk，D.）和威林（Welling，M.）主编，第十二届国际人工智能与统计会议记录，第5卷，共5卷机器学习研究进展, 73-80. 美国佛罗里达州清水海滩希尔顿清水海滩度假村：PMLR。统一资源定位地址https://proceedings.mlr.press/v5/carvalho09a.html [17] Catalina，A.，Bürkner，P.-C.和Vehtari，A.（2020）。“广义线性和可加多层模型的投影预测推断。” [18] Depaoli，S.和Clifton，J.P.（2015）。“具有连续和二分法结果的多级结构方程建模的贝叶斯方法。”结构方程建模：多学科杂志, 22: 327-351. [19] Fawcett，T.（2006）。“ROC分析简介。”模式识别字母, 27(8): 861-874. 模式识别中的ROC分析。统一资源定位地址https://www.sciencedirect.com/science/article/pii/S0167865505030303X [20] Fuglstad，G.-A.、Simpson，D.、Lindgren，F.和Rue，H.（2019年）。“构建惩罚高斯随机场复杂性的先验。”美国统计协会杂志, 114(525): 445-452. 统一资源定位地址https://doi.org/101080/01621459.2017.1415907 ·Zbl 1478.62279号 [21] Gelman，A.（2006年）。“层次模型中方差参数的先验分布（Browne和Draper的文章评论）。”贝叶斯分析, 1(3): 515-534. 统一资源定位地址https://doi.org/10.1214/06-BA117A ·Zbl 1331.62139号 [22] Gelman，A.、Carlin，J.、Stern，H.、Dunson，D.、Vehtari，A.和Rubin，D.（2013）。贝叶斯数据分析，第三版查普曼和霍尔/CRC统计科学文本。泰勒和弗朗西斯。统一资源定位地址https://books.google.de/books？id=ZXL6AQAAQBAJ [23] Gelman，A.和Hill，J.（2006年）。使用回归和多级/层次模型进行数据分析社会研究的分析方法。剑桥大学出版社。 [24] Gelman，A.、Hill，J.和Vehtari，A.（2020a）。回归和其他故事社会研究的分析方法。剑桥大学出版社·兹比尔1476.62007 [25] Gelman，A.、Vehtari，A.、Simpson，D.、Margossian，C.C.、Carpenter，B.、Yao，Y.、Kennedy，L.、Gabri，J.、Bürkner，P.-C.和Modrák，M.（2020b）。“贝叶斯工作流”URLhttps://arxiv.org/abs/2011.01808 [26] 很好，I.J.（1962）。概率论哈罗德·杰弗里斯（第三版，447+ix页，牛津大学出版社，84页）国际地球物理学杂志, 6: 555-558. [27] Goodrich，B.、Gabri，J.、Ali，I.和Brilleman，S.（2020年）。“rstanam:Bayesian通过Stan应用回归建模”，R包版本2.21.1。统一资源定位地址https://mc-stan.org/rstanam网站 [28] Gorinova，M.I.、Gordon，A.D.和Sutton，C.（2019年）。SlicStan中具有密度的概率规划：高效、灵活和确定性程序。ACM计划。语言。，3（POPL）。统一资源定位地址https://doi.org/10.1145/3290348 [29] Harrell，F.（2013）。回归建模策略：应用于线性模型、逻辑回归和生存分析《统计学中的斯普林格系列》。纽约施普林格。URLhttps://books.google.de/books？id=7D0mBQAAQBAJ [30] Hoerl，A.E.和Kennard，R.W.（1970年）。“岭回归：非正交问题的有偏估计。”技术计量学, 12(1): 55-67. 统一资源定位地址http://www.jstor.org/stable/1267351 ·Zbl 0202.17205号 [31] Hoffman，M.D.和Gelman，A.（2014）。“无转取样器：在哈密顿蒙特卡罗中自适应设置路径长度。”J.马赫。学习。物件。, 15(1): 1593-1623. ·Zbl 1319.60150号 [32] Jeffrey，A.、Zwillinger，D.、Gradshteyn，I.和Ryzhik，I..（2007年）。“8-9-特殊功能。”输入积分、系列和产品表（第七版）, 859-1048. 波士顿：学术出版社，第七版。统一资源定位地址https://www.sciencedirect.com/science/article/pii/B9780080471112500169 [33] Jones，M.（2009年）。“Kumaraswamy的分布：具有一些易处理性优势的贝塔型分布。”统计方法, 6(1): 70-81. 统一资源定位地址https://www.sciencedirect.com/science/article/pii/S157231708000282 ·Zbl 1215.60010号 [34] Kim，S.、Moon，H.、Modrák，M.和Säillynoja，T.（2022年）。SBC：基于仿真的rstan/cmdstanr模型校准. https://hyunjimoon.github.io/SBC网站/,https://github.com/hyunjimoon/SBC网站/ [35] Kruijer，W.、Rousseau，J.和Vaart，A.（2010年）。“采用位置-尺度混合的自适应贝叶斯密度估计。”电子统计杂志, 4. ·Zbl 1329.62188号 [36] Kruschke，J.K.（2015）。“第6章-通过精确数学分析推断二项式概率”，Kruschke，J.K.（编辑），贝叶斯数据分析（第二版）, 123-141. 波士顿：学术出版社，第二版。统一资源定位地址https://www.sciencedirect.com/science/article/pii/B978012405880000064 [37] Laura Dietz，B.O.，Jaakko Luttinen（2010年）。“BayesNet”URLhttps://github.com/jluttine/tikz-bayesnet [38] Leydold，J.和Hörmann，W.（2011）。“通过快速反演生成广义逆高斯随机变量。”计算统计与数据分析, 55(1): 213-217. 统一资源定位地址https://www.sciencedirect.com/science/article/pii/S0167947310002847 ·Zbl 1247.62046号 [39] Lin，J.（2016）。《论林嘉玉的狄里克莱分布》 [40] Lin，L.、Drton，M.和Shojaie，A.（2020年）。《高维线性混合模型的统计显著性》，in2020年ACM-IMS数据科学基础会议记录《联邦公报》第20卷第171-181页。美国纽约州纽约市：计算机协会。统一资源定位地址https://doi.org/10.1145/3412815.3416883 [41] Mikkola，P.、Martin，O.A.、Chandramouli，S.、Hartmann，M.、Pla，O.A.、Thomas，O.、Pesonen，H.、Corander，J.、Vehtari，A.、Kaski，S.，Bürkner，P.-C.和Klami，A.（2021）。“先验知识启发：过去、现在和未来。” [42] Miller，P.（2006）。应用渐近分析美国数学学会，第1版·Zbl 1101.41031号 [43] Morris，M.、Wheeler-Martin，K.、Simpson，D.P.、Mooney，S.J.、Gelman，A.和DiMaggio，C.J.（2019年）。“贝叶斯层次空间模型：在斯坦实施Besag-York-Mollié模型。”时空流行病学，31日：100301。 [44] Nakagawa，S.和Schielzeth，H.（2013）。“从广义线性混合效应模型中获得R2的通用简单方法。”生态学和进化方法, 4(2): 133-142. 统一资源定位地址https://besjournals.onlinelibrary.wiley.com/doi/abs/10.111/j.2041-210x.2012.00261.x [45] Nishimura，A.和Suchard，M.A.（2022年）。“收缩肩膀的收缩：具有保证收敛速度的吉布斯采样收缩模型后验。”贝叶斯分析, 1-24. 统一资源定位地址https://doi.org/10.1214/22-BA1308 [46] Olver，F.，《标准》，N.I.，（美国），T.，Lozier，D.，Boisvert，R.，and Clark，C.（2010）。NIST数学函数手册精装本和CD-ROM剑桥大学出版社。统一资源定位地址https://books.google.de/books？id=3I15Ph1Qf38C [47] Paananen，T.、Catalina，A.、Burkner，P.-C.和Vehtari，A.（2020年）。“多水平模型的群体异质性评估。”arXiv：方法. [48] Park，T.和Casella，G.（2008）。“贝叶斯套索。”美国统计协会杂志, 103(482): 681-686. 统一资源定位地址https://doi.org/10.1198/016214500000037 ·Zbl 1330.62292号 [49] Piironen，J.、Paasiniemi，M.和Vehtari，A.（2020年）。“高维问题中的投影推理：预测和特征选择。”电子统计杂志, 14(1): 2155-2197. 统一资源定位地址https://doi.org/10.1214/20-EJS1711 ·Zbl 1476.62058号 [50] Piironen，J.和Vehtari，A.（2017年）。“马蹄铁和其他收缩前的稀疏信息和规则。”电子统计杂志, 11(2): 5018-5051. 统一资源定位地址https://doi.org/10.1214/17-EJS1337SI ·Zbl 1459.62141号 [51] Polson，N.G.和Scott，J.G.（2012年）。“关于全局尺度参数的半柯西先验。”贝叶斯分析, 7(4): 887-902. 统一资源定位地址https://doi.org/10.1214/12-BA730 ·Zbl 1330.62148号 [52] Rights，J.D.和Sterba，S.K.（2019年）。“量化解释了多水平模型中的方差：定义R平方测度的综合框架。”心理学方法, 24 3: 309-338. [53] Robert，C.（1991）。“广义逆正态分布。”统计与概率信件, 11(1): 37-41. 统一资源定位地址https://www.sciencedirect.com/science/article/pii/016771529190174P ·2011年7月26日 [54] Simpson，D.、Rue，H.、Riebler，A.、Martins，T.G.和Sörbye，S.H.（2017年）。“惩罚模型组件复杂性：构建先验的原则性、实用方法。”统计科学, 32(1): 1-28. 统一资源定位地址https://doi.org/10.1214/16-STS576 ·Zbl 1442.62060号 [55] Stan开发团队（2022年）。“Stan建模语言用户指南和参考手册，2.30.0版。”URLhttp://mc-stan.org/ [56] Säilynoja，T.、Bürkner，P.-C.和Vehtari，A.（2021）。“离散均匀性的图形测试及其在拟合优度评估和多样本比较中的应用。”·Zbl 1484.62010年 [57] Talts，S.、Betancourt，M.、Simpson，D.、Vehtari，A.和Gelman，A.（2020年）。“使用基于仿真的校准验证贝叶斯推理算法。” [58] van der Pas，S.（2021）。“马蹄铁和其他全局-局部收缩先验的理论保证。”贝叶斯变量选择手册, 133-160. 查普曼和霍尔/CRC。 [59] Van Erp，S.、Oberski，D.和Mulder，J.（2019年）。“贝叶斯惩罚回归的收缩先验。”数学心理学杂志, 89: 31-50. ·Zbl 1431.62564号 [60] Vehtari，A.和Ojanen，J.（2012）。“模型评估、选择和比较的贝叶斯预测方法综述。”统计调查，6（无）：142-228。统一资源定位地址https://doi.org/10.1214/12-SS102 ·Zbl 1302.62011年 [61] 韦克菲尔德，J.（2013）。贝叶斯和频繁回归方法《统计学中的斯普林格系列》。纽约施普林格。URLhttps://books.google.de/books？id=OUJEAAAQBAJ ·兹比尔1281.62014 [62] Wood，S.（2017）。广义可加模型：R引言查普曼和霍尔/CRC统计科学文本。CRC出版社/Taylor&Francis集团。统一资源定位地址https://books.google.de/books？id=OitmjwEACAAJ ·Zbl 1368.62004号 [63] Wood，S.N.（2011年）。“半参数广义线性模型的快速稳定限制最大似然和边际似然估计。”·Zbl 1411.62089号 [64] Yanchenko，E.、Bondell，H.D.和Reich，B.J.（2021）。“广义线性混合模型的R2D2先验”URLhttps://arxiv.org/abs/2111.10718 [65] Zanella，G.和Roberts，G.（2021年）。“多级线性模型、吉布斯采样器和多重网格分解（含讨论）。”贝叶斯分析, 16(4): 1309-2770. 统一资源定位地址https://doi.org/10.1214/20-BA1242 [66] Zhang，Y.D.、Naughton，B.P.、Bondell，H.D.和Reich，B.J.（2020年）。“贝叶斯回归使用模型拟合的先验：R2-D2收缩先验。”美国统计协会杂志, 0(0): 1-13. 统一资源定位地址https://doi.org/101080/01621459.2020.1825449 ·Zbl 1507.62266号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。