詹姆斯·约翰卓;保罗·奥伦斯坦;阿尼尔班·巴塔查里亚 马蹄形先验的可伸缩近似MCMC算法。 （英语） Zbl 1499.62244号 J.马赫。学习。研究。 21，第73号论文，61页（2020年）。 摘要：马蹄形先验经常用于高维模型的贝叶斯分析，并已被证明在事实稀疏时可以实现最小-最大最优风险特性。虽然用于极受欢迎的拉索和弹性网程序的基于优化的算法可以扩展到数十万个维度，但使用马尔可夫链蒙特卡罗（MCMC）进行计算的马蹄形算法仅限于数量级较小的问题。这是因为每一步的计算成本很高，时间平均估计量的方差随着维数的增加而增加。我们提出了两种新的MCMC算法用于这些模型的计算，与现有的替代算法相比，它们的性能有了显著提高。其中一种算法还近似于昂贵的矩阵乘积，以在高维应用中给出数量级的加速。我们证明了近似算法的准确性的保证，并表明随着链的延伸逐渐减小近似误差将产生精确的算法。该算法的可扩展性在问题规模高达（N=5000）个观察值和（p=50000）个预测值的模拟中得到了说明，并在与（N=2267）和（p=98385）的全基因组关联研究中得到了应用。实验结果还表明，新算法的均方误差较低，区间覆盖较好，并阐明了以往算法在高维中经常忽略的后验特征，包括后边缘的双峰性，表明模型中哪些协变量属于不确定性。 引用于17文件 MSC公司： 62J07型 岭回归；收缩估计器（拉索） 2015年1月62日 贝叶斯推断 关键词：贝叶斯分析;高维模型;MCMC近似;微扰理论;先收缩 PDF格式BibTeX公司 XML格式引用 \textit{J.Johndrow}等人，J.Mach。学习。第21号决议，第73号论文，61页（2020年；Zbl 1499.62244） 全文： 链接 参考文献： [1] 杰克·贝克（Jack Baker）、保罗·费恩黑德（Paul Fearnhead）、艾米莉·福克斯（Emily B Fox）和克里斯托弗·奈梅特（Christopher Nemeth）。随机梯度MCMC.arXiv预印本arXiv:1706.054392017的控制变量。 [2] 雷米·巴登特、阿诺德·杜塞特和克里斯·霍姆斯。高数据的马尔可夫链蒙特卡罗方法。机器学习研究杂志，18（1）：1515-15572017·Zbl 1433.68394号 [3] Anindya Bhadra、Jyotishka Datta、Nicholas G Polson和Brandon T Willard。Lasso与Horseshoe.arXiv预印本arXiv:1706.101792017。 [4] Anirban Bhattacharya、Debdeep Pati、Natesh S Pillai和David B Dunson。Dirichlet-Laplace优先获得最佳收缩率。《美国统计协会杂志》，110（512）：1479-14902015年·Zbl 1373.62368号 [5] 阿尼尔班·巴塔查里亚（Anirban Bhattacharya）、安提克·查克拉波蒂（Antik Chakraborty）和巴尼·马利克（Bani K Mallick）。高维回归中高斯混合先验的快速采样。《生物特征》，103（4）：985-9912016。 [6] 卡洛斯·卡瓦略（Carlos M Carvalho）、尼古拉斯·波尔森（Nicholas G Polson）和詹姆斯·斯科特（James G Scott）。稀疏信号的马蹄形估计器。《生物特征》，97（2）：465-4802010·Zbl 1406.62021号 [7] Antik Chakraborty、Anirban Bhattacharya和Bani K Mallick。贝叶斯稀疏多元回归用于同时降低秩和选择变量。arXiv预印本arXiv:1612.008772016。 [8] 阿兰·杜莫斯（Alain Durmus）和埃里克·穆林斯（Eric Moulines）。通过未经调整的Langevin算法进行高维贝叶斯推理。arXiv预印本arXiv:1605.015592016。 [9] 布拉德利·埃夫隆（Bradley Efron）、特雷弗·哈斯蒂（Trevor Hastie）、伊恩·约翰斯通（Iain Johnstone）和罗伯特·蒂比拉尼（Robert Tibshirani）。最小角度回归。《统计年鉴》，32（2）：407-4992004·Zbl 1091.62054号 [10] James M Flegal和Galin L Jones。马尔可夫链蒙特卡罗中的批均值和谱方差估计。《统计年鉴》，38（2）：1034-1070，2010年·Zbl 1184.62161号 [11] Jerome Friedman、Trevor Hastie和Rob Tibshirani。广义线性模型的坐标下降正则化路径。统计软件杂志，33（1）：1-222010。ISSN 1548-7660。doi:10.18637/jss.v033.i01。统一资源定位地址https://www.jstatsoft.org/v033/i01。 [12] 爱德华一世·乔治和罗伯特·E·麦库洛赫。贝叶斯变量选择方法。中国统计局，7:339-3731997·Zbl 0884.62031号 [13] 伊兹雷尔·索洛莫诺维奇·格拉德什坦和伊奥西夫·莫伊塞维奇·里日克。积分、级数和乘积表。学术出版社，1996年·Zbl 0918.65001号 [14] 理查德·哈恩（P Richard Hahn）、何靖宇（Jingyu He）和赫迪伯特·F·洛佩斯（Hedibert F Lopes）。任意先验高斯线性回归的有效采样。《计算与图形统计杂志》，（即将出版），2018年。 [15] 马丁·海勒和乔纳森·马丁利。再看一下哈里斯的马尔可夫链遍历定理。InSeminar关于随机分析，随机场和应用VI，第109-117页。施普林格，2011年·兹比尔1248.60082 [16] Pierre E Jacob、John O’Leary和Yves F Attchad’E。无偏马尔可夫链蒙特卡罗与耦合。arXiv预印本arXiv:1708.036252017。 [17] 詹姆斯·约翰德罗（James E Johndrow）和乔纳森·马丁利（Jonathan C Mattingly）。马尔可夫链近似的误差界。arXiv预印本arXiv:1711.053822017。 [18] 詹姆斯·约翰德罗（James E Johndrow）、亚伦·史密斯（Aaron Smith）、纳特斯·皮莱（Natesh Pillai）和大卫·B·邓森（David B Dunson）。MCMC用于不平衡分类数据。《美国统计协会杂志》（即将出版），2018年。 [19] 瓦伦·约翰逊和大卫·罗塞尔。高维环境中的贝叶斯模型选择。《美国统计协会杂志》，107（498）：649-6602012年·Zbl 1261.62024号 [20] Kshitij Khare和James P Hobert。贝叶斯套索的几何遍历性。《电子统计杂志》，2013年，7:2150-2163·Zbl 1349.60124号 [21] 拉斐尔·卡辛斯基。微分方程的随机稳定性。斯普林格，1980年。 [22] 阿诺普·科拉提卡拉（Anoop Koratikara）、陈玉田（Yutian Chen）和马克斯·威林（Max Welling）。MCMC土地的紧缩：削减大都会黑斯廷斯的预算。2014年国际机器学习会议，第181-189页。 [23] 刘晓雷、黄孟、范斌、爱德华·S·巴克勒和张志武。重复使用固定和随机效应模型进行强大和高效的全基因组关联研究。《公共科学图书馆·遗传学》，12（2）：e10057672016年。 [24] Enes Makalic和Daniel F Schmidt。马蹄形估计器的简单取样器。IEEE信号处理快报，23（1）：179-1822016。 [25] 肖恩·梅恩和理查德·特威迪。马尔可夫链和随机稳定性。施普林格，1993年·Zbl 0925.60001号 [26] 亚历山大·米托法诺夫（Alexander Y.Mitrophanov）。一致遍历马尔可夫链的灵敏度和收敛性。应用概率杂志，42（4）：1003-10142005·Zbl 1092.60027号 [27] 纳文·纳里塞蒂（Naveen N Narisetty）、胡安·沈（Juan Shen）和何旭明（Xuming He）。瘦小的吉布斯：用于模型选择的一致且可扩展的吉布斯采样器。《美国统计协会杂志》，2018年第1-13页。 [28] 西村明彦和Marc A Suchard。“large n&large p”稀疏贝叶斯逻辑回归模型中加速吉布斯抽样的先决条件共轭梯度。arXiv预印arXiv:1810.124372018。 [29] Subhadip Pal和Kshitij Khare。贝叶斯收缩模型的几何遍历性。《电子统计杂志》，8（1）：604-6452014·Zbl 1297.62057号 [30] 特雷弗公园和乔治·卡塞拉。贝叶斯套索。《美国统计协会杂志》，103（482）：681-6862008·Zbl 1330.62292号 [31] Natesh S Pillai和Aaron Smith。近似mcmc链的遍历性及其在大数据集中的应用。arXiv预打印arXiv:1405.01822014。 [32] 默里·波洛克（Murray Pollock）、保罗·费恩黑德（Paul Fearnhead）、亚当·约翰森（Adam M Johansen）和加雷斯·奥·罗伯茨（Gareth O Roberts）。可扩展的Langevin精确算法：大数据的贝叶斯推理。arXiv预印本arXiv:1609034361016。 [33] 尼古拉斯·波尔森（Nicholas G Polson）和詹姆斯·斯科特（James G Scott）。全球收缩，局部行动：稀疏贝叶斯正则化和预测。贝叶斯统计学编辑J.M.Bernardo、M.J.Bayarri和J.O.Berger，第9卷，第501-538页。牛津，2010年。 [34] 尼古拉斯·波尔森（Nicholas G Polson）、詹姆斯·斯科特（James G Scott）和杰西·温德尔（Jesse Windle）。贝叶斯桥。英国皇家统计学会杂志：B辑（统计方法），76（4）：713-7332014·Zbl 07555460号 [35] 加雷思·罗伯茨（Gareth O.Roberts）、杰弗里·罗森塔尔（Jeffrey S.Rosenthal）和彼得·施瓦茨（Peter O.Schwartz）。扰动马尔可夫链的收敛性。应用概率杂志，35（1）：1-111998·Zbl 0909.60049号 [36] Maria C Romay、Mark J Millard、Jeffrey C Glaubitz、Jason A Peiffer、Kelly L Swarts、Terry M Casstevens、Robert J Elshire、Charlotte B Acharya、Sharon E Mitchell、Sherry A Flint-Garcia等。美国国家玉米自交系种子库的综合基因分型。基因组生物学，14（6）：R552013。 [37] 杰弗里·罗森塔尔。马尔可夫链蒙特卡罗的简化条件和收敛速度。《美国统计协会杂志》，90（430）：558-5661995年·Zbl 0824.60077号 [38] 丹尼尔·鲁道夫（Daniel Rudolf）和尼古拉·施魏泽（Nikolaus Schweizer）。基于Wasserstein距离的马尔可夫链扰动理论。伯努利，24（4）：2610-26392018·Zbl 1465.60065号 [39] 詹姆斯·G·斯科特和詹姆斯·O·伯杰。变量选择问题中的贝叶斯和经验贝叶斯多重性调整。《统计年鉴》，38（5）：2587-26192010·Zbl 1200.62020年 [40] 罗伯特·提比拉尼（Robert Tibshirani）。通过套索回归收缩和选择。英国皇家统计学会期刊。B辑（方法学），58（1）：267-2881996·Zbl 0850.62538号 [41] S.L.Van Der Pas、B.J.K.Kleijn和A.W.Van Der-Vaart。马蹄形估计器：近黑色向量周围的后验浓度。《电子统计杂志》，8（2）：2585-26182014·Zbl 1309.62060号 [42] 圣埃弗尼·范德帕斯（St´ephanie van der Pas）、博托德·萨博（Botond Szab´o）和阿德·范德法特（Aad van der Vaart）。马蹄铁的自适应后收缩率。《电子统计杂志》，11（2）：3196-3225，2017a·Zbl 1373.62140号 [43] 圣埃弗尼·范德帕斯（St´ephanie van der Pas）、博托德·萨博（Botond Szab´o）和阿德·范德法特（Aad van der Vaart）。马蹄铁的不确定度量化（带讨论）。贝叶斯分析，12（4）：1221-12742017b·Zbl 1384.62155号 [44] Max Welling和Yee W Teh。通过随机梯度Langevin动力学进行贝叶斯学习。第28届国际机器学习会议（ICML-11）论文集，第681-688页，2011年。 [45] 安德烈亚斯·温克尔鲍尔。正态分布的矩和绝对矩。arXiv预印本arXiv:1209.43402012。 [46] 曾萍和周翔。利用潜在Dirichlet过程回归模型对复杂性状进行非参数遗传预测。《自然通讯》，8（1）：4562017。 [47] 补充资料 [48] 本附录包含了拒收取样器的推导和一些附加数据 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。