×
卡洛斯·塔迪·帕加尼·扎尼尼;Helio S.米根。;罗纳尔多·迪亚斯

贝叶斯桥回归的变分推理。 （英语） Zbl 1523.62029号

统计计算。 34，第1号，第13号论文，21页（2024年）.
小结：回归模型中系数正则化的桥接方法使用\（\ell_{\alpha}\）范数和\（\alpha\in（0，+\infty）\）来定义回归系数大值的惩罚。特殊情况包括拉索和山脊的处罚。在贝叶斯模型中，惩罚是通过系数的先验分布来实现的。尽管MCMC方法可用于贝叶斯桥回归，但对于大数据集，尤其是高维数据集，它们可能非常慢。本文针对具有桥式惩罚的半参数回归模型，提出了一种贝叶斯推理的自动微分变分推理的实现方法。协变量的非参数效应用B样条建模。建议的推理过程允许在每次迭代时使用小批量数据（由于基于随机梯度的更新），因此与MCMC相比，大大减少了计算时间。保留了完整的贝叶斯推断，因此可以对所有模型参数进行联合不确定性估计。仿真研究表明了该方法的主要特性，并给出了在大型实际数据集上的应用。

MSC公司：

62-08 统计问题的计算方法
62J07型 岭回归；收缩估计器（拉索）
2015年1月62日 贝叶斯推断

关键词：

变分推理;桥梁处罚;贝叶斯推断;样条曲线

软件：

业务风险管理系统;亚当;DiffSharp（差异锐化）;野味;阿达格拉德;mgcv公司;阿达德尔塔
PDF格式BibTeX公司 XML格式引用
\textit{C.T.Pagani Zanini}等人，《统计计算》。34，第1号，第13号论文，21页（2024；Zbl 1523.62029）
全文： 内政部 arXiv公司

参考文献：

[1] Alves，L.，Dias，R.，Migon，H.S.：变分全贝叶斯套索：回归样条中的结选择（2021）。arXiv预打印arXiv:2102.13548
[2] Armagan，A.：变分桥接回归。摘自：《人工智能与统计》，第17-24页（2009年）
[3] Baydin股份有限公司；Pearlmutter，文学学士；Radul，AA；Siskind，JM，机器学习中的自动微分：一项调查，J.马赫。学习。决议，18，1-43（2018）·Zbl 06982909号
[4] 布莱，DM；Kucukelbir，A。；McAuliffe，JD，《变量推断：统计学家评论》，《美国统计协会期刊》，第112、518、859-877页（2017年）·doi:10.1080/01621459.2017.1285773
[5] 伯克纳，PC，brms:R包，用于使用Stan，J.Stat.Softw的贝叶斯多级模型。，80，1，1-28（2017）·doi:10.18637/jss.v080.2001
[6] Carvalho，C.M.，Polson，N.G.，Scott，J.G.：通过马蹄铁处理稀疏性。摘自：《人工智能与统计》，第73-80页（2009年）
[7] 卡塞拉，G。；戈什，M。；吉尔·J。；Kyung，M.，惩罚回归，标准误差和贝叶斯套索，贝叶斯分析。，5, 2, 369-411 (2010) ·Zbl 1330.62289号 ·doi:10.1214/10-BA607
[8] 柯里，ID；Derban，M.，《使用p-样条曲线的灵活平滑：统一方法》，统计模型。，2, 4, 333-349 (2002) ·Zbl 1195.62072号 ·数字对象标识码：10.1191/1471082x02st039ob
[9] Damien，P。；Walker，SG，《采样截断法向、β和γ密度》，J.Compute。图表。统计，10，2，206-215（2001）·doi:10.1198/10618600152627906
[10] Denison，D。；马利克，B。；Smith，A.，《自动贝叶斯曲线拟合》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），第60、2、333-350页（1998年）·Zbl 0907.62031号 ·doi:10.1111/1467-9868.00128
[11] 直径，R。；Gamerman，D.，混合样条非参数回归的贝叶斯方法，J.Stat.Compute。模拟。，72285-297（2002年）·Zbl 0995.62040号 ·doi:10.1080/00949650212844
[12] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12、7、2121-2159号决议（2011年）·Zbl 1280.68164号
[13] 艾尔斯，PH；Marx，BD，带b样条和惩罚的灵活平滑，Stat.Sci。，11, 2, 89-121 (1996) ·兹比尔0955.62562 ·doi:10.1214/ss/1038425655
[14] 弗兰克，LE；Friedman，JH，一些化学计量学回归工具的统计观点，技术计量学，35，2，109-135（1993）·Zbl 0775.62288号 ·doi:10.1080/00401706.1993.10485033
[15] 哈斯蒂，T。；Tibshirani，R.，广义加性模型，统计科学。，1, 3, 297-310 (1986) ·Zbl 0645.62068号
[16] 哈斯蒂，T。；Tibshirani，R.，Bayesian回火，Stat.Sci。，15, 3, 196-213 (2000) ·Zbl 1059.62524号
[17] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏统计学习》，Monogr。统计应用程序。概率。，143, 143 (2015) ·Zbl 1319.68003号
[18] 霍尔，AE；Kennard，RW，Ridge回归：非正交问题的应用，技术计量学，12，1，69-82（1970）·Zbl 0202.17206号 ·doi:10.1080/00401706.1970.10488635
[19] 霍尔，AE；Kennard，RW，Ridge回归：非正交问题的有偏估计，技术计量学，12，1，55-67（1970）·Zbl 0202.17205号 ·网址：10.1080/00401706.1970.10488634
[20] Kingma，D.P.，Ba，J.：亚当：随机优化方法（2014）。arXiv预打印arXiv:1412.6980
[21] Kingma，D.P.，Welling，M.：自动编码变分贝叶斯（2013）。arXiv预打印arXiv:1312.6114
[22] Kukukelbir，A.，Ranganath，R.，Gelman，A.，Blei，D.：斯坦的自动变分推理。In:神经信息处理系统进展28（2015）·Zbl 1437.62109号
[23] 库克尔比尔，A。；Tran，D。；Ranganath，R。；Gelman，A。；布莱，DM，自动微分变分推理，J.马赫。学习。第18号、第1号、第430-474号决议（2017年）·Zbl 1437.62109号
[24] 朗·S。；Brezger，A.，Bayesian p样条，J.Compute。图表。《法律总汇》，13，1，183-212（2004）·Zbl 07257866号 ·doi:10.1198/1061860043010
[25] 冷，C。；Tran，明尼苏达州；诺特·D·贝叶斯自适应套索，《Ann.Inst.Stat.Math.》。，66, 221-244 (2014) ·Zbl 1334.62130号 ·doi:10.1007/s10463-013-0429-6
[26] 李，F。；Villani，M.，高效贝叶斯多元表面回归，Scand。J.Stat.，40，4，706-723（2013）·Zbl 1283.62052号 ·doi:10.1111/sjos.12022
[27] 李强。；Lin，N.，《贝叶斯弹性网》，贝叶斯分析。，5, 1, 151-170 (2010) ·Zbl 1330.65026号 ·doi:10.1214/10-BA506
[28] Luts，J.，Wand，M.P.：计数-响应半参数回归的变分推断。贝叶斯分析10（4），991-1023（2015）·Zbl 1335.62054号
[29] Mallick，H。；Yi，N.，贝叶斯桥回归，J.Appl。统计，45，6，988-1008（2018）·Zbl 1516.62455号 ·doi:10.1080/02664763.2017.1324565
[30] 梅尼克塔斯，M。；Wand，MP，异方差半参数回归的变分推断，奥斯汀。N.Z.J.Stat.，57，119-138（2015）·Zbl 1331.62236号 ·doi:10.1111/anzs.12105
[31] Ong，VMH公司；丹麦门萨；诺特，DJ；乔·S。；Park，B。；Choi，T.，使用高斯过程先验的半参数回归的变分贝叶斯方法，电子。J.Stat.，11，2，4258-4296（2017）·Zbl 1473.62138号 ·doi:10.1214/17-EJS1324
[32] 佩斯利，J.W.，布莱，D.M.，乔丹，M.I.：随机搜索的变分贝叶斯推理。收录于：《第29届国际机器学习大会论文集》（icml-12），第1367-1374页（2012年）
[33] 帕克，T。；Casella，G.，《贝叶斯套索》，J.Am.Stat.Assoc.，103，482，681-686（2008）·Zbl 1330.62292号 ·doi:10.1198/016214500000037
[34] Polson，NG；斯科特，JG；Windle，J.，《贝叶斯桥》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），第76、4、713-733页（2014年）·Zbl 07555460号 ·doi:10.1111/rssb.12042
[35] Ranganath，R.，Gerrish，S.，Blei，D.M.：黑箱变分推理。收录：Svententh国际人工智能和统计会议记录（2014年）
[36] Rue，H.，Martino，S.，Chopin，N.：使用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断。J.R.统计社会服务。B（Stat.Methodol.）71（2），319-392（2009）·Zbl 1248.62156号
[37] 西尔弗曼，BW；Green，PJ，非参数回归和广义线性模型（1994），伦敦：查普曼和霍尔出版社，伦敦·Zbl 0832.62032号
[38] Subbotin，MT，《错误频率定律》，斯博尼克：数学。，31, 2, 296-301 (1923)
[39] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.：Ser。B（Methodol.），58，1，267-288（1996）·Zbl 0850.62538号
[40] Tibshirani，R.，《考克斯模型中变量选择的套索方法》，《统计医学》，第16、4、385-395页（1997年）·doi:10.1002/（SICI）1097-0258（19970228）16:4<385:：AID-SIM380>3.0.CO；2-3
[41] Wand，MP，通过消息传递实现任意大半参数回归模型的快速近似推断，美国统计协会，112，517，137-168（2017）·doi:10.1080/01621459.2016.1197833
[42] West，M.，Harrison，J.：贝叶斯预测和动态模型。Springer统计学系列，Springer-Verlag，纽约（1997）·兹比尔0871.62026
[43] Wood，S.:mgcv：混合gam计算工具，具有GCV/AIC/REML平滑度估计。R包版本1.8-1（2012）
[44] Wood，SN，广义加性模型：R导论（2017），博卡拉顿：CRC出版社，博卡拉顿·兹比尔1368.62004 ·doi:10.1201/9781315370279
[45] 尹，M.，周，M.：半隐式变分推理。摘自：机器学习国际会议，第5660-5669页（2018年）
[46] 医学博士Zeiler：Adadelta：一种自适应学习率方法（2012年）。arXiv预印本arXiv：1212.5701
[47] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，J.R.Stat.Soc.Ser。B（Stat.Methodol.），67，2，301-320（2005）·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。