×

讨论。关于“复杂和深层模型中机器学习的马蹄规则化”的讨论。 (英语) Zbl 07776801号

摘要:我非常喜欢阅读Bhadra等人的文章。(2020),并祝贺作者对机器学习模型的基于马蹄形的正则化方法进行了全面而连贯的综述。我感谢编辑们给我这个机会,就这篇有用的文章写一篇讨论稿,我希望这篇文章将来会成为统计学家和从业者的好指南。
自Carvalho等人(2010年)发表开创性论文以来,马蹄铁正则化方法取得了巨大进展,取得了巨大的进展。当前的评论文章就是对此的证明。虽然我主要研究高维贝叶斯建模的连续尖峰和板条先验,但我一直怀着极大的兴趣关注马蹄形正则化的文献。对于我对本文的评论,我将重点讨论这两种方法之间的一些比较,特别是在模型构建和方法以及一些计算考虑方面。我想首先提供一些关于基于horsheshoe previor框架执行有效推断的评论。

MSC公司:

62Fxx公司 参数化推理
62Jxx型 线性推断、回归
62件 统计学的应用

软件:

EMVS公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Belloni,A.、Chernozhukov,V.和Hansen,C.(2014)。在高维对照中选择后对治疗效果的推断。经济收益率。研究,81(2),608-650·Zbl 1409.62142号
[2] Carvalho,C.M.、Polson,N.G.和Scott,J.G.(2010年)。稀疏信号的马蹄形估计器。《生物特征》,97(2),465-480·Zbl 1406.62021号
[3] Chung,F.&Lu,L.(2002)。给定期望度的随机图中的平均距离。程序。美国国家科学院。科学。,99(25), 15879-15882. ·Zbl 1064.05137号
[4] Gan,L.、Yang,X.、Narisetty,N.N.和Liang,F.(2019年)。多图形模型的贝叶斯联合估计。在神经信息处理系统会议上。加拿大温哥华,9802-9812。
[5] George,E.I.和McCulloch,R.E.(1993)。通过吉布斯采样选择变量。美国统计协会期刊,88,881-889。
[6] Guo,J.、Levina,E.、Michailidis,G.和Zhu,J.(2011)。多个图形模型的联合估计。《生物特征》,98(1),1-15·Zbl 1214.62058号
[7] 埃尔南德斯·洛巴托(Hernández‐Lobato,D.)、埃尔南德斯‐洛巴托、J.M.和杜邦(Dupont,P.)(2013年)。使用期望传播进行贝叶斯群特征选择的广义尖峰和板先验。J.机器学习。1891-1945年第14(1)号决议·Zbl 1318.62229号
[8] Ishwaran,H.和Rao,J.S.(2005年)。尖峰和平板变量选择:频率和贝叶斯策略。《美国年鉴》,33(2),730-773·Zbl 1068.62079号
[9] Javanmard,A.和Montanari,A.(2014)。高维回归的置信区间和假设检验。J.机器学习。第15(1)号决议,2869-2909·Zbl 1319.62145号
[10] Johndrow,J.、Orenstein,P.和Bhattacharya,A.(2020年)。gwas尺度下的Bayes收缩:马蹄形先验可扩展MCMC算法的收敛和近似理论。J.机器学习。Res.To出现。21, 1-61. ·兹比尔1499.62244
[11] Johnson,V.E.&Rossell,D.(2012年)。高维环境中的贝叶斯模型选择。美国统计协会期刊,107,649-660·Zbl 1261.62024号
[12] Liang,F.、Song,Q.和Yu,K.(2013)。高维广义线性模型的贝叶斯子集建模。美国统计协会期刊,108,589-606·Zbl 06195963号
[13] Mitchell,T.J.和Beauchamp,J.J.(1988年)。线性回归中的贝叶斯变量选择(与讨论)。《美国统计协会期刊》,第83期,第1023-1036页·Zbl 0673.62051号
[14] Narisetty,N.N.和He,X.(2014)。具有收缩和扩散先验的贝叶斯变量选择。《美国年鉴》,42(2),789-817·Zbl 1302.62158号
[15] Narisetty,N.N.、Shen,J.和He,X.(2019)。Skinny Gibbs:用于模型选择的可扩展且一致的Gibbs采样器。美国统计协会期刊,1141205-1217·兹比尔1428.62116
[16] Peterson,C.、Stingo,F.C.和Vannucci,M.(2015)。多高斯图形模型的贝叶斯推断。《美国统计协会期刊》,110(509),159-174·Zbl 1373.62106号
[17] Ročková,V.&George,E.I.(2014)。EMVS:贝叶斯变量选择的EM方法。《美国统计协会期刊》,109(506),828-846·Zbl 1367.62049号
[18] Shin,M.,Bhattacharya,A.&Johnson,V.E.(2018年)。超高维环境中使用非局部先验密度的可扩展贝叶斯变量选择。统计正弦。,28(2), 1053-1078. ·Zbl 1390.62125号
[19] Tan,L.S.L.、Jasra,A.、De Iorio,M.和Ebbels,T.M.D.(2017)。多高斯图形模型的贝叶斯推理及其在代谢关联网络中的应用。附录申请。统计,11(4),2222-2251·Zbl 1383.62294号
[20] Van de Geer,S.、Bühlmann,P.、Ritov,Y.和Dezeure,R.(2014)。关于高维模型的渐近最优置信域和检验。《美国年鉴》,42(3),1166-1202·兹比尔1305.62259
[21] van der Pas,S.、Szabo,B.和van der Vaart,A.(2017年)。马蹄铁的不确定性量化(讨论)。贝叶斯分析。,12(4),1221-1274·Zbl 1384.62155号
[22] Wang,J.、He,X.和Xu,G.(2020年)。在高维模型中对治疗效果的借方推断。美国统计协会期刊,115,442-454·Zbl 1439.62170号
[23] Xu,X.和Ghosh,M.(2015)。群套索的贝叶斯变量选择和估计。贝叶斯分析。,10(4), 909-936. ·Zbl 1334.62132号
[24] Yang,X.和Narisetty,N.N.(2020年)。基于层次贝叶斯模型的群组选择。Analysis Advance出版物(2020年)·Zbl 1459.62029号
[25] Yang,Y.,Wainwright,M.J.和Jordan,M.I.(2016)。关于高维贝叶斯变量选择的计算复杂性。《Ann.Stat.》,第44卷,第2497-2532页·兹比尔1359.62088
[26] Yuan,M.和Lin,Y.(2006)。分组变量回归中的模型选择和估计。J.R.Stat.Soc.,68,49-67·Zbl 1141.62030号
[27] Zhang,C.‐H.和Zhang,S.S.(2014)。高维线性模型中低维参数的置信区间。J.R.统计社会服务。B(Stat.Methodol.),76(1),217-242·Zbl 1411.62196号
[28] Zhu,Y.&Barber,R.F.(2015)。多高斯图形模型自适应估计的对数移位惩罚。第十八届国际人工智能与统计会议论文集。美国加利福尼亚州圣地亚哥,第1153-1161页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。