×

基于拉普拉斯图的贝叶斯正则化。 (英语) Zbl 1327.62152号

摘要:正则化在现代统计研究中起着至关重要的作用,尤其是在高维变量选择问题中。现有的贝叶斯方法通常先验地假设变量之间的独立性。在本文中,我们提出了一种新的贝叶斯方法,该方法通过图拉普拉斯矩阵显式地建模依赖结构。我们还将图拉普拉斯推广到允许正相关和负相关变量。然后提出了拉普拉斯图的先验分布,它允许共轭,从而大大简化了计算。我们证明了所提出的贝叶斯模型能够得到适当的后验分布。我们的方法与一些现有的正则化方法,如弹性网、拉索、八角收缩和聚类回归算法(OSCAR)和岭回归方法之间建立了联系。提出了一种基于参数增强的马尔可夫链蒙特卡罗方法用于后验计算。最后,我们通过几个仿真研究和一个涉及电子公司关键绩效指标的实际数据集的应用来演示该方法。

MSC公司:

2015年1月62日 贝叶斯推断
62H30型 分类和区分;聚类分析(统计方面)
62J07型 岭回归;收缩估计器(拉索)
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Bondell,H.和Reich,B.(2008年)。“同步回归收缩、变量选择和OSCAR预测值的监督聚类”,《生物计量学》,64:115-123·Zbl 1146.62051号 ·doi:10.1111/j.1541-0420.2007.00843.x
[2] Bornn,L.、Gottardo,R.和Doucet,A.(2010年)。《分组先验和贝叶斯弹性网》,《技术报告254》,不列颠哥伦比亚大学统计系·Zbl 1190.62046号
[3] Chakraborty,S.和Guo,R.(2011)。“贝叶斯混合Huberized SVM及其在高维医学数据中的应用”,《计算统计与数据分析》,55(3):1342-1356·Zbl 1328.62584号 ·doi:10.1016/j.csda.2010.09.024
[4] Chipman,H.(1996)。“具有相关预测因子的贝叶斯变量选择”,《加拿大统计杂志》,24:17-36·Zbl 0849.62032号 ·doi:10.2307/3315687
[5] Clyde,M.、Parmigiani,G.和Vidakovic,B.(1998年)。“小波中的多重收缩和子集选择”,《生物统计学》,85:391-401·Zbl 0938.62021号 ·doi:10.1093/biomet/85.2.391
[6] Garcia-Donato,G.和Martinez-Beneito,M.(2013)。“关于大模型空间贝叶斯变量选择问题的抽样策略”,《美国统计协会期刊》,108:340-352·Zbl 06158347号 ·doi:10.1080/01621459.2012.742443
[7] Gelfand,A.E.和Smith,A.F.M.(1990)。“基于抽样的边缘密度计算方法”,《美国统计协会期刊》,85:398-409·Zbl 0702.62020号 ·doi:10.2307/2289776
[8] Gelman,A.、Carlin,J.、Stern,H.和Rubin,R.(2004)。贝叶斯数据分析。查普曼和霍尔/CRC·Zbl 1039.62018号
[9] George,E.I.和McCulloch,R.E.(1993)。“通过吉布斯抽样进行变量选择”,《美国统计协会杂志》,88(423):881-889。
[10] - (1997). “贝叶斯变量选择方法”,《中国统计》,7:339-373·Zbl 0884.62031号
[11] Hans,C.(2009年)。贝叶斯套索回归〉,《生物统计学》,96(4):835-845·Zbl 1179.62038号 ·doi:10.1093/biomet/asp047
[12] - (2011). “Orthant正态先验弹性网回归建模”,《美国统计协会期刊》,106:1383-1393·兹比尔1234.62106 ·doi:10.1198/jasa.2011.tm09241
[13] Hoerl,A.E.和Kennard,R.W.(1970年)。“岭回归:非正交问题的有偏估计”,《技术计量学》,12(1):55-67·Zbl 0202.17205号 ·doi:10.307/1267351
[14] Ishwaran,H.和Rao,J.S.(2005年)。《尖峰和板状变量选择:频率论和贝叶斯策略》,《统计学年鉴》,33(2):730-773·Zbl 1068.62079号 ·doi:10.1214/09053604000001147
[15] Kaplan,R.和Norton,D.(1992年)。“平衡计分卡-衡量推动绩效”,《哈佛商业评论》,第71-79页。
[16] - (1996). 平衡计分卡:将战略转化为行动。马萨诸塞州波士顿:哈佛商学院出版社。
[17] Kim,S.和Xing,E.P.(2009年)。“相关基因组关联与数量性状网络的统计估计”,科学遗传学公共图书馆,5(8)。
[18] Kuo,L.和Mallick,B.(1998年)。“回归模型的变量选择”,Sankhya系列B,60:65-81·Zbl 0972.62016号
[19] Kyung,M.、Gill,J.、Ghosh,M.和Casella,G.(2010年)。“惩罚回归、标准误差和贝叶斯拉索”,《贝叶斯分析》,5(2):369-412·Zbl 1330.62289号 ·doi:10.1214/10-BA607
[20] Li,C.和Li,H.(2010)。“图形结构协变量的变量选择和回归分析及其在基因组学中的应用”,《应用统计学年鉴》,4(3):1498-1516·Zbl 1202.62157号 ·doi:10.1214/10-AOAS332
[21] Li,F.和Zhang,N.(2010年)。“结构化高维协变量空间中的贝叶斯变量选择及其在基因组学中的应用”,《美国统计协会杂志》,105(491):1202-1214·Zbl 1390.62027号 ·doi:10.1198/jasa.2010.tm08177
[22] Li,Q.和Lin,N.(2010)。“贝叶斯弹性网”,贝叶斯分析,5(1):151-170·Zbl 1330.65026号 ·doi:10.1214/10-BA506
[23] Liang,F.、Paulo,R.、Molina,G.、Clyde,M.A.和Berger,J.O.(2008)。“贝叶斯变量选择的(g)先验混合”,《美国统计协会期刊》,103(481):410-423·Zbl 1335.62026号 ·doi:10.1198/0162145000001337
[24] McCullagh,P.和Nelder,J.A.(1989)。广义线性模型。查普曼和霍尔/CRC·兹比尔074462098
[25] Mitchell,T.J.和Beauchamp,J.J.(1988)。“线性回归中的贝叶斯变量选择”,《美国统计协会杂志》,83:1023-1036·Zbl 0673.62051号 ·doi:10.2307/2290129
[26] Ng,A.、Jordan,M.和Weiss,Y.(2002年)。“关于光谱聚类:分析和算法”,载于Dietterich,T.、Becker,S.和Ghahramani,Z.(eds.),《神经信息处理系统进展》14。麻省理工学院出版社。
[27] Park,T.和Casella,G.(2008)。《贝叶斯拉索》,《美国统计协会杂志》,103(482):681-686·Zbl 1330.62292号 ·doi:10.1198/016214500000037
[28] Smith,M.和Kohn,R.(1996年)。“使用贝叶斯变量选择的非参数回归”,《计量经济学杂志》,75:317-343·Zbl 0864.62025号 ·doi:10.1016/0304-4076(95)01763-1
[29] Storey,J.D.和Tibshirani,R.(2003)。《全基因组研究的统计意义》,《国家科学院学报》。美国,100:9440-9445·Zbl 1130.62385号 ·doi:10.1073/pnas.1530509100
[30] Tibshirani,R.(1996)。《通过套索的回归收缩和选择》,英国皇家统计学会期刊,B辑,58(1):267-288·Zbl 0850.62538号
[31] Tipping,M.E.(2001)。“稀疏贝叶斯学习和相关向量机”,《机器学习研究杂志》,1:211-244·Zbl 0997.68109号 ·doi:10.1162/15324430152748236
[32] Tutz,G.和Ulbricht,J.(2009年)。“惩罚回归与基于相关性的惩罚”,《统计计算》,19:239-253·doi:10.1007/s11222-008-9088-5
[33] Vannucci,M.和Stingo,F.(2011年)。“结合生物信息的变量选择贝叶斯模型(含讨论)”,收录于Bernardo,J.、Bayarri,M.、Berger,J.,Dawid,A.、Heckerman,D.、Smith,A.和West,M.(编辑),贝叶斯统计,第9卷,659-678。牛津大学出版社。
[34] von Luxburg,U.(2007年)。“光谱聚类教程”,《统计与计算》,17(4):395-416·数字对象标识代码:10.1007/s11222-007-9033-z
[35] Yuan,M.和Lin,Y.(2006)。“分组变量回归中的模型选择和估计”,《皇家统计学会杂志》,B辑,68(1):49-67·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[36] Zou,H.和Hastie,T.(2005)。“通过弹性网的正则化和变量选择”,《皇家统计学会期刊》,B辑,67(2):301-320·Zbl 1069.62054号 ·文件编号:10.1111/j.1467-9868.2005.005.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。