费边·舍伊普;托马斯·奈布;路德维希·法赫梅尔 回归模型中的惩罚似然和贝叶斯函数选择。 （英语） Zbl 1443.62106号 AStA，高级统计分析。 97，第4期，349-385（2013）. 摘要：各个领域富有挑战性的研究推动了具有高维预测因子的回归模型变量选择方面的广泛方法学进展。相比之下，最近才考虑在具有可加预测因子的模型中选择非线性函数。大约在同一时间提出了几个相互竞争的建议，但往往互不提及。本文对函数选择进行了最新的综述，重点是惩罚似然和贝叶斯概念，在一个统一的框架内将各种方法相互关联。在实证比较中，也包括boosting，我们通过对模拟数据和实际数据的应用来评估几种方法，从而为他们在实践中的表现提供一些指导。 引用于4文件 MSC公司： 62G08号 非参数回归和分位数回归 62J07型 岭回归；收缩估计器（拉索） 62J12型 广义线性模型（逻辑模型） 62-08 统计问题的计算方法 关键词：广义可加模型;正规化;平滑的;尖峰和平板先验 软件：贝叶斯X;钉子标签GAM;姆博斯特;UCI-毫升;全球供应链;mgcv公司;倍频程;格普拉索;Matlab公司;R2BayesX（贝叶斯）;超样条线;R（右）;汞 PDF格式BibTeX公司 XML格式引用 \textit{F.Scheipl}等人，AStA，高级统计分析。97，第4349-385号（2013年；兹bl 1443.62106） 全文： 内政部 arXiv公司 参考文献： [1] 阿瓦洛斯，M。；Grandvalet，Y。；Ambroise，C.，简约加性模型，计算。统计数据。分析。，51, 2851-2870, (2007) ·Zbl 1161.62354号 ·doi:10.1016/j.csda.2006.10.007 [2] Belitz，C。；Lang，S.，结构化加性回归模型中变量和平滑参数的同时选择，计算。统计数据。分析。，53, 61-81, (2008) ·Zbl 1452.62029 ·doi:10.1016/j.csda.2008.05.032 [3] Belitz，C.、Brezger，A.、Kneib，T.、Lang，S、Umlauf，N.：结构化加性回归模型中贝叶斯推断的贝叶斯软件（2012）。http://www.bayes.org。2.1版 [4] Bühlmann，P。；Hothorn，T.，《推进算法：正则化、预测和模型拟合》，《统计科学》。，22, 477-505, (2007) ·Zbl 1246.62163号 ·doi:10.1214/07-STS242 [5] Bühlmann，P。；Yu，B.，《（l_2）损失推动：回归与分类》，美国统计协会，98，324-339，（2003）·Zbl 1041.62029号 ·doi:10.198/01621403000125 [6] 科特特，R。；RJ Kohn；Nott，DJ，半参数过分散广义线性模型中的变量选择和模型平均，美国统计协会，103，661-671，（2008）·Zbl 1469.62311号 ·doi:10.1198/0162145000000346 [7] Eaton，J.W.，Bateman，D.，Hauberg，S.：GNU八度音阶手册第3版。网络理论有限公司（2008） [8] 艾尔斯，PHC；Marx，BD，《使用B样条和惩罚似然的灵活平滑》，《统计科学》。，11, 89-121, (1996) ·Zbl 0955.62562号 ·doi:10.1214/ss/1038425655 [9] Eugster，M.A.、Hothorn，T.（作者）、Frick，H.、Kondoversky，I.、Kuehnle，O.S.、Lindenlaub，C.、Pfundstein，G.、Speidel，M.、Spindler，M.，Straub，A.、Wickler，F.、Zink，K.（贡献者）：hgam：高维加性建模（2010）R包版本0.1-0 [10] Fahrmeir，L.，Kneib，T.：纵向、空间和事件历史数据的贝叶斯平滑和回归。牛津统计科学系列36，牛津（2011）·Zbl 1249.62003号 [11] Fahrmeir，L。；Kneib，T。；Konrath，S.，《结构化加性回归中的贝叶斯正则化：收缩、平滑和预测器选择的统一观点》，统计计算。，20, 203-219, (2010) ·doi:10.1007/s11222-009-9158-3 [12] 范，J。；Li，R.，《基于非一致惩罚似然的变量选择及其预言属性》，美国统计协会，96，1348-1360，（2001）·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [13] Frank，A.，Asuncion，A.：UCI机器学习库（2010）。http://archive.ics.uci.edu/ml [14] 乔治，EI；McCulloch，RE，《通过吉布斯抽样选择变量》，美国统计协会，88，881-889，（1993）·doi:10.1080/01621459.1993.10476353 [15] 乔治，EI；McCulloch，RE，贝叶斯变量选择方法，中国统计，7339-374，（1997）·Zbl 0884.62031号 [16] Griffin，J.E.，Brown，P.J.：变量选择的替代先验分布，变量比观测值多很多。技术报告UKC/IMS/05/08，IMS，肯特大学（2005） [17] Gu，C.：平滑样条方差分析模型。布林·斯普林格（2002）·Zbl 1051.62034号 [18] Hothorn，T.、Bühlmann，P.、Kneib，T.，Schmid，M.、Hofner，B.：mboost。基于模型的增压（2012年）。R包版本2.1-1 [19] 黄，J。；霍洛维茨，JL；Wei，F.，非参数可加模型中的变量选择，《Ann.Stat.》，38，2282-2313，（2010）·Zbl 1202.62051号 ·doi:10.1214/09-AOS781 [20] Ishwaran，H。；Rao，JS，Spike和slab变量选择：频率学家和贝叶斯策略，Ann.Stat.，33730-7773，（2005）·Zbl 1068.62079号 ·doi:10.1214/009053604000001147 [21] Kneib，T。；Hothorn，T。；Tutz，G.，地质加性回归模型中的变量选择和模型选择，生物统计学，65，626-634，（2009）·Zbl 1167.62096号 ·doi:10.1111/j.1541-0420.2008.01112.x [22] Kneib，T。；Konrath，S。；Fahrmeir，L.，《高维结构化加性回归模型：贝叶斯正则化、平滑和预测性能》，应用。统计，60，51-70，（2011） [23] Konrath，S.、Kneib，T.、Fahrmeir，L.：风险回归中的贝叶斯平滑、收缩和变量选择。摘自：Becker，C.、Fried，R.、Kuhnt，S.（编辑）《稳健性和复杂数据结构》。Festschrift in Honour of Ursula Gather（2013年） [24] 冷，C。；Zhang，HH，非参数风险回归中的模型选择，非参数。统计，18，417-429，（2006）·Zbl 1116.62106号 ·doi:10.1080/10485250601027042 [25] Lin，Y。；Zhang，HH，多元非参数回归中的成分选择与平滑，Ann.Stat.，342272-2297，（2006）·Zbl 1106.62041号 ·doi:10.1214/0090536000000722 [26] 马拉，G。；Wood，S.，广义加性模型的实用变量选择，计算。统计数据分析。，55, 2372-2387, (2011) ·Zbl 1328.62475号 ·doi:10.1016/j.csda.2011.02.004 [27] MATLAB软件。MATLAB版本7.10.0（R2010a）。The MathWorks Inc.，马萨诸塞州纳蒂克（2010） [28] Meier，L.：grplasso：用Group Lasso惩罚拟合用户指定的模型（2009年）。R包版本0.4-2 [29] Meier，L。；Geer，S。；Bühlmann，P.，逻辑回归拉索组，J.R.Stat.Soc.Ser。B、 70，53-71，（2008）·Zbl 1400.62276号 ·文件编号：10.1111/j.1467-9868.2007.00627.x [30] Meier，L。；Geer，S。；Bühlmann，P.，《高维加性建模》，《Ann.Stat.》，第37期，第3779-3821页，（2009年）·Zbl 1360.62186号 ·doi:10.1214/09-AOS692 [31] 奥哈拉，RB；Sillanpää，MJ，《贝叶斯变量选择方法综述：什么、如何选择和选择？》？，贝叶斯分析。，4，85-118，（2009年）·Zbl 1330.62291号 ·doi:10.1214/09-BA403 [32] Panagiotelis，A。；Smith，M.，高维加性模型中半参数函数的贝叶斯识别、选择和估计，J.Econom。，143, 291-316, (2008) ·Zbl 1418.62166号 ·doi:10.1016/j.jeconom.2007.10.003 [33] 帕克，T。；Casella，G.，《贝叶斯套索》，J.Am.Stat.Assoc.，103，681-686，（2008）·Zbl 1330.62292号 ·doi:10.1198/016214500000037 [34] Polson，NG；Scott，JG，局部收缩规则，Lévy过程和正则回归，J.R.Stat.Soc.Ser。B、 74287-311（2012）·Zbl 1411.62209号 ·文件编号：10.1111/j.1467-9868.2011.01015.x [35] R开发核心团队。R： 统计计算语言和环境。R统计计算基金会，奥地利维也纳（2011年）。网址：http://www.R-project.org/ [36] 拉德琴科，P。；James，GM，《高维自适应非线性交互结构变量选择》，美国统计协会，105，1-13，（2010）·Zbl 1388.62212号 ·doi:10.1198/jasa.2010.tm10130 [37] 拉维库马尔，P。；刘，H。；Lafferty，J。；Wasserman，L.，稀疏加性模型，J.R.Stat.Soc.Ser。B、 711009-1030，（2009）·Zbl 1411.62107号 ·文件编号：10.1111/j.1467-9868.2009.00718.x [38] Reich，B.J.，Storlie，C.B.，Bondell，H.D.：贝叶斯平滑样条方差分析模型中的变量选择：确定性计算机代码的应用。技术计量学51, 110 (2009) [39] Rue，H.，Held，L.：高斯马尔可夫随机场。查普曼和霍尔/CRC（2005）·邮编1093.60003 [40] Sabanés Bové，D.：超样条：具有惩罚样条和超g先验的贝叶斯模型选择（2012）R包版本0.0-32 [41] Sabanés Bové，D.，Held，L.，Kauermann，G.：具有惩罚样条的广义加性模型选择的G-先验的混合。技术报告，苏黎世大学和比勒费尔德大学（2011年）。http://arxiv.org/abs/108.3520 [42] Scheipl，F.：结构化加性回归中的贝叶斯正则化和模型选择。路德维希·马克西米利安-慕尼黑大学博士论文（2011年a）·Zbl 1492.62014年 [43] Scheipl，F.：spikeLabGAM：《统计软件杂志》中广义加性混合模型的贝叶斯变量选择、模型选择和正则化，43（14） ，1-24，9（2011年b）。http://www.jstatsoft.org/v43/i14 [44] Scheipl，F.，Fahrmeir，L.，Kneib，T.：结构化加性回归模型中函数选择的尖峰和板条先验。美国统计协会。107(500), 1518-1532 (2012). http://arxiv.org/abs/1105.5250 ·Zbl 1258.62082号 [45] 史密斯，M。；Kohn，R.，《使用贝叶斯变量选择的非参数回归》，J.Econometr。，75317-344，（1996年）·Zbl 0864.62025号 ·doi:10.1016/0304-4076（95）01763-1 [46] Storlie，C。；邦德尔，H。；Reich，B。；Zhang，HH，“曲面估计、变量选择和非参数预言属性”，中国统计，21679-705，（2011）·Zbl 1214.62044号 ·doi:10.5705/ss.2011.030a [47] Tibshirani，R.，通过Lasso，J.R.Stat.Soc.Ser.回归收缩和选择。B、 58267-288（1996）·Zbl 0850.62538号 [48] Tutz，G。；Binder，H.，通过基于似然的增强进行隐式变量选择的广义加性建模，生物统计学，62，961-971，（2006）·Zbl 1116.62075号 ·doi:10.1111/j.1541-0420.2006.00578.x [49] Umlauf，N.、Kneib，T.、Lang，S.:R2BayesX:使用BayesX（2012）R包估算结构化加性回归模型版本0.1-1 [50] Wahba，G.：观测数据的样条模型。SIAM（1990）·Zbl 0813.62001号 [51] Wang，L。；陈，G。；Li，H.，微阵列时间进程基因表达数据的群组SCAD回归分析，生物信息学，231486-1494，（2007）·doi:10.1093/bioinformatics/btm125 [52] Wood，S.:mgcv:GAMs（GCV/AIC/REML平滑度估计）和GAMMs（PQL，2012）。R包版本1.7-18 [53] 木材，S。；科恩，R。；Shively，T。；姜伟，样条非参数回归中的模型选择，J.R.Stat.Soc.Ser。B、 64、119-139（2002）·Zbl 1015.62039号 ·数字对象标识代码：10.1111/1467-9868.00328 [54] 薛立，加法模型中的一致变量选择，中国统计局，191281-1296，（2009）·兹比尔1166.62024 [55] 游，P。；科恩，R。；Wood，S.，高维多项式非参数回归中的贝叶斯变量选择和模型平均，J.Compute。图表。《统计》，第12卷，第23-54页，（2003年）·数字对象标识代码：10.1198/1061860031301 [56] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。B、 68、49-67（2006）·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x [57] Zhang，H.H.，Cheng，G.，Liu，Y.：线性还是非线性？部分线性模型的自动结构发现。美国统计协会。106(495), 1099-1112 (2011) ·Zbl 1229.62051号 [58] 张，HH；Lin，Y.，指数族非参数回归的分量选择与平滑，中国统计，16，1021-1041，（2006）·Zbl 1107.62036号 [59] Zou，H.，自适应Lasso及其oracle属性，美国统计协会，101，1418-1429，（2006）·Zbl 1171.62326号 ·doi:10.1198/016214500000735 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。