万德，M.P。;J.T.奥尔默罗德。 惩罚小波：将小波嵌入到半参数回归中。 （英语） Zbl 1271.62089号 电子。J.统计。 5, 1654-1717 (2011). 摘要：我们引入惩罚小波的概念，以便于将小波无缝嵌入到半参数回归模型中。特别地，我们证明了惩罚小波类似于惩罚样条；后者是半参数回归中函数估计的既定方法。它们只在适当的惩罚类型上有所不同。现有的小波文献并没有证明这一事实，其中回归建模和拟合问题被计算问题（如离散小波变换提供的效率增益）所掩盖，并被在小波系数空间中工作的趋势所部分掩盖。在适当的惩罚小波结构下，我们表明可以通过惩罚样条的相同通用方法实现拟合和推理：惩罚最小二乘法、最大似然法和频率混合模型框架内的最佳预测法，以及马尔可夫链蒙特卡罗和贝叶斯框架下的平均场变分贝叶斯。惩罚小波也与宽数据（“p\ggn”）回归有密切关系，并受益于该主题的正在进行的研究。 引用于14文件 MSC公司： 62克08 非参数回归和分位数回归 42立方厘米 涉及小波和其他特殊系统的非三角调和分析 第62页 参数检验的渐近性质 关键词：贝叶斯推断;最佳预测;广义可加模型;吉布斯采样;最大似然估计;马尔科夫蒙特卡洛;平均场变分贝叶斯;稀疏诱导惩罚;宽数据回归 软件：塞米帕尔;mgcv公司;布鲁斯;新冠肺炎;波阈值4;波阈值;拉尔斯;格尔姆奈特;R（右）;加迈尔;PRMLT公司;配子;推断。净值;漏洞;易趣威胁 PDF格式BibTeX公司 XML格式引用 \textit{M.P.Wand}和\textit{J.T.Ormerod}，电子。J.Stat.5，1654--1717（2011；Zbl 1271.62089） 全文： 内政部 欧几里得 参考文献： [1] Albert，J.H.和Chib，S.（1993年）。二进制和多光子响应数据的贝叶斯分析。，《美国统计协会杂志》，88669-679·Zbl 0774.62031号 ·doi:10.2307/2290350 [2] Antoniadis，A.、Bigot，J.和Gijbels，I.（2007年）。惩罚小波单调回归。，统计与概率快报，771608-1621·Zbl 1127.62034号 ·doi:10.1016/j.spl.2007.03.041 [3] Antoniadis，A.和Fan，J.（2001）。小波近似的正则化（讨论）。，美国统计协会杂志，96，939-967·Zbl 1072.62561号 ·doi:10.1198/016214501753208942 [4] Antoniadis，A.和Leblanc，F.（2000年）。二元响应的非参数小波回归。，统计学，34，183-213·Zbl 0955.62041号 ·doi:10.1080/02331880008802713 [5] Attias，H.（1999）。用变分贝叶斯推断潜变量模型的参数和结构。，第十五届人工智能不确定性会议论文集，21-30。 [6] Aykroyd，R.G.和Mardia，K.V.（2003年）。脊柱曲线形状分析的小波方法。，应用统计学杂志，30605-623·兹比尔1121.62321 ·doi:10.1080/0266476032000053718 [7] Berry，S.M.、Carroll，R.J.和Ruppert，D.（2002年）。测量误差问题的贝叶斯平滑和回归样条。，美国统计协会杂志，97，160-169·兹比尔1073.62524 ·doi:10.1198/016214502753479301 [8] Bishop，C.M.（2006）。，模式识别和机器学习。纽约：斯普林格·Zbl 1107.68072号 [9] Breheny，P.（2011）。ncvreg 2.3。SCAD和MCP惩罚回归模型的正则化路径。R包。， [10] Brumback，B.A.和Rice，J.A.（1998年）。用于分析嵌套和交叉曲线样本的平滑样条曲线模型（带讨论）。，美国统计协会杂志，93，961-994·Zbl 1064.62515号 ·doi:10.2307/2669837 [11] Buja，A.、Hastie，T.和Tibshirani，R.（1989）。线性平滑器和加法模型。，《统计年鉴》，第17453-510页·Zbl 0689.62029号 ·doi:10.1214/aos/1176347115 [12] Carvalho，C.M.、Polson，N.G.和Scott，J.G.（2010年）。稀疏信号的马蹄形估计。，生物特征，97，465-480·Zbl 1406.62021号 ·doi:10.1093/biomet/asq017 [13] Craven，P.和Wahba，G.（1979年）。用样条函数平滑带噪数据：使用广义交叉验证方法估计平滑的正确程度。，数字数学，31377-403·Zbl 0377.65007号 ·doi:10.1007/BF01404567 [14] Currie，I.D.和Durbán，M.（2002年）。使用P样条的灵活平滑：统一方法。，统计建模，4333-349·Zbl 1195.62072号 ·数字对象标识码：10.1191/1471082x02st039ob [15] Daubechies，I.（1988）。紧支撑小波的正交基。，《纯粹数学与应用数学通讯》，41909-996·Zbl 0644.42026号 ·doi:10.1002/cpa.3160410705 [16] Donoho，D.L.（1995）。通过软阈值去噪。，IEEE信息理论汇刊，41613-627·Zbl 0820.62002号 ·doi:10.1109/18.382009年 [17] Donoho，D.L.和Johnstone，I.M.（1994年）。通过小波收缩实现理想的空间自适应。，生物特征，81，425-456·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425 [18] Durbán，M.、Harezlak，J.、Wand，M.P.和Carroll，R.J.（2005）。纵向数据主题特定曲线的简单拟合。，医学统计，241153-1167·doi:10.1002/sim.1991 [19] Efron，B.（2004）。预测误差的估计：协方差惩罚和交叉验证（讨论）。，美国统计协会杂志，99，619-642·Zbl 1117.62324号 ·doi:10.1198/016214500000692 [20] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归。，《统计年鉴》，第32407-451页·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [21] 艾尔斯，P.H.C.和马克思，B.D.（1996）。使用B样条和惩罚进行灵活平滑（讨论）。，《统计科学》，第11期，第89-121页·兹比尔0955.62562 ·doi:10.1214/ss/1038425655 [22] Faes，C.、Ormerod，J.T.和Wand，M.P.（2011年）。缺失数据参数和非参数回归的变分贝叶斯推断。，美国统计协会杂志，106959-971·Zbl 1229.62028号 ·doi:10.1198/jasa.2011.tm10301 [23] Fan，J.和Li，R.（2001）。基于非冲突惩罚似然及其oracle属性的变量选择。，美国统计协会杂志，96，1348-1360·兹比尔1073.62547 ·doi:10.1198/016214501753382273 [24] Fan，J.和Song，R.（2010年）。具有NP维数的广义线性模型中的确信独立性筛选。，《统计年鉴》，38，3567-3604·Zbl 1206.68157号 ·doi:10.1214/10-AOS798 [25] Fitzmaurice，G.、Davidian，M.、Verbeke，G.和Molenberghs，G.（编辑）（2008年）。，纵向数据分析：现代统计方法手册。佛罗里达州博卡拉顿：查普曼和霍尔/CRC。 [26] Frank，I.E.和Friedman，J.H.（1993年）。一些化学计量学回归工具的统计视图。，技术计量学，35，109-135·Zbl 0775.62288号 ·doi:10.2307/1269656 [27] Friedman，J.、Hastie，T.和Tibshirani，R.（2009）。glmnet 1.1：套索和弹性网正则化广义线性模型。R包。， [28] Friedman，J.、Hastie，T.和Tibshirani，R.（2010）。广义线性模型的坐标下降正则化路径。，《统计软件杂志》，第33卷，第1期，1-22页。 [29] Gelman，A.（2006年）。层次模型中方差参数的先验分布。，贝叶斯分析，1515-533·Zbl 1331.62139号 ·doi:10.1214/06-BA117A [30] Gradshteyn，I.S.和Ryzhik，I.M.（1994）。，积分、系列和产品表，第5版。加利福尼亚州圣地亚哥：学术出版社·Zbl 0918.65002号 [31] Green，P.J.和Silverman，B.W.（1994）。，非参数回归和广义线性模型。伦敦：查普曼和霍尔·Zbl 0832.62032号 [32] Griffin，J.E.和Brown，P.J.（2011）。具有非凸惩罚的贝叶斯超套索。，澳大利亚和新西兰统计杂志·Zbl 1335.62047号 [33] Hart，J.P.、McCurdy，M.R.、Ezhil，M.、Wei W.、Khan，M.，Luo，D.、Munden，R.F.、Johnson，V.E.和Guerrero，T.M.（2008）。放射性肺炎：与肺代谢辐射反应的相关性和毒性。，国际放射肿瘤学杂志，生物学，物理学，4967-971。 [34] Hastie，T.（1996）。伪样条。，英国皇家统计学会杂志，B辑，58379-396·Zbl 0853.62035号 [35] Hastie，T.和Efron，B.（2007年）。拉尔斯0.9。最小角度回归、套索和前向阶段回归。R包。， [36] Hastie，T.J.和Tibshirani，R.J.（1990）。，广义加性模型。伦敦：查普曼和霍尔·Zbl 0747.62061号 [37] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。，统计学习的要素，第二版。纽约：斯普林格·Zbl 1273.62005年 [38] Hurvich，C.M.、Simonoff，J.S.和Tsai，C.（1998年）。使用改进的Akaike信息准则平滑非参数回归中的参数选择。，英国皇家统计学会杂志，B辑，60，271-293·Zbl 0909.62039号 ·doi:10.1111/1467-9868.00125 [39] Johnstone，I.M.和Silverman，B.W.（2005）。小波阈值的经验贝叶斯选择。，《统计年鉴》，3317000-1752·Zbl 1078.62005号 ·doi:10.1214/009053605000000345 [40] Kerkyacharian，G.和Picard，D.（1992年）。贝索夫空间中的密度估计。，统计与概率快报，13，15-24·Zbl 0749.62026号 ·doi:10.1016/0167-7152（92）90231-S [41] Ligges，U.、Thomas，A.、Spiegelhalter，D.、Best、N.Lunn，D.，Rice，K.和Sturtz，S.（2009）。BRugs 0.5:OpenBUGS及其R/S-PLUS接口BRugs。， [42] Marley，J.K.和Wand，M.P.（2010年）。基于BRugs.的非标准半参数回归。，统计软件杂志，第37卷，第5期，1-30。 [43] Marron，J.S.、Adak，S.、Johnstone，I.M.、Neumann，M.H.和Patil，P.（1998年）。小波回归的精确风险分析。，计算与图形统计杂志，7278-309。 [44] Minka，T.、Winn，J.、Guiver，G.和Knowles，D.（2009年）。推断。净额2.4。英国剑桥微软研究院。， [45] Morris，J.S.和Carroll，R.J.（2006年）。基于小波的函数混合模型。，《皇家统计学会杂志》，B辑，68179-199·Zbl 1110.62053号 ·doi:10.1111/j.1467-9868.2006.00539.x [46] Morris，J.S.、Vannucci，M.、Brown，P.J.和Carroll，R.J.（2003）。结肠癌发生过程中层次函数的基于小波的非参数建模。，《美国统计协会杂志》，98，573-597·Zbl 1040.62104号 ·doi:10.19198/016214503000000422 [47] Nason，G.P.（2008）。，《统计学中的小波方法》，纽约：施普林格出版社·Zbl 1165.62033号 [48] Nason，G.P.（2010）。波阈值4.5。小波统计和变换。R包。， [49] Ormerod，J.T.和Wand，M.P.（2010年）。解释变分近似。，美国统计学家，64140-153·Zbl 1200.65007号 ·doi:10.1198/tast.2010.09058 [50] Osborne，M.R.、Presnell，B.和Turlach，B.A.（2000年）。关于LASSO及其对偶。，计算与图形统计杂志，9，319-337。 [51] O'Sullivan，F.（1986年）。关于不适定反问题的统计观点（附讨论）。，统计科学，1505-527·Zbl 0625.62110号 ·doi:10.1214/ss/1177013525 [52] Pearl，J.（1988）。，智能系统中的概率推理。加利福尼亚州圣马特奥：摩根·考夫曼·Zbl 0746.68089号 [53] Pericchi，L.R.和Smith，A.F.M.（1992年）。正常位置参数的精确和近似后力矩。，英国皇家统计学会杂志，B辑，54793-804·Zbl 0775.62024号 [54] R开发核心团队（2011年）。R： 用于统计计算的语言和环境。R统计计算基金会，奥地利维也纳。ISBN 3-900051-07-0， [55] Robert，C.P.和Casella，G.（2004）。，蒙特卡洛统计方法，第二版，纽约：施普林格出版社·兹比尔1096.62003 [56] Ruppert，D.、Wand，M.P.和Carroll，R.J.（2003）。，半参数回归。纽约：剑桥大学出版社·Zbl 1038.62042号 [57] Ruppert，D.、Wand，M.P.和Carroll，R.J.（2009年）。2003-2007年期间的半参数回归，《电子统计杂志》，31193-1256·Zbl 1326.62094号 ·doi:10.1214/09-EJS525 [58] Spiegelhalter，D.J.、Thomas，A.、Best，N.G.、Gilks，W.R.和Lunn，D.（2003）。BUGS：使用吉布斯抽样的贝叶斯推断。英国剑桥医学研究委员会生物统计部。 [59] Staudenmayer，J.，Lake，E.E.和Wand，M.P.（2009年）。使用，t分布的一般设计混合模型的稳健性。统计建模，9235-255·doi:10.1177/1471082X0800900304 [60] Stein，C.（1981）。多元正态分布平均值的估计。，《统计年鉴》，第9期，1135-1151页·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632 [61] Tibshirani，R.（1996）。通过套索进行回归收缩和选择。，英国皇家统计学会杂志，B辑，58267-288·Zbl 0850.62538号 [62] Vidakovic，B.（1999）。，小波统计建模。纽约：Wiley·Zbl 0924.62032号 [63] Wahba，G.（1990）。，观测数据的样条模型，宾夕法尼亚州费城：工业和应用数学学会·Zbl 0813.62001号 [64] M.J.Wainwright和M.I.Jordan（2008年）。图形模型、指数族和变分推理。，机器学习基础与趋势，1，1-305·Zbl 1193.62107号 ·数字对象标识代码：10.1561/220000001 [65] Wand，M.P.（2009年）。半参数回归和图形模型。，澳大利亚和新西兰统计杂志，51，9-41·Zbl 1334.62012年 [66] Wand，M.P.和Ormerod，J.T.（2008年）。关于O'Sullivan惩罚样条的半参数回归。，澳大利亚和新西兰统计杂志，50179-198·Zbl 1146.62030号 ·doi:10.1111/j.1467-842X.2008.00507.x [67] Wand，M.P.、Ormerod，J.T.、Padoan，S.A.和Frühwirth，R.（2011）。精细分布的平均场变分贝叶斯。，贝叶斯分析·Zbl 1330.62158号 ·doi:10.1214/11-BA631 [68] 王毅（1998）。混合效应平滑样条方差分析。，英国皇家统计学会杂志，B辑，60159-174·Zbl 0909.62034号 ·doi:10.1111/1467-9868.00115 [69] Wang，S.S.J.和Wand，M.P.（2011年）。使用推断。NET用于统计分析。，美国统计学家，65，115-126·Zbl 06244069号 ·doi:10.1198/tast.2011.10169 [70] Welham，S.J.、Cullis，B.R.、Kenward，M.G.和Thompson，R.（2007）。混合模型样条曲线拟合的比较。，澳大利亚和新西兰统计杂志，49，1-23·Zbl 1117.62041号 ·doi:10.1111/j.1467-842X.2006.00454.x [71] Wood，S.N.（2003）。薄层回归样条。，英国皇家统计学会杂志，B辑，65，95-114·Zbl 1063.62059号 ·数字对象标识代码：10.1111/1467-9868.00374 [72] Wood，S.N.（2006）。，广义可加模型：佛罗里达州R.Boca Raton介绍：Chapman&Hall/CRC·Zbl 1087.62082号 [73] Wood，S.N.（2011）。mgcv 1.7。使用GCV/AIC/REML平滑度估计的GAM和使用PQL的GAMM。R包。， ·文件编号：10.1111/j.1467-9868.2010.00749.x [74] Zhang，C.-H.（2010）。极小极大凹惩罚下的几乎无偏变量选择。，《统计年鉴》，38894-942·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [75] Zhang，D.、Lin，X.、Raz，J.和Sowers，M.（1998年）。纵向数据的半参数随机混合模型。，美国统计协会杂志，93，710-719·Zbl 0918.62039号 ·doi:10.2307/2670121 [76] Zhao，W.和Wu，R.（2008）。基于小波的纵向曲线非参数函数映射。，美国统计协会杂志，103，714-725·Zbl 1471.62562号 ·doi:10.19198/0162114508000000373 [77] Zou，H.和Hastie，T.（2005）。通过弹性网进行正则化和变量选择。，英国皇家统计学会杂志，B辑，67301-320·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x [78] Zou，H.、Hastie，T.和Tibshirani，R.（2007）。关于套索的“自由度”。，《统计年鉴》，52173-2192·兹比尔1126.62061 ·doi:10.1214/009053600700000127 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。