×
本杰明·盖吉;皮埃尔·阿尔基尔

稀疏可加模型中的PAC-Baysian估计和预测。 （英语） Zbl 1337.62075号

电子。J.统计。 7, 264-291 (2013)。
摘要：本文是关于稀疏假设（p\ggn范式）下高维可加模型的估计和预测。研究了PAC-Baysian策略，给出了概率上的预言不等式。该实现是通过高维MCMC算法的最新结果实现的，并且我们的方法的性能是通过模拟数据进行评估的。

引用于11文件

MSC公司：

62G08号 非参数回归和分位数回归
62J02型 一般非线性回归
65立方厘米 马尔可夫链的数值分析或方法
62J07型 岭回归；收缩估计器（拉索）

关键词：

加性模型;稀疏;回归估计;PAC-贝叶斯边界;oracle不等式;MCMC公司;随机搜索

软件：

汞;电子静态学习;SSS系统;R（右）;pacbpred（打包）
PDF格式BibTeX公司 XML格式引用
\textit{B.Guedj}和\textit{P.Alquier}，电子。J.Stat.7，264--291（2013；Zbl 1337.62075）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Alquier，P.（2006）。回归和密度估计的传导性和归纳性自适应推理博士论文，巴黎第六大学，UPMC。
[2] Alquier，P.（2008）。随机经验风险最小化的PAC-Baysian界。，统计学的数学方法17 279-304·Zbl 1260.62038号 ·doi:10.3103/S1066530708040017
[3] Alquier，P.和Biau，G.（2011年）。稀疏单指数模型。发表在《机器学习研究杂志》上·Zbl 1320.62177号
[4] Alquier，P.和Lounici，K.（2011年）。指数权重稀疏回归估计的PAC-Baysian定理。，电子统计杂志5 127-145·兹比尔1274.62463 ·doi:10.1214/11-EJS601
[5] 奥迪伯特，J.-Y.（2004a）。最小二乘回归的聚合估计量和经验复杂性。，《亨利·彭卡研究所年鉴：概率与统计》40 685-736·Zbl 1052.62037号 ·doi:10.1016/j.anihpb.2003.11.006
[6] Audibert，J.-Y.（2004年b）。巴黎大学第六届UPMC PAC-Bayésienne博士论文《学术统计》。
[7] Audibert，J.-Y.（2009）。通过聚合进行统计推断的快速学习率。，统计年鉴37 1591-1646·Zbl 1360.62167号 ·doi:10.1214/08-AOS623
[8] Audibert，J.-Y.和Catoni，O.（2010年）。通过PAC-Baysian截断进行稳健线性回归。提交。，
[9] Audibert，J.-Y.和Catoni，O.（2011年）。稳健线性最小二乘回归。，《统计年鉴》39 2766-2794·Zbl 1231.62126号 ·doi:10.1214/11-AOS918
[10] Bickel，P.J.、Ritov，Y.和Tsybakov，A.B.（2009年）。Lasso和Dantzig选择器的同时分析。，统计年鉴37 1705-1732·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[11] Bunea，F.、Tsybakov，A.B.和Wegkamp，M.（2006年）。通过\（\ell_1\）惩罚的最小二乘进行聚集和稀疏。年，第19届计算学习理论年会论文集379-391。斯普林格·弗拉格·Zbl 1143.62319号 ·doi:10.1007/11776420_29
[12] Bühlmann，P.和van de Geer，S.A.（2011）。，高维数据统计。斯普林格·Zbl 1273.62015年
[13] Carlin，B.P.和Chib，S.（1995年）。基于马尔可夫链蒙特卡罗方法的贝叶斯模型选择。，英国皇家统计学会杂志，B辑57 473-484·兹比尔0827.62027
[14] Catoni，O.（2004）。，统计学习理论与随机优化。圣面粉概率学院XXXI-2001。斯普林格·Zbl 1076.93002号
[15] Catoni，O.（2007）。，PAC-Baysian监督分类：统计学习的热力学。课堂讲稿-专著系列56。数理统计研究所·Zbl 1277.62015年
[16] Dalalyan，A.S.和Tsybakov，A.B.（2008）。通过指数加权、尖锐的PAC-Baysian边界和稀疏性进行聚合。，机器学习72 39-61。
[17] Dalalyan，A.S.和Tsybakov，A.B.（2012）。通过聚合和Langevin Monte-Carlo进行稀疏回归学习。，计算机与系统科学杂志78 1423-1443·Zbl 1244.62054号 ·doi:10.1016/j.jcss.2011.12.023
[18] Giraud，C.、Huet，S.和Verzelen，N.（2012年）。方差未知的高维回归。要出现在《统计科学》上·Zbl 1296.92110号 ·doi:10.1214/12-STS398
[19] Green，P.J.（1995）。可逆跳跃马尔可夫链蒙特卡罗计算与贝叶斯模型确定。，生物特征82 711-732·Zbl 0861.62023号 ·doi:10.1093/biomet/82.4.711
[20] Guedj，B.（2012年）。pacbpred:PAC-Baysian Estimation and Prediction in Sparse Additive Models R软件包0.92。，
[21] Hans，C.、Dobra，A.和West，M.（2007年）。“大p”回归的枪式随机搜索。，美国统计协会杂志102 507-516·Zbl 1134.62398号 ·doi:10.1198/0162145000000121
[22] Hastie，T.和Tibshirani，R.（1986年）。广义可加模型。，统计科学1 297-318·Zbl 0645.62068号 ·doi:10.1214/ss/1177013604
[23] Hastie，T.和Tibshirani，R.（1990）。，广义加法模型。统计学和应用概率专著43。查普曼和霍尔/CRC·Zbl 0747.62061号
[24] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。，《统计学习的要素——数据挖掘、推断和预测》，第二版，施普林格出版社·Zbl 1273.62005年
[25] Härdle，W.K.（1990年）。，应用非参数回归。剑桥大学出版社·Zbl 0714.62030号
[26] Koltchinskii，V.和Yuan，M.（2010）。多核学习中的稀疏性。，统计年鉴38 3660-3695·Zbl 1204.62086号 ·doi:10.1214/10-AOS825
[27] Marin，J.-M.和Robert，C.P.（2007）。，贝叶斯核：计算贝叶斯统计的实用方法。斯普林格·Zbl 1137.62013年
[28] 马萨特，P.（2007）。，集中不等式与模型选择。2003年圣弗洛尔概率研究。斯普林格·Zbl 1170.60006号
[29] McAllester，D.A.（1999）。一些PAC-Baysian定理。，机器学习37 355-363·Zbl 0945.68157号 ·doi:10.1023/A:1007618624809
[30] Meier，L.、van de Geer，S.A.和Bühlmann，P.（2009）。高维加性建模。，《统计年鉴》37 3779-3821·Zbl 1360.62186号 ·doi:10.1214/09-AOS692
[31] Meinshausen，N.和Yu，B.（2009年）。高维数据稀疏表示的Lasso类型恢复。，统计年鉴37 246-270·Zbl 1155.62050号 ·doi:10.1214/07-AOS582
[32] Meyn，S.和Tweedie，R.L.（2009）。，马尔可夫链与随机稳定性，第二版，剑桥大学出版社·Zbl 1165.60001号
[33] Petralias，A.（2010年）。贝叶斯模型确定和非线性阈值波动率模型，雅典经济与商业大学博士论文。
[34] Petralias，A.和Dellaportas，P.（2012年）。回归问题的MCMC模型搜索算法。，统计计算与模拟杂志0 1-19·doi:10.1080/00949655.2012.668907
[35] R核心团队（2012年）。R： 《统计计算的语言与环境》，奥地利维也纳，ISBN 3-900051-07-0。，
[36] Raskutti，G.、Wainwright，M.J.和Yu，B.（2012年）。通过凸规划在核类上的稀疏可加性模型的最小最大最优速率。，机器学习研究杂志13 389-427·Zbl 1283.62071号
[37] Ravikumar，P.、Lafferty，J.、Liu，H.和Wasserman，L.（2009年）。稀疏加性模型。，《皇家统计学会杂志》，B辑71 1009-1030·文件编号：10.1111/j.1467-9868.2009.00718.x
[38] Rigollet，P.（2006）。UPMC巴黎第六大学《神谕、农业与适应》博士论文。
[39] Rigollet，P.和Tsybakov，A.B.（2012年）。指数加权稀疏估计。，统计科学27 558-575·Zbl 1331.62351号 ·doi:10.1214/12-STS393
[40] Shawe-Taylor，J.和Williamson，R.C.（1997年）。贝叶斯估计的PAC分析。年，第十届计算学习理论年会论文集2-9。ACM公司。
[41] Stone，C.J.（1985）。加性回归和其他非参数模型。，统计年鉴13 689-705·Zbl 0605.62065号 ·doi:10.1214/aos/1176349548
[42] 铃木，T.（2012）。高斯过程回归和多核可加模型的PAC-Baysian界。年，第25届计算学习理论年会论文集。
[43] 铃木，T.和杉山，M.（2012）。多核学习的快速学习速度：在稀疏性和平滑性之间进行权衡。提交。，arXiv.org/abs/203.0565v1·Zbl 1273.62090号 ·doi:10.1214/13-AOS1095
[44] Tibshirani，R.（1996）。通过拉索回归收缩和选择。，英国皇家统计学会杂志，B辑58 267-288·Zbl 0850.62538号
[45] Tsybakov，A.B.（2009）。，非参数估计简介。统计。斯普林格·Zbl 1176.62032号
[46] van de Geer，S.A.（2008年）。高维广义线性模型和拉索。，统计年鉴36 614-645·兹比尔1138.62323 ·doi:10.1214/00905360700000929
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。