×
卢东渡；贾拉尔·法迪利；克利斯朵夫·切斯诺

基于指数加权的群分析稀疏回归的PAC贝叶斯风险边界。 （英语） Zbl 1417.62086号

《多元分析杂志》。 171, 209-233 (2019).
摘要：在本文中，我们考虑了一个具有固定设计和iid随机误差的高维非参数回归模型。我们提出了一种基于指数加权聚集的估计量，该估计量具有群体分析稀疏性和权重先验。我们证明了我们的估计满足一个带有小余项的尖锐群分析稀疏预言不等式，从而保证了其良好的理论性能。我们还提出了一种前向支持的近端Langevin Monte Carlo算法，用于从目标分布（既不是光滑的也不是对数凹的）中采样，并推导了其收敛保证。反过来，这使我们能够实现我们的估计器，并通过数值实验进行验证。

引用于三文件

MSC公司：

62G08号 非参数回归和分位数回归
62G07年 密度估算
6220国集团 非参数推理的渐近性质
65二氧化碳 蒙特卡罗方法

关键词：

指数加权聚集；前后向朗之万蒙特卡罗；框架；群体分析稀疏性；高维回归；稀疏学习；稀疏oracle不等式
PDF格式BibTeX公司 XML格式引用
\textit{T.D.Luu}等人，《多元分析杂志》。171、209--233（2019；Zbl 1417.62086）
全文： 内政部 哈尔

参考文献：

[1] 阿米特，Y。；Geman，D.，用随机树进行形状量化和识别，神经计算。，9, 1545-1588 (1997)
[2] Bakry，D。；巴特，F。；Cattiaux，P。；Guillin，A.，一大类概率测度的Poincaré不等式的简单证明，Electron。Commun公司。概率。，13, 60-66 (2008) ·Zbl 1186.26011号
[3] Biau，G.，《随机森林模型分析》，J.Mach。学习。第13号决议，1063-1095（2012年）·Zbl 1283.62127号
[4] Biau，G。；Devroye，L.，《关于分层最近邻估计、袋装最近邻估计和回归分类中的随机森林法》，《多元分析》。，1012499-2518（2010年）·Zbl 1198.62048号
[5] Biau，G。；Devroye，L。；Lugosi，G.，《随机森林和其他平均分类器的一致性》，J.Mach。学习。2015-2033年第9号决议（2008年）·Zbl 1225.62081号
[6] Breiman，L.，装袋预测，马赫数。学习。，24123-140（1996年）·Zbl 0858.68080号
[7] Breiman，L.，《随机森林》，马赫。学习。，45, 5-32 (2001) ·Zbl 1007.68152号
[8] Bühlmann，P。；van de Geer，S.，《高维数据统计：方法、理论和应用》（2011），施普林格出版社：纽约施普林格·Zbl 1273.62015年
[9] Candès，E.J.，Ridgelets:用岭函数估计，Ann.Statist。，31, 1561-1599 (1999) ·Zbl 1046.62037号
[10] 坎迪斯，E.J。；Donoho，D.，曲线的新紧框架和分段奇点对象的最优表示，Comm.Pure Appl。数学。，57, 219-266 (2004) ·Zbl 1038.94502号
[11] Chaari，L。；托内雷特，J.-Y。；Chaux，C。；Batatia，H.，非光滑能量采样的哈密顿蒙特卡罗方法，IEEE Trans。信号处理。，64, 5585-5594 (2016), 2016 ·Zbl 1414.94856号
[12] 陈，X。；林，Q。；Kim，S。；Carbonell，J.G。；Xing，E.P.，一般结构稀疏回归的平滑近端梯度法，Ann.Appl。统计，6719-752（2012）·Zbl 1243.62100号
[13] Chesneau，C。；法迪利，M。；Starck，J.-L.，Stein块阈值图像去噪，应用。计算。哈蒙。分析。，28, 67-88 (2010) ·Zbl 1180.94005号
[14] 科伊夫曼，R。；Donoho，D.，《平移不变去噪》（Antoniadis，A.；Oppenheim，G.，《小波与统计》（1995），施普林格出版社：施普林格纽约），125-150·Zbl 0866.94008号
[15] 戴，D。；Rigollet，P。；Zhang，T.，利用贪婪聚合的偏差最优学习，Ann.Statist。，1878-1905年（2012年）·Zbl 1257.62037号
[16] Dallayan，A.，《平滑密度和对数曲线密度近似采样的理论保证》，J.R.Stat.Soc.Ser。B统计方法。，79, 651-676 (2016) ·Zbl 1411.62030号
[17] Dalalyan，A.S。；Salmon，J.，仿射估计集合的Sharp oracle不等式，Ann.Statist。，40, 2327-2355 (2012) ·Zbl 1257.62038号
[18] Dalalyan，A.S。；Tsybakov，A.B.，通过指数加权和尖锐的预言不等式进行聚合，（第20届学习理论年会论文集，COLT’07（2007），Springer:Springer Berlin，Heidelberg），97-111·Zbl 1203.62063号
[19] Dalalyan，A.S。；Tsybakov，A.B.，指数加权聚集，尖锐的PAC-Baysian边界和稀疏性，马赫数。学习。，72, 39-61 (2008) ·Zbl 1470.62054号
[20] Dalalyan，A.S。；Tsybakov，A.B.，《指数权重聚合预期误差的Pac贝叶斯界技术报告（2009）》，巴黎第六大学，CREST和CERTIS，École des Ponts ParisTech。[个人通信]
[21] Dalalyan，A.S。；Tsybakov，A.B.，《稀疏先验的镜像平均法》，伯努利，18，914-944（2012）·Zbl 1243.62008年
[22] Dalalyan，A.S。；Tsybakov，A.B.，《通过聚集进行稀疏回归学习》和《Langevin Monte Carlo，J.Compute》。系统科学。，78, 1423-1443 (2012) ·Zbl 1244.62054号
[23] Donoho，D.L.，《观察到高维几何中相变的普遍性，对现代数据分析和信号处理的影响》，Phil.Trans。R.Soc.A，367，4273-4293（2009）·Zbl 1185.94029号
[24] Donoho，D.L。；Johnstone，I.M.，《小波收缩的理想空间自适应》，《生物统计学》，第81期，第425-455页（1994年）·Zbl 0815.62019号
[25] Donoho，D.L。；Johnstone，I.M.，《通过小波收缩适应未知平滑度》，J.Amer。统计师。协会，1200-1224（1995）·Zbl 0869.62024号
[26] Donoho，D.L。；约翰斯通，I.M。；Kerkyacharian，G。；Picard，D.，《小波收缩：渐近》，J.R.Stat.Soc.Ser。B、 371-394（1995）·Zbl 0827.62035号
[27] Durmus，A。；Moulines女士。，未调整Langevin算法的非渐近收敛性分析，Ann.Appl。概率。，27, 1551-1587 (2017) ·Zbl 1377.65007号
[28] Durmus，A。；Moulines女士。；Pereyra，M.，《利用近端马尔可夫链蒙特卡罗进行高效贝叶斯计算：当朗之万遇到莫罗时》，SIAM J.成像科学。，11, 473-506 (2018) ·Zbl 1401.65016号
[29] 方，K。；科茨，S。；Ng，K.，《对称多元及相关分布》（1990），查普曼和霍尔：查普曼与霍尔伦敦·Zbl 0699.62048号
[30] Freund，Y.，以多数人的方式推进弱学习算法，Inform。和计算。，121, 256-285 (1995) ·Zbl 0833.68109号
[31] Genuer，R.，《随机森林：理论要素、变量选择和应用》（2010年），巴黎南部大学-巴黎第十一大学，（论文）
[32] 格雷斯泰恩，I.S。；Ryshik，I.M.，《积分、级数和乘积表》（1965），学术出版社：伦敦学术出版社
[33] 黄，J。；霍洛维茨，J.L。；魏凤，非参数可加模型中的变量选择，统计年鉴。，38, 2282-2313 (2010) ·Zbl 1202.62051号
[34] Kivinen，J。；Warmuth，M.K.，线性预测因子的指数梯度与梯度下降，Inform。和计算。，132, 1-63 (1997) ·Zbl 0872.68158号
[35] 科尔钦斯基，V。；Yuan，M.，大型内核机集合中的稀疏恢复（2008）
[36] Lecué，G.，《同时适应分类中的边缘和复杂性》，《统计年鉴》。，35, 1698-1721 (2007) ·Zbl 1209.62146号
[37] 梁振英。；Barron，A.R.，《信息理论与混合最小二乘回归》，IEEE Trans。通知。理论，52，3396-3410（2006）·Zbl 1309.94051号
[38] 利特斯通，N。；Warmuth，M.K.，加权多数算法，Inform。和计算。，108, 212-261 (1994) ·Zbl 0804.68121号
[39] 卢，T.D。；法迪利，J。；Chesneau，C.，《通过朗之万扩散从非光滑分布中取样的技术报告》（2017年），hal-01492056
[40] Maly，J.，《关于积分变量变化的讲座》（2001年），数学系：赫尔辛基大学数学系，预印本305
[41] Mao，X.，《随机微分方程及其应用》（2007），Woodhead出版社：英国Sawston出版社·Zbl 1138.60005号
[42] Meier，L。；van d.Geer，S。；Bühlmann，P.，logistic回归的组套索，J.R.Stat.Soc.Ser。B统计方法。，70, 53-71 (2008) ·Zbl 1400.62276号
[43] Meier，L。；van de Geer，S。；Bühlmann，P.，高维加性建模，《统计年鉴》。，373779-3821（2009年）·Zbl 1360.62186号
[44] 基于小波模型的贝叶斯推断（1999），Springer:Springer New York·Zbl 0920.00017号
[45] Nemirovski，A.，《非参数统计专题》（Emery，M.；Nemirowski，A.；Voiculescu，D.，《概率理论与统计讲座》，《圣路易斯概率》，1998年（2000年），Springer:Springer New York）·Zbl 0998.62033号
[46] Pereyra，M.，《邻近马尔可夫链蒙特卡罗算法》，统计计算。，26, 745-760 (2016) ·兹比尔1505.62315
[47] G.Peyré，J.Fadili，C.Chesneau，具有重叠配分函数的群稀疏性，in：EUSIPCO，巴塞罗那，西班牙，2011。；G.Peyré，J.Fadili，C.Chesneau，具有重叠配分函数的群稀疏性，载于：EUSIPCO，西班牙巴塞罗那，2011年。
[48] 拉维库马尔，P。；Lafferty，J。；刘，H。；Wasserman，L.A.，稀疏加性模型，J.R.Stat.Soc.Ser。B统计方法。，71, 1009-1030 (2009) ·Zbl 1411.62107号
[49] Rigollet，P。；Tsybakov，A.B.，密度估计量的线性和凸聚合，数学。方法统计。，16, 260-280 (2007) ·Zbl 1231.62057号
[50] Rigollet，P。；Tsybakov，A.B.，指数加权稀疏估计，统计。科学。，27, 558-575 (2012) ·Zbl 1331.62351号
[51] Roberts，G.O。；Tweedie，R.L.，Langevin分布及其离散近似的指数收敛性，Bernoulli，2，341-363（1996）·Zbl 0870.60027号
[52] Rockafellar，R.T。；Wets，R.，变分分析（1998），Springer:Springer New York·Zbl 0888.49001号
[53] 鲁丁，L.I。；Osher，S。；Fatemi，E.，基于非线性总变差的噪声去除算法，Physica D，60，259-268（1992）·Zbl 0780.49028号
[54] Schapire，R.E.，《弱可学习性的力量》，马赫。学习。，5, 197-227 (1990)
[55] Tibshirani，R.J。；桑德斯，M。；Rosset，S。；朱，J。；K.奈特（K.K.Knight），通过融合拉索（J.R.Stat.Soc.Ser）设计的稀疏平滑。B统计方法。，91-108 (2005) ·Zbl 1060.62049号
[56] Vovk，V.G.，《聚合策略》（第三届计算学习理论年度研讨会论文集，COLT’90（1990），Morgan Kaufmann Publishers Inc.：Morgan Koufmann-Publishers Inc.San Francisco，CA，USA），371-386
[57] Yang，Y.，《聚合回归程序以提高性能》，伯努利，10，25-47（2004）·Zbl 1040.62030
[58] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。B统计方法。，68, 49-67 (2006) ·Zbl 1141.62030号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。