×
吕金池;范莹莹

使用正则化最小二乘进行模型选择和稀疏恢复的统一方法。 （英语） Zbl 1369.62156号

Ann.统计。 37，编号6A，3498-3528（2009）.
摘要：模型选择和稀疏恢复是两个重要的问题，针对这两个问题提出了许多正则化方法。我们在带凹惩罚的正则化最小二乘统一框架下研究了这两个问题的正则化方法的性质。对于模型选择，我们建立了正则化最小二乘估计器具有非共形性质的条件，称为弱预言性质，其中维数可以随着样本量呈指数增长。对于稀疏恢复，我们提出了一个充分条件，以确保最稀疏解的可恢复性。特别地，我们通过考虑一系列惩罚来处理这两个问题，这些惩罚在（L_{0}）和（L_}）惩罚之间给出了一个光滑同伦。我们还提出了用于稀疏恢复的顺序和迭代重加权平方（SIRS）算法。数值研究支持了我们的理论结果，并证明了我们的新方法在模型选择和稀疏恢复方面的优势。

引用于1审查
引用于134文件

MSC公司：

62J05型 线性回归；混合模型
62G08号 非参数回归和分位数回归
94甲12 信号理论（表征、重建、滤波等）

关键词：

型号选择;稀疏恢复;高维性;凹形惩罚;正则化最小二乘;弱oracle属性

软件：

PDCO公司
PDF格式BibTeX公司 XML格式引用
\textit｛J.Lv｝和\textit｛Y.Fan｝，Ann.Stat.37，第6A号，3498-3528（2009年；Zbl 1369.62156）
全文： 内政部 arXiv公司

参考文献：

[1] Antoniadis，A.和Fan，J.（2001）。小波近似的正则化（讨论）。J.Amer。统计师。协会96 939-967。JSTOR公司：·Zbl 1072.62561号 ·doi:10.1198/016214501753208942
[2] Bickel，P.J.和Li，B.（2006年）。统计规范化（讨论）。测试15 271-344·Zbl 1110.62051号 ·doi:10.1007/BF02607055
[3] Bickel，P.J.、Ritov，Y.和Tsybakov，A.（2008）。Lasso和Dantzig选择器的同时分析。安。统计师·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[4] Breiman，L.（1995）。使用非负garrote进行更好的子集回归。技术计量37 373-384。JSTOR公司：·Zbl 0862.62059号 ·doi:10.307/1269730
[5] Candes，E.J.和Tao，T.（2005）。通过线性规划进行解码。IEEE传输。通知。理论51 4203-4215·兹比尔1264.94121 ·doi:10.1109/TIT.2005.858979
[6] Candes，E.J.和Tao，T.（2006）。随机投影的近最优信号恢复：通用编码策略？IEEE传输。通知。理论52 5406-5425·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507
[7] Candes，E.J.和Tao，T.（2007）。Dantzig选择器：当p远大于n时的统计估计（有讨论）。安。统计师。35 2313-2404. ·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[8] Candès，E.J.、Wakin，M.B.和Boyd，s.P.（2008）。通过重新加权\单元1最小化来增强稀疏性。J.傅里叶分析。申请。14 877-905. ·Zbl 1176.94014号 ·doi:10.1007/s00041-008-9045-x
[9] Chen，S.、Donoho，D.和Saunders，M.（1999）。通过基追踪进行原子分解。SIAM J.科学。计算。20 33-61. ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010
[10] Donoho，D.L.（2004）。欠定线性方程的邻域多面体和稀疏解。斯坦福大学统计系技术报告。
[11] Donoho，D.L.和Elad，M.（2003）。通过ell 1最小化在通用（非正交）字典中实现最佳稀疏表示。程序。国家。阿卡德。科学。美国100 2197-2202·Zbl 1064.94011号 ·doi:10.1073/pnas.0437847100
[12] Donoho，D.、Elad，M.和Temlyakov，V.（2006）。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52 6-18·兹比尔1288.94017 ·doi:10.1109/TIT.2005.860430
[13] Donoho，D.L.和Johnstone，I.M.（1994年）。通过小波收缩实现理想的空间自适应。Biometrika 81 425-455。JSTOR公司：·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[14] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归（讨论）。安。统计师。32 407-451. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[15] Fan，J.（1997）。评论A.Antoniadis的《统计学中的小波：综述》。J.意大利统计师。协会6 131-138。
[16] Fan，J.和Fan，Y.（2008）。使用退火独立规则的特征进行高维分类。安。统计师。36 2605-2637. ·Zbl 1360.62327号 ·doi:10.1214/07-AOS504
[17] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348-1360。JSTOR公司：·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[18] Fan，J.和Li，R.（2006）。高维统计挑战：知识发现中的特征选择。《国际数学家大会议事录》（M.Sanz-Sole、J.Soria、J.L.Varona和J.Verdera编辑）3 595-622。欧洲数学。苏黎世社会出版社·Zbl 1117.62137号
[19] Fan，J.和Lv，J.（2008）。超高维特征空间的确定独立筛选（讨论）。J.罗伊。统计师。Soc.序列号。B 70 849-911。
[20] Fan，J.和Peng，H.（2004）。参数个数发散的非凹陷惩罚似然。安。统计师。32 928-961. ·兹比尔1092.62031 ·doi:10.1214/009053604000000256
[21] Fang，K.-T.和Zhang，Y.-T.（1990）。广义多元分析。施普林格，柏林·Zbl 0724.62054号
[22] Frank，I.E.和Friedman，J.H.（1993年）。一些化学计量学回归工具的统计视图（含讨论）。技术计量35 109-148·Zbl 0775.62288号 ·doi:10.2307/1269656
[23] Fuchs，J.-J.（2004）。在存在噪声的情况下恢复精确的稀疏表示。IEEE声学、语音和信号处理国际会议论文集533-536。魁北克省蒙特利尔市。
[24] Greenshtein，E.和Ritov，Y.（2004）。高维线性预测器选择的持续性和超参数化的优点。伯努利10 971-988·Zbl 1055.62078号 ·doi:10.3150/bj/1106314846
[25] Hunter，D.和Li，R.（2005）。使用MM算法选择变量。安。统计师。33 1617-1642. ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200
[26] James，G.、Radchenko，P.和Lv，J.（2009）。DASSO：Dantzig选择器和Lasso之间的连接。J.罗伊。统计师。Soc.序列号。B 71 127-142·Zbl 1231.62129号 ·文件编号：10.1111/j.1467-9868.2008.00668.x
[27] Li，R.和Liang，H.（2008）。半参数回归建模中的变量选择。安。统计师。36 261-286. ·Zbl 1132.62027号 ·doi:10.1214/009053607000000604
[28] 刘毅和吴毅（2007）。通过L 0和L 1惩罚组合选择变量。J.计算。图表。统计师。16 782-798. ·doi:10.19198/106186007X255676
[29] Meinshausen，N.、Rocha，G.和Yu，B.（2007年）。讨论：一个关于三个堂兄弟的故事：拉索、L2Boosting和Dantzig。安。统计师。35 2373-2384. ·doi:10.1214/09053607000000460
[30] Nikolova，M.（2000年）。正则估计的局部强同质性。SIAM J.应用。数学。61 633-658. ·Zbl 0991.94015号 ·doi:10.1137/S00361399997327794
[31] Tibshirani，R.（1996）。通过拉索回归收缩和选择。J.罗伊。统计师。Soc.序列号。乙58 267-288。JSTOR公司：·Zbl 0850.62538号
[32] Tropp，J.A.（2006）。放松：识别噪声中稀疏信号的凸编程方法。IEEE传输。通知。理论5 1030-1051·Zbl 1288.94025号 ·doi:10.10109/TIT.2005.864420
[33] Vrahatis，M.N.（1989年）。米兰达存在定理的一个简短证明和推广。程序。阿米尔。数学。Soc.107 701-703·Zbl 0695.55001号 ·doi:10.2307/2048168
[34] Wainwright，M.J.（2006）。用于高维和噪声稀疏恢复的锐利阈值。技术报告，加州大学伯克利分校统计系。
[35] Wang，H.，Li，R.和Tsai，C.-L.（2007）。调整平滑剪裁绝对偏差方法的参数选择器。生物特征94 553-568·Zbl 1135.62058号 ·doi:10.1093/biomet/asm053
[36] Zhang，C.-H.（2007）。惩罚线性无偏选择。罗格斯大学统计系技术报告。
[37] Zhao，P.和Yu，B.（2006）。关于拉索模型选择的一致性。J.马赫。学习。第7号决议2541-2563·Zbl 1222.62008年
[38] Zou，H.（2006年）。自适应Lasso及其oracle属性。J.Amer。统计师。协会101 1418-1429·Zbl 1171.62326号 ·doi:10.19198/016214506000000735
[39] 邹浩和李若明（2008）。非凹陷惩罚似然模型中的一步稀疏估计（附讨论）。安。统计师。36 1509-1566. ·Zbl 1282.62112号 ·doi:10.1214/0090536007000000802
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。