×
尼古拉斯·施特勒;彼得·伯尔曼;萨拉·范德格尔

\混合回归模型的（ell{1}）惩罚。 （英语） Zbl 1203.62128号

测试 209-256（2010）第2期第19页.
摘要：我们考虑了一个用于高维非均匀数据的有限混合回归（FMR）模型，其中协变量的数量可能远大于样本大小。在适当的参数化中，我们提出了一种惩罚极大似然估计。这种估计属于一类需要优化和非凸函数理论的问题。这与凸损失或目标函数的高维估计有着非常明显的区别，例如线性或广义线性模型中的Lasso。混合模型是出现非凸性的一个重要例子。对于FMR模型，我们开发了一种高效的EM算法用于数值优化，该算法具有可证明的收敛性。我们的惩罚估计在数值上比未惩罚的最大似然估计更合适（例如，准则函数的有界性），并且它允许有效的统计正则化，包括变量选择。我们还提出了一些渐近理论和预言不等式：由于负对数似然函数的非凸性，与凸损失问题相比，需要不同的数学论证。最后，我们将新方法应用于模拟数据和实际数据。

引用于7评论
引用于86文件

MSC公司：

62J12型 广义线性模型（逻辑模型）
2012年12月62日 参数估计量的渐近性质
62J07型 岭回归；收缩估计器（拉索）
90 C90 数学规划的应用
65C60个 统计中的计算问题（MSC2010）

关键词：

自适应套索;有限混合模型;广义EM算法;高维估计;套索;oracle不等式

软件：

格尔姆奈特;柔性混音
PDF格式BibTeX公司 XML格式引用
\textit{N.Städler}等人，测试19，第2号，209--256（2010；Zbl 1203.62128）
全文： 内政部 arXiv公司

参考文献：

[1] Bertsekas D（1995）非线性规划。雅典娜科技公司，贝尔蒙特·Zbl 0935.90037号
[2] Bickel P、Ritov Y、Tsybakov A（2009）《Lasso和Dantzig选择器的同步分析》。Ann统计37:1705–1732·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[3] Bunea F、Tsybakov A、Wegkamp M（2007）《拉索的稀疏预言不等式》。电子J统计1:169–194·Zbl 1146.62028号 ·doi:10.1214/07-EJS008
[4] Cai T，Wang L，Xu G（2009a）稀疏信号的稳定恢复和预言不等式。宾夕法尼亚大学统计系技术代表·Zbl 1366.94085号
[5] Cai T，Xu G，Zhang J（2009b）关于通过1最小化恢复稀疏信号。IEEE Trans-Inf理论55:3388–3397·Zbl 1367.94081号 ·doi:10.1109/TIT.2009.2021377
[6] Candès E，Plan Y（2009）通过1最小化进行近理想模型选择。安统计37:2145–2177·Zbl 1173.62053号 ·doi:10.1214/08-AOS653
[7] Candès E，Tao T（2005）《线性规划解码》。IEEE Trans-Inf理论51:4203–4215·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[8] Candès E，Tao T（2007）Dantzig选择器：当p远大于n时的统计估计（有讨论）。安统计35:2313–2404·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[9] Dempster A，Laird N，Rubin D（1977）通过EM算法从不完整数据中获得最大似然。J R Stat Soc，B系列39:1–38·Zbl 0364.62022号
[10] Fan J，Li R（2001）基于非冲突惩罚似然的变量选择及其预言性质。美国统计协会杂志96:1348–1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[11] Friedman J，Hastie T，Hoefling H，Tibshirani R（2007）路径坐标优化。Ann Appl统计1:302–332·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[12] Friedman J，Hastie T，Tibshirani R（2008）通过坐标下降法实现广义线性模型的正则化路径。斯坦福大学统计系技术代表
[13] 傅文杰（1998）《惩罚回归：桥梁与套索》。J计算图表统计7:397–416·doi:10.307/1390712
[14] Greenshtein E，Ritov Y（2004）高维预测因子选择的持续性和超参数化的优点。伯努利10:971–988·Zbl 1055.62078号 ·doi:10.3150/bj/1106314846
[15] Grün B，Leisch F（2007）在R.计算统计数据分析51:5247–5252中拟合广义线性回归的有限混合。doi:10.1016/j.csda.2006.08.014·Zbl 1445.62192号 ·doi:10.1016/j.csda.2006.08.014
[16] Grün B，Leisch F（2008）FlexMix第2版：具有相伴变量和可变和恒定参数的有限混合。J统计软件28:1-35。http://www.jstatsoft.org/v28/i04/
[17] Huang J，Ma S，Zhang CH（2008）稀疏高维回归模型的自适应Lasso。统计罪18:1603–1618·Zbl 1255.62198号
[18] Khalili A，Chen J（2007）有限混合回归模型中的变量选择。美国统计协会杂志102:1025–1038·Zbl 1469.62306号 ·doi:10.1198/0162145000000590
[19] Koltchinskii V（2009）Dantzig选择器和稀疏预言不等式。伯努利15:799–828·Zbl 1452.62486号 ·doi:10.3150/09-BEJ187
[20] Lehmann E（1983）点估计理论。沃兹沃思和布鲁克斯/科尔，太平洋格罗夫·Zbl 0522.62020号
[21] Leich F（2004）FlexMix:R.J Stat Softw 11:1–18中有限混合模型和潜在类回归的一般框架。http://www.jstatsoft.org/v11/i08/
[22] McLachlan GJ，Peel D（2000）有限混合模型。纽约威利·Zbl 0963.62061号
[23] Meier L、van de Geer S、Bühlmann P（2008）《逻辑回归的拉索组》。J R Stat Soc，B系列70:53–71·Zbl 1400.62276号 ·文件编号：10.1111/j.1467-9868.2007.00627.x
[24] Meinshausen N，Bühlmann P（2006）高维图和Lasso变量选择。安统计34:1436–1462·兹比尔1113.62082 ·doi:10.1214/0090536000000281
[25] Meinshausen N，Yu B（2009）高维数据稀疏表示的Lasso类型恢复。安统计37:246–270·Zbl 1155.62050号 ·doi:10.1214/07-AOS582
[26] Pan W，Shen X（2007）基于模型的惩罚聚类及其在变量选择中的应用。J Mach学习研究8:1145–1164·Zbl 1222.68279号
[27] Park T，Casella G（2008）《贝叶斯拉索》。美国统计协会期刊103:681–686·兹比尔1330.62292 ·doi:10.1198/016214500000037
[28] Tibshirani R（1996）通过Lasso回归收缩和选择。J R Stat Soc，B系列58:267–288·Zbl 0850.62538号
[29] Tseng P（2001）不可微极小化的块坐标下降法的收敛性。J Optim理论应用109:475–494·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[30] Tseng P，Yun S（2008）非光滑可分离最小化的坐标梯度下降方法。数学程序，Ser B 117:387–423·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[31] Tsybakov A（2004）统计学习中分类器的最佳聚合。安统计32:135–166·Zbl 1105.62353号 ·doi:10.1214/aos/1079120131
[32] van de Geer S（2000）M估计的经验过程。剑桥大学出版社·Zbl 0953.62049号
[33] van de Geer S（2008）高维广义线性模型和Lasso。安统计36:614–645·Zbl 1138.62323号 ·doi:10.1214/00905360700000929
[34] van de Geer S，Bühlmann P（2009）《关于证明拉索预言结果的条件》。电子J统计3:1360–1392·兹比尔1327.62425 ·doi:10.1214/09-EJS506
[35] van de Geer S，Zhou S，Bühlmann P（2010）《自适应拉索预测和变量选择》。Arxiv预打印Arxiv:1001.5176[mathST]
[36] van der Vaart A（2007）《渐进统计》。剑桥大学出版社·Zbl 0910.62001号
[37] van der Vaart A，Wellner J（1996），弱收敛和经验过程。柏林施普林格·Zbl 0862.60002号
[38] Wainwright M（2009）使用1-约束二次规划（Lasso）恢复高维和噪声稀疏性的尖锐阈值。IEEE Trans-Inf理论55:2183–2202·兹比尔1367.62220 ·doi:10.1109/TIT.2009.2016018
[39] Wu C（1983）关于EM算法的收敛性。安统计11:95–103·Zbl 0517.62035号 ·doi:10.1214/aos/1176346060
[40] Zhang T（2009）带有L1正则化的最小二乘回归的一些明显性能界限。安统计37:2109–2144·Zbl 1173.62029号 ·doi:10.1214/08-AOS659
[41] Zhang CH（2010）极小极大凹罚下的近似无偏变量选择。安统计38:894–942·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[42] Zhang CH，Huang J（2008）高维线性回归中拉索选择的稀疏性和偏差。安统计36:1567–1594·兹比尔1142.62044 ·doi:10.1214/07-AOS520
[43] 赵鹏，于波（2006）关于拉索模型选择的一致性。J Mach学习研究7:2541–2563·Zbl 1222.62008年
[44] 邹H（2006）自适应套索及其预言属性。美国统计协会杂志101:1418–1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。