×

高维拉索调谐参数选择的研究。 (英语) Zbl 07192693号

摘要:高维预测模型,即测量值多于观测值的模型,需要正则化才能得到很好的定义,在经验上表现良好,并且具有理论保证。正则化的量通常由调整参数决定,是实现良好性能的必要条件。人们可以通过多种方式选择调谐参数,例如通过重采样方法或广义信息准则。然而,支持许多正则化过程的理论依赖于方差参数的估计,而方差参数在高维中非常复杂。我们利用高维方差估计的文献,为选择拉索回归中的调谐参数制定了一套信息准则。我们的直觉表明,现有的信息理论方法在这种情况下效果不佳。我们通过广泛的模拟,将我们的风险估计值与现有方法进行了比较,并得出了一些理论依据。我们发现,我们的新估计器在广泛的模拟条件和评估标准中表现良好。

MSC公司:

62至XX 统计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 袁明,林毅。分组变量回归中的模型选择和估计。J R Stat Soc Ser B Stat方法。2006;68(1):49-67. doi:10.1111/j.1467-9868.2005302.x[Crossref],[Web of Science®],[Google学者]·Zbl 1141.62030号
[2] Fan J,Li R.基于非冲突惩罚似然的变量选择及其预言性质。美国统计协会杂志,2001年;96(456):1348-1360. doi:10.1198/016214501753382273[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1073.62547号
[3] Tibshirani RJ。套索问题和唯一性。Electron J Stat.2013;时间:7:1456-1490。doi:10.1214/13-EJS815[Crossref],[Web of Science®],[Google学者]·Zbl 1337.62173号
[4] Tibshirani R、Johnstone I、Hastie T等。最小角回归。安·统计师。2004;32(2):407-499. doi:10.1214/009053604000000067[Crossref],[Web of Science®],[Google学者]·Zbl 1091.62054号
[5] Bunea F,Tsybakov A,Wegkamp M.套索的Sparsity预言不等式。Electron J Stat.2007;电子杂志;1:169-194. doi:10.1214/07-EJS008[Crossref],[Web of Science®],[Google学者]·Zbl 1146.62028号
[6] Hastie T、Tibshirani R、Friedman J。统计学习的要素:数据挖掘、推理和预测。纽约:Springer-Verlag;2009年。[Crosref],[谷歌学者]·Zbl 1273.62005年
[7] Zou H,Hastie T,Tibshirani R。关于套索的自由度。安·统计师。2007;35(5):2173-2192. doi:10.1214/00905360700000127[Crossref],[Web of Science®],[Google学者]·Zbl 1126.62061号
[8] Hastie T、Tibshirani R、Wainwright MJ。稀疏性统计学习:套索和概括。博卡拉顿(佛罗里达州):CRC出版社;2015.【Crossref】,【谷歌学者】·Zbl 1319.68003号
[9] Homrighausen D,McDonald DJ。套索式程序交叉验证的风险一致性。中央统计局。2017;27(3):1017-1036. [Web of Science®],[Google学者]·Zbl 1372.62022号
[10] 邵J.通过交叉验证选择线性模型。J Amer统计协会,1993年;88:486-494. doi:10.1080/01621459.1993.10476299[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 0773.62051号
[11] Yu Y,Feng Y.修正了惩罚高维线性回归模型的交叉验证。J计算图形统计。2014;23(4):1009-1027. doi:10.1080/10618600.2013.849200[Taylor&Francis Online],[Web of Science®],[Google学者]
[12] Golub GH,Heath M,Wahba G.广义交叉验证作为选择良好岭参数的方法。技术计量学。1979;21(2):215-223. doi:10.1080/00401706.1979.10489751[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 0461.62059号
[13] Efron B.预测规则的表观错误率有多大偏差?J Amer统计协会,1986年;81(394):461-470. doi:10.1080/01621459.1986.10478291[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 0621.62073号
[14] Bühlmann P,van de Geer S.高维数据统计:方法、理论和应用。纽约:Springer;2011.【Crossref】,【谷歌学者】·Zbl 1273.62015年
[15] Wang H,Li R,Tsai CL.为平滑剪裁绝对偏差方法调整参数选择器。生物特征。2007;94(3):553-568. doi:10.1093/biomet/asm053[Crossref],[PubMed],[Web of Science®],[Google学者]·Zbl 1135.62058号
[16] Tibshirani R.通过套索回归收缩和选择。J R Stat Soc Ser B Stat方法。1996;58(1):267-288. [Crossref]、[Web of Science®]、[Google学者]·Zbl 0850.62538号
[17] Flynn CJ、Hurvich CM、Simonoff JS。错误指定模型惩罚似然估计中正则化参数选择的效率。J Amer统计协会,2013年;108:1031-1043. doi:10.1080/01621459.2013.801775[Taylor&Francis Online],[Web of Science®],[Google学者]·兹比尔06224985
[18] 王浩,李斌,冷C.参数发散数的收缩率调谐参数选择。J R Stat Soc Ser B Stat方法。2009;71(3):671-683. doi:10.1111/j.1467-9868.2008.00693.x[Crossref],[Web of Science®],[Google学者]·Zbl 1250.62036号
[19] Stein CM。多元正态分布平均值的估计。安·统计师。1981;9(6):1135-1151. doi:10.1214/aos/1176345632[Crossref],[Web of Science®],[Google学者]·Zbl 0476.62035号
[20] Mallows CL.关于##img####img####img##cp.Technometrics的一些评论。1973年;15(4):661-675. [Taylor&Francis Online]、[Web of Science®]、[Google学者]·Zbl 0269.62061号
[21] Tibshirani RJ,Taylor J.套索问题中的自由度。安·统计师。2012;40:1198-1232. doi:10.1214/12-AOS1003[Crossref],[Web of Science®],[Google学者]·Zbl 1274.62469号
[22] Chen J,Chen Z.小n大p稀疏GLM的扩展BIC。中央统计局。2012;22(2):555-574. [Crossref]、[Web of Science®]、[Google学者]·Zbl 1238.62080号
[23] Zhang Y,Shen X.高维数据的模型选择程序。统计分析数据最小ASA数据科学杂志2010;3(5):350-358. doi:10.1002/sam.10088[交叉引用],[公共医学],[谷歌学者]·Zbl 07260255号
[24] Kim Y,Kwon S,Choi H.高维一致的模型选择标准。《马赫学习研究杂志》,2012年;13(1):1037-1057. [谷歌学者]·Zbl 1283.62143号
[25] Fan Y,Tang CY。高维惩罚可能性中的调整参数选择。J R Stat Soc Ser B Stat方法。2013;75(3):531-552. doi:10.111/rssb.12001[Crosref],[Web of Science®],[谷歌学者]·兹比尔1411.62216
[26] Reid S,Tibshirani R,Friedman J.套索回归中误差方差估计的研究。中央统计局。2016;26(1):35-67. [Web of Science®],[Google学者]·Zbl 1372.62023号
[27] Fan J,Guo S,Hao N.超高维回归中使用改装交叉验证的方差估计。J R Stat Soc Ser B Stat方法。2012;74(1):37-65. doi:10.1111/j.1467-9868.2011.01005.x[交叉引用],[公共医学],[谷歌学者]·Zbl 1411.62199号
[28] 孙涛,张春华。标度稀疏线性回归。生物特征。2012;99(4):879-898. doi:10.1093/biomet/ass043[Crossref],[Web of Science®],[Google学者]·Zbl 1452.62515号
[29] Belloni A,Chernozhukov V,Wang L.Square-root套索:通过圆锥规划实现稀疏信号的关键恢复。生物特征。2011;98(4):791-806. doi:10.1093/biomet/asr043[Crossref],[Web of Science®],[Google学者]·Zbl 1228.62083号
[30] Friedman J,Hastie T,Tibshirani R.通过坐标下降法实现广义线性模型的正则化路径。J统计软件。2010;33(1):1-22. doi:10.18637/jss.v033.i01[Crossref],[PubMed],[Web of Science®],[Google学者]
[31] Sun T,Zhang CH.用尺度套索进行稀疏矩阵反演。J Mach Learn Res.2013;14:3385-3418. [Web of Science®],[Google学者]·Zbl 1318.62184号
[32] Breheny P,Huang J.非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用。Ann Appl Stat.2011;5(1):232-253. doi:10.1214/10-AOAS388[Crossref],[PubMed],[Web of Science®],[Google学者]·Zbl 1220.62095号
[33] 张毅,李锐,蔡丽玲。基于广义信息准则的正则化参数选择。J Amer统计协会,2010年;105(489):312-323. doi:10.1198/jasa.2009.tm08013[Taylor&Francis Online],[Web of Science®],[Google学者]·Zbl 1397.62262号
[34] Rosenwald A,Wright G,Chan WC,等。利用分子分析预测弥漫性大b细胞淋巴瘤化疗后的生存率。《新英格兰医学杂志》2002;346(25):1937-1947. doi:10.1056/NEJMoa012914[Crosref],[PubMed],[Web of Science®],[谷歌学者]
[35] Bair E,Tibshirani R.半监督方法从基因表达数据预测患者生存率。《公共科学图书馆·生物》。2004;2(4):e108。doi:10.1371/journal.pbio.0020108[Crossref],[PubMed],[Web of Science®],[Google学者]
[36] van de Geer SA,Bühlmann P.关于用于证明套索的预言结果的条件。Electron J Stat.2009;电子杂志;3:1360-1392. doi:10.1214/09-EJS506[Crossref],[Web of Science®],[Google学者]·Zbl 1327.62425号
[37] Bickel PJ,Ritov Y,Tsybakov AB.套索和Dantzig选择器的同时分析。安·统计师。2009;37(4):1705-1732. doi:10.1214/08-AOS620[Crossref],[Web of Science®],[Google学者]·Zbl 1173.62022号
[38] Negahban SN、Ravikumar P、Wainwright MJ等。具有可分解正则化子的m-估计量高维分析的统一框架。统计科学。2012;27:538-337. doi:10.1214/12-STS400[Crosref],[Web of Science®],[谷歌学者]·Zbl 1331.62350号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。