×

使用灵活的有限回归混合进行预测。 (英语) Zbl 1507.62004号

摘要:有限混合回归(FMR)广泛用于建模来自异质群体的数据。在这些设置中,与更传统的一类模型相比,FMR可以提供更高的预测能力。然而,现有的FMR方法严重依赖于线性模型的混合,其中线性预测器必须作为输入。结合随机森林学习器和惩罚线性FMR,提出了一种柔性FMR模型。在广泛的模拟研究中,通过预测对数似然来评估新方法的性能。当真实回归函数实际上是线性的时,该方法与现有的FMR方法具有同等的性能,并且在至少一个回归函数是非线性的情况下,该方法具有更好的性能。该方法可以处理大量协变量,其预测能力不受剩余变量的影响。

MSC公司:

62-08 统计问题的计算方法
62H30型 分类和区分;聚类分析(统计方面)
62J05型 线性回归;混合模型
62J12型 广义线性模型(逻辑模型)
68T05年 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 贝洛尼,A。;Chernozhukov,V.,高维稀疏模型中模型选择后的最小二乘法,Bernoulli,19,2,521-547(2013)·Zbl 1456.62066号
[2] Bouveyron,C。;Brunet-Saumard,C.,《基于模型的高维数据聚类:综述》,《计算》。统计师。数据分析。,71, 52-78 (2014) ·Zbl 1471.62032号
[3] Breiman,L.,《随机森林》,马赫。学习。,45, 1, 5-32 (2001) ·Zbl 1007.68152号
[4] Bühlmann,P。;Van De Geer,S.,《高维数据统计:方法、理论和应用》(2011),施普林格科学与商业媒体·Zbl 1273.62015年
[5] Celeux,G。;Martin-Magniette,M.-L。;Maugis-Rabusseau,C。;Raftery,A.E.,《基于模型聚类中模型选择和正则化方法与变量选择的比较》,法国社会统计杂志(2009),155,2,57(2014)·Zbl 1316.62083号
[6] De Veaux,R.D.,线性回归混合,计算。统计师。数据分析。,8, 3, 227-245 (1989) ·Zbl 0726.62109号
[7] Dempster,A.P。;新墨西哥州莱尔德。;Rubin,D.B.,《通过em算法从不完整数据中获得最大似然》,J.R.Stat.Soc.Ser。B统计方法。,1-38 (1977) ·Zbl 0364.62022号
[8] 埃夫隆,B。;Tibshirani,R.J.,Bootstrap简介(1994),Chapman和Hall/CRC
[9] 冯勇,于勇,2013年。高维变量选择中调谐参数选择的一致交叉验证。arXiv预打印arXiv:1308.5390;冯勇,于勇,2013年。高维变量选择中调谐参数选择的一致交叉验证。arXiv预打印arXiv:1308.5390
[10] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J.Stat.Softw。,33, 1, 1 (2010)
[11] 加林贝蒂,G。;Montanari,A。;Viroli,C.,聚类数据中变量选择的惩罚因子混合分析,计算。统计师。数据分析。,53, 12, 4301-4310 (2009) ·Zbl 1453.62094号
[12] Gelman,A。;Carlin,J.B。;斯特恩,H.S。;Rubin,D.B.,《贝叶斯数据分析》,第2卷(2014年),Taylor&Francis·Zbl 1279.62004号
[13] Hadavandi,E。;沙拉比,J。;Hayashi,Y.,SPMoE:用于多目标回归问题的新型子空间投影专家混合模型,软计算。,20, 5, 2047-2065 (2016)
[14] 哈斯蒂,T。;Tibshirani,R。;Friedman,J.,《统计学习的要素》(2009),施普林格出版社·Zbl 1273.62005年
[15] Hennig,C.,聚类线性回归模型的可识别性,J.分类,17,2,273-296(2000)·Zbl 1017.62058号
[16] 黄,M。;李,R。;Wang,H。;Yao,W.,通过核平滑估计高斯过程的混合,J.Bus。经济。统计师。(2013)
[17] 黄,M。;李,R。;Wang,S.,回归模型的非参数混合,J.Amer。统计师。协会,108,503,929-941(2013)·Zbl 06224977号
[18] Hyndman,R.J.,《计算和绘制最高密度区域》,美国。统计人员。,50, 2, 120-126 (1996)
[19] James,G.,Witten,D.,Hastie,T.,Tibshirani,R.,2013年,《ISLR:R.R软件包1.0版中应用程序的统计学习入门数据》。统一资源定位地址http://CRAN.R-project.org/package=ISLR; James,G.,Witten,D.,Hastie,T.,Tibshirani,R.,2013年,《ISLR:R.R软件包1.0版中应用程序的统计学习入门数据》。统一资源定位地址http://CRAN.R-project.org/package=ISLR ·Zbl 1281.62147号
[20] Joly,A.,Schnitzler,F.,Geurts,P.,Wehenkel,L.,2012年。基于L1的随机森林模型压缩。参加:第20届欧洲人工神经网络研讨会。;Joly,A.,Schnitzler,F.,Geurts,P.,Wehenkel,L.,2012年。随机森林模型的基于L1的压缩。摘自:第20届欧洲人工神经网络研讨会。
[21] Khalili,A.,混合专家模型中的新估计和特征选择方法,加拿大。J.统计。,38119-539(2010年)·Zbl 1349.62071号
[22] Khalili,A。;Chen,J.,回归模型有限混合中的变量选择,J.Amer。统计师。协会,102,479(2007)·Zbl 1469.62306号
[23] Khalili,A。;陈,J。;Lin,S.,高维特征空间稀疏正态线性模型有限混合中的特征选择,生物统计学(2010)
[24] Knaus,J.,2013年。降雪:更容易的集群计算(基于雪)。R包版本1.84-4。统一资源定位地址http://CRAN.R-project.org/package=降雪; Knaus,J.,2013年。降雪:更容易的集群计算(基于雪)。R包版本1.84-4。统一资源定位地址http://CRAN.R-project.org/package=降雪
[25] Leisch,F.,Flexmix:r,J.Stat.Softw中有限混合模型和潜在类回归的一般框架。(2004),网址http://www.jstatsoft.org/v11/i08/
[26] Liaw,A。;Wiener,M.,randomForest分类和回归,R News,2,3,18-22(2002),URLhttp://CRAN.R-project.org/doc/Rnews/
[27] Mächler,M.,2014年。nor1mix:正常(1-d)混合模型(S3类和方法)。R包版本1.2-0。统一资源定位地址http://CRAN.R-project.org/package=nor1mix; Mächler,M.,2014年。nor1mix:正常(1-d)混合模型(S3类和方法)。R包版本1.2-0。统一资源定位地址http://CRAN.R-project.org/package=nor1mix
[28] 麦克拉克伦,G。;Peel,D.,有限混合模型(2004),John Wiley&Sons
[29] Nelsen,R.B.,《Copulas简介》(2007),Springer Science&Business Media
[30] Quandt,R.E.,估计转换回归的新方法,J.Amer。统计师。协会,67,338,306-310(1972)·Zbl 0237.62047号
[31] R核心团队,R:统计计算的语言和环境(2013),R统计计算基金会:R统计计算基金会,奥地利维也纳,URL网址:http://www.R-project.org/
[32] Spindler,M.,《工具变量选择的拉索:复制研究》,J.Appl。计量经济学(2014)
[33] Städler,N.,2010,fmrlasso:回归有限混合拉索。R软件包版本1.0。;Städler,N.,2010,fmrlasso:回归有限混合拉索。R软件包版本1.0。
[34] 北卡罗来纳州施特勒。;Bühlmann,P。;Van De Geer,S.,混合回归模型的L1验证,Test,19,2,209-256(2010)·Zbl 1203.62128号
[35] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.R.Stat.Soc.Ser。B统计方法。,267-288 (1996) ·Zbl 0850.62538号
[36] Xiang,S.,半参数混合模型(2014),堪萨斯州立大学(博士论文)
[37] Yuksel,S.E。;Wilson,J.N。;Gader,P.D.,《二十年的专家混合》,IEEE Trans。神经网络。学习。系统。,23, 8, 1177-1193 (2012)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。