×
Juho Piironen;马库斯·帕西尼埃米;阿基·维塔里

高维问题中的投影推理：预测和特征选择。 （英语） Zbl 1476.62058号

电子。J.统计。 14，第1期，2155-2197（2020年）.
本文讨论了广义线性模型的预测推理和特征选择，当数据是高维但样本数较少时，例如在微阵列记录的情况下。
本文证明，由参考模型和查找预测特征的最小子集的过程组成的两步方法是有益的。本文回顾了这一类别中的几种技术。
提出了一种新的聚类投影方法，该方法结合了其他两种方法，具有速度快、精度高的特点。提出了一种新的LOO交叉验证方法来评估特征选择过程。同时，证明了射影方法优越条件的一个定理。
提供了一个R包，其中实现了所有讨论的方法。在五个微阵列数据集上进行的几项模拟研究和应用也从实际角度证明了该方法的有效性。
审核人：Ruxandra Stoean（克雷奥瓦）

引用于6文件

MSC公司：

2015年1月62日 贝叶斯推断
62F07型 统计排名和选择程序
62J12型 广义线性模型（逻辑模型）

关键词：

投影;预测;特征选择;稀疏;选择后推理

软件：

R（右）;rms（有效值）;格尔姆奈特;选择性推理;斯坦;尖刺实验室;贝叶斯DA;业务风险管理系统;EBayesThresh公司;圣塔那主义
PDF格式BibTeX公司 XML格式引用
\textit{J.Piironen}等人，《电子》。J.Stat.14，No.1，2155--2197（2020；Zbl 1476.62058）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Afrabandpey，H.、Peltola，T.、Piironen，J.、Vehtari，A.和Kaski，S.（2019年）。使贝叶斯预测模型可解释：决策理论方法。，arXiv:1910.09358·Zbl 1525.68105号
[2] Ambroise，C.和McLachlan，G.J.（2002年）。基于微阵列基因表达数据的基因提取中的选择偏差。，《美国国家科学院院刊》99 6562-6566·Zbl 1034.92013年 ·doi:10.1073/pnas.102102699
[3] Armagan，A.、Clyde，M.和Dunson，D.B.（2011年）。高斯广义β混合物。《神经信息处理系统的进展》24（J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger编辑）523-531。
[4] Bair，E.、Hastie，T.、Paul，D.和Tibshirani，R.（2006）。监督主成分预测。，美国统计协会期刊101 119-137·Zbl 1118.62326号 ·doi:10.1198/0162145050000000628
[5] Barbieri，M.M.和Berger，J.O.（2004）。最优预测模型选择。，统计年鉴32 870-897·兹比尔1092.62033 ·doi:10.1214/009053604000000238
[6] Bernardo，J.M.和Juárez，M.A.（2003年）。内在估计。年，贝叶斯统计7（J.M.Bernardo、M.J.Bayarri、J.O.Berger、A.P.Dawid、D.Heckerman、A.F.M.Smith和M.West编辑）465-476。牛津大学出版社。
[7] Bernardo，J.M.和Smith，A.F.M.（1994）。，贝叶斯理论。约翰·威利父子公司·Zbl 0796.6202号
[8] Bhadra，A.、Datta，J.、Polson，N.G.和Willard，B.（2017年）。超稀疏信号的马蹄形估计。，贝叶斯分析12 1105-1131·Zbl 1384.62079号 ·doi:10.1214/16-BA1028
[9] Bhattacharya，A.、Pati，D.、Pillai，N.S.和Dunson，D.B.（2015）。Dirichlet-Laplace优先获得最佳收缩。，美国统计协会期刊110 1479-1490·兹比尔1373.62368 ·doi:10.1080/01621459.2014.960967
[10] Breiman，L.（1995）。使用非负garrote进行更好的子集回归。，技术计量37 373-384·Zbl 0862.62059号 ·doi:10.1080/00401706.1995.10484371
[11] Bucila，C.、Caruana，R.和Niculescu-Mizil，A.（2006年）。模型压缩。在，第12届ACM SIGKDD知识发现和数据挖掘国际会议论文集。KDD'06 535-541。ACM公司。
[12] Bürkner，P.-C.（2017）。brms:Bayesian多层模型的R包，使用Stan。，统计软件杂志80 1-28。
[13] Candes，E.和Tao，T.（2007）。Dantzig选择器：当\（p\）远大于\（n\）时的统计估计。，《统计年鉴》35 2313-2351·Zbl 1139.62019号 ·doi:10.1214/00905360000001523
[14] Carvalho，C.M.、Polson，N.G.和Scott，J.G.（2009年）。通过马蹄铁处理稀疏。年，《第十二届国际人工智能与统计会议论文集》（D.van Dyk和M.Welling编辑）。机器学习研究论文集5 73-80。
[15] Carvalho，C.M.、Polson，N.G.和Scott，J.G.（2010年）。稀疏信号的马蹄形估计。，生物特征97 465-480·Zbl 1406.62021号 ·doi:10.1093/biomet/asq017
[16] Castillo，I.和van der Vaart，A.（2012年）。大海捞针：可能稀疏序列的后向集中。，统计年鉴40 2069-2101·兹比尔1257.62025 ·doi:10.1214/12-AOS1029
[17] Cawley，G.C.和Talbot，N.L.C.（2010年）。关于模型选择中的过拟合和绩效评估中的后续选择偏差。，《机器学习研究杂志》11 2079-2107·Zbl 1242.62051号
[18] Dupuis，J.A.和Robert，C.P.（2003年）。通过熵解释力在定性模型中选择变量。，统计规划与推断杂志111 77-94·Zbl 1033.62066号 ·doi:10.1016/S0378-3758（02）00286-0
[19] Efron，B.（2010）。，大尺度推理：用于估计、测试和预测的经验贝叶斯方法。数学统计研究所（IMS）专著1。剑桥大学出版社·Zbl 1277.62016年
[20] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归。，《统计年鉴》32 407-499·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[21] Fan，J.和Li，R.（2001）。基于非冲突惩罚似然及其oracle属性的变量选择。，美国统计协会杂志96 1348-1360·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[22] Fan，J.和Lv，J.（2008）。超高维特征空间的确定独立性筛选。，英国皇家统计学会杂志。B系列（方法学）70 849-911·Zbl 1411.62187号 ·doi:10.1111/j.1467-9868.2008.00674.x
[23] Friedman，J.、Hastie，T.和Tibshirani，R.（2010）。广义线性模型的坐标下降正则化路径。，统计软件杂志33。
[24] Gabri，J.、Simpson，D.、Vehtari，A.、Betancourt，M.和Gelman，A.（2018年）。贝叶斯工作流中的可视化。，英国皇家统计学会杂志。系列A 182 389-402。
[25] Gelman，A.、Carlin，J.B.、Stern，H.S.、Dunson，D.B.、Vehtari，A.和Rubin，D.B.（2013）。，贝叶斯数据分析，第三版，查普曼和霍尔·Zbl 1279.62004号
[26] George，E.I.和McCulloch，R.E.（1993）。通过吉布斯采样选择变量。，美国统计协会杂志88 881-889。
[27] Goodrich，B.、Gabri，J.、Ali，I.和Brilleman，S.（2018年）。rstanam：贝叶斯通过Stan应用回归建模。R包版本，2.17.4。
[28] Goutis，C.和Robert，C.P.（1998年）。广义线性模型中的模型选择：基于Kullback-Leibler投影的贝叶斯方法。，生物特征85 29-37·兹比尔0903.62061 ·doi:10.1093/biomet/85.1.29
[29] Hahn，P.R.和Carvalho，C.M.（2015）。贝叶斯线性模型中的解耦收缩和选择：后验总结视角。，美国统计协会杂志110 435-448·Zbl 1373.62036号 ·doi:10.1080/01621459.2014.993077
[30] Harrell，F.E.（2015）。，回归建模策略：应用于线性模型、逻辑和序数回归以及生存分析，第二版·兹比尔1330.62001
[31] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。，《统计学习的要素》，第二版，Springer-Verlag·Zbl 1273.62005年
[32] Hastie，T.、Tibshirani，R.和Wainwright，M.（2015）。，稀疏性统计学习：拉索和推广。查普曼和霍尔·Zbl 1319.68003号
[33] 埃尔南德斯·洛巴托（Hernández-Lobato，D.）、埃尔南德斯·洛巴托、J.M.和苏亚雷斯（Suárez，A.）（2010年）。微阵列数据分类的期望传播。，模式识别字母31 1618-1626。
[34] Hinton，G.、Vinyals，O.和Dean，J.（2015）。在神经网络中提取知识。arXiv:1503.02531。
[35] Ishwaran，H.、Kogalur，U.B.和Rao，J.S.（2010年）。spiceslab：使用spike和slab回归进行预测和变量选择。，R期刊2 68-73。
[36] Ishwaran，H.和Rao，J.S.（2005年）。尖峰和平板变量选择：频率和贝叶斯策略。，统计年鉴33 730-773·Zbl 1068.62079号 ·doi:10.1214/009053604000001147
[37] Johnson，V.E.和Rossell，D.（2012年）。高维环境下的贝叶斯模型选择。，美国统计协会杂志107 649-660·Zbl 1261.62024号 ·doi:10.1080/01621459.2012.682536
[38] Johnstone，I.M.和Silverman，B.W.（2004）。干草堆中的针和稻草：可能稀疏序列的经验Bayes估计。，统计年鉴32 1594-1649·Zbl 1047.62008年 ·数字对象标识代码：10.1214/00905360400000030
[39] Lee，K.E.、Sha，N.、Dougherty，E.R.、Vannucci，M.和Mallick，B.K.（2003）。基因选择：贝叶斯变量选择方法。，生物信息学19 90-97。
[40] Li，Y.，Campbell，C.和Tipping，M.（2002）。用于基因表达数据分类的贝叶斯自动相关判定算法。，生物信息学18 1332-1339。
[41] Lindley，D.V.（1968年）。多元回归中变量的选择。，英国皇家统计学会杂志。B系列（方法学）30 31-66·Zbl 0155.26702号 ·doi:10.1111/j.2517-6161.1968.tb01505.x
[42] McCullagh，P.和Nelder，J.A.（1989）。，广义线性模型，第二版，统计学和应用概率专著。查普曼和霍尔·Zbl 0744.62098号
[43] Meinshausen，N.（2007年）。放松的拉索。，计算统计与数据分析52 374-393·Zbl 1452.62522号 ·doi:10.1016/j.csda.2006.12.019
[44] Narisetty，N.N.和He，X.（2014）。具有收缩和扩散先验的贝叶斯变量选择。，《统计年鉴》42 789-817·Zbl 1302.62158号 ·doi:10.1214/14-AOS1207
[45] Neal，R.和Zhang，J.（2006年）。使用贝叶斯神经网络和Dirichlet扩散树进行高维分类。《特征提取、基础和应用》（I.Guyon、S.Gunn、M.Nikravesh和L.A.Zadeh编辑）265-296。斯普林格。
[46] Nott，D.J.和Leng，C.（2010年）。广义线性模型变量选择的贝叶斯投影方法。，计算统计与数据分析54 3227-3241·Zbl 1284.62461号 ·doi:10.1016/j.csda.2010.01.036
[47] Paananen，T.、Piironen，J.、Bürkner，P.-C.和Vehtari，A.（2020年）。隐式自适应重要性抽样。，arXiv:1906.08850·Zbl 1475.62053号
[48] Paul，D.、Bair，E.、Hastie，T.和Tibshirani，R.（2008）。高维问题中特征选择和回归的“预处理”。，统计年鉴36 1595-1618·Zbl 1142.62022号 ·doi:10.1214/009053600000000578
[49] Peltola，T.（2018）。局部可解释模型——通过Kullback-Leibler投影对贝叶斯预测模型进行的认知解释。年，《第二届可解释人工智能研讨会论文集》（D.W.Aha、T.Darrell、P.Doherty和D.Magazzeni编辑）114-118。
[50] Peltola，T.、Havulina，A.S.、Salomaa，V.和Vehtari，A.（2014）。心血管事件风险预测中的层次贝叶斯生存分析和投影协变量选择。年，第11届UAI贝叶斯建模应用研讨会论文集。CEUR研讨会记录1218 79-88。
[51] Piironen，J.和Vehtari，A.（2016）。高斯过程的投影预测模型选择。2016年，IEEE第26届信号处理（MLSP）机器学习国际研讨会1-6。电气与电子工程师协会。
[52] Piironen，J.和Vehtari，A.（2017a）。贝叶斯预测方法在模型选择中的比较。，统计与计算27 711-735·Zbl 1505.62321号 ·doi:10.1007/s11222-016-9649-y
[53] Piironen，J.和Vehtari，A.（2017b）。马蹄铁和其他收缩先验中的稀疏信息和规则。，电子统计杂志11 5018-5051·Zbl 1459.62141号 ·doi:10.1214/17-EJS1337SI
[54] Piironen，J.和Vehtari，A.（2017c）。关于马蹄形先验中全局收缩参数的超先验选择。年，《第20届国际人工智能与统计会议论文集》（A.Singh和J.Zhu主编）。机器学习研究论文集54 905-913·Zbl 1459.62141号 ·doi:10.1214/17-EJS1337SI
[55] Piironen，J.和Vehtari，A.（2018年）。迭代监督主成分。年，《第21届国际人工智能与统计会议论文集》（A.Storkey和F.Perez-Cruz编辑）。机器学习研究论文集84 106-114。
[56] Polson，N.G.和Scott，J.G.（2011年）。全局收缩，局部行动：稀疏贝叶斯正则化和预测。年，贝叶斯统计9（J.M.Bernardo、M.J.Bayarri、J.O.Berger、A.P.Dawid、D.Heckerman、A.F.M.Smith和M.West编辑）501-538。牛津大学出版社，牛津。
[57] Raftery，A.E.、Madigan，D.和Hoeting，J.A.（1997）。线性回归模型的贝叶斯模型平均。，美国统计协会杂志92 179-191·Zbl 0888.62026号 ·doi:10.1080/01621459.1997.10473615
[58] Reid，S.、Tibshirani，R.和Friedman，J.（2016）。拉索回归中误差方差估计的研究。，中国统计局26 35-67·Zbl 1372.62023号
[59] Reunanen，J.（2003年）。变量选择方法之间的比较过于拟合。，机器学习研究杂志3 1371-1382·Zbl 1102.68635号
[60] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016）。“我为什么要相信你？”解释任何分类器的预测。年，第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集。KDD’16 1135-1144。ACM公司。
[61] Snelson，E.和Ghahramani，Z（2005）。贝叶斯预测分布的紧凑近似。年，第22届机器学习国际会议论文集。2005年ICML 840-847。ACM公司。
[62] Stan开发团队（2018年）。Stan建模语言用户指南和参考手册，2.18.0版。
[63] Tibshirani，R.（1996）。通过拉索回归收缩和选择。，英国皇家统计学会杂志。B系列（方法学）58 267-288·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x
[64] Tran，M.-N.、Nott，D.J.和Leng，C.（2012年）。预测性套索。，统计与计算22 1069-1084·Zbl 1252.62075号 ·doi:10.1007/s11222-011-9279-3
[65] van der Pas，S.L.、Kleijn，B.J.K.和van der Vaart，A.W.（2014）。马蹄形估计器：近黑色向量周围的后向浓度。，电子统计杂志8 2585-2618·Zbl 1309.62060号 ·doi:10.1214/14-EJS962
[66] Vehtari，A.、Gelman，A.和Gabri，J.（2017）。使用leave-on-out交叉验证和WAIC进行实用贝叶斯模型评估。，统计与计算27 1413-1432·Zbl 1505.62408号 ·doi:10.1007/s11222-016-9696-4
[67] Vehtari，A.和Ojanen，J.（2012）。模型评估、选择和比较的贝叶斯预测方法综述。，统计调查6 142-228·Zbl 1302.62011年 ·doi:10.1214/12-SS102
[68] Vehtari，A.、Simpson，D.、Gelman，A.、Yao，Y.和Gabri，J.（2019年）。帕累托平滑了重要性抽样。，arXiv:1507.02646。
[69] Yao，Y.、Vehtari，A.、Simpson，D.和Gelman，A.（2018）。使用叠加平均贝叶斯预测分布（讨论）。，贝叶斯分析13 917-1003·Zbl 1407.62090号 ·doi:10.1214/17-BA1091
[70] Zanella，G.和Roberts，G.（2019年）。可扩展重要性调节和贝叶斯变量选择。，英国皇家统计学会杂志。B系列（方法学）81 489-517·Zbl 1420.62059号 ·doi:10.1111/rssb.12316
[71] 邹华（2006）。自适应Lasso及其预言属性。，美国统计协会期刊101 1418-1429·Zbl 1171.62326号 ·doi:10.1198/016214500000735
[72] 邹，H·Zbl 1069.62054号 ·数字对象标识代码：10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。