×

数学ZBZ-数学第一资源

logistic回归模型中变量选择的一种新的变分贝叶斯方法。(英语) Zbl 07027241
摘要:随着高维数据在各个领域的出现,稀疏logistic回归模型越来越受到研究者的关注。变量选择对提高预测精度和提高模型的可解释性起着关键作用。贝叶斯变量选择方法具有选择精度高、易于融合多种先验知识等优点。由于贝叶斯方法一般采用马尔可夫链蒙特卡罗(MCMC)技术对后验分布进行推理,但由于其搜索空间大,在高维情况下变得难以处理。针对这一问题,提出了一种新的变分贝叶斯方法在高维logistic回归模型中进行变量选择。该方法以指标模型为基础,每个协变量都有一个二元潜在变量来表示其是否重要。潜在指标变量采用伯努利型先验。对于Bernoulli先验中超参数的指定,我们给出了两种确定其最优值的方案,使新模型能够自适应地实现稀疏性。为了识别重要变量并进行预测,采用一种有效的变分贝叶斯方法从后验分布进行推断。用合成数据和一些公开数据进行的实验表明,新方法的性能优于其他一些流行的方法,或具有很强的竞争力。
理学硕士:
62 统计
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 毕晓普,C.M.,模式识别与机器学习(2006),斯普林格-维拉格:斯普林格-维拉格纽约·Zbl 1107.68072
[2] Blei,D.M.;Kucukelbir,A.;McAuliffe,J.D.,《变分推理:统计学家评论》,J.Amer。统计学家。协会,112,518,859-877,(2017年)
[3] Breheny,P.;Huang,J.,《非凸惩罚回归的坐标下降算法及其在生物特征选择中的应用》,人工神经网络。申请。Stat.,5,1232-253,(2011年)·122095升
[4] Carbonetto,P.;Stephens,M.,《回归中贝叶斯变量选择的可伸缩变分推理及其在遗传关联研究中的准确性》,Bayesian Anal.,7,1,73-107,(2012)·13308ZB0
[5] Castillo,I.;Vaart,A.V.D.,《大海捞针和稻草:可能稀疏序列的后向集中》,Ann。统计,40,4,2069-2101,(2012年)·Zbl 1257.62025
[6] Drugowitsch,J.,2013年。线性和逻辑回归的变分贝叶斯推理。arXiv预印本。网址:https://arxiv.org/abs/1401.1022。
[7] Fan,J.;Li,R.,《通过非Cave惩罚似然及其预言性质的变量选择》,J.Amer。统计学家。协会,964561348-1360,(2001)·Zbl 1073.62547
[8] Ghosh,J.;Li,Y.;Mitra,R.,《关于使用Cauchy先验分布进行贝叶斯逻辑回归》,Bayesian Anal.,13,2,359-383,(2018年)·Zbl 1407.62276
[9] 传播模型;线性回归模型。学习,99,3437-487,(2015年)·Zbl 1359.62290
[10] Horii,S.,2017年。具有层次先验和变分推理的稀疏贝叶斯logistic回归。在:第31届神经信息处理系统会议论文集,长滩,加利福尼亚州,美国。
[11] Hosmer Jr,D.W.;Lemeshow,S.;Sturdivant,R.X.,应用逻辑回归(2013),John Wiley&Sons·Zbl 1276.62050
[12] Jaakkola,T.;Jordan,M.,《通过变分方法进行贝叶斯参数估计》,Stat.Comput.,10,1,25-37,(2000)
[13] 蒋,W.;张,C.,《基于SCAD和MCP的惩罚逻辑回归的路径跟踪算法》,通信统计。模拟计算,43,5,1064-1077,(2014)·62ZB128.1升
[14] Koslovsky,M.D.;Swartz,M.D.;Leon Novelo,L.;Chan,W.;Wilkinson,A.V.,在具有相关协变量的logistic回归模型中使用贝叶斯变量选择的EM算法,J.Stat.Compute。模拟,88,3575-596,(2018年)
[15] Krishnapuram,B.;Carin,L.;Figueiredo,M.A.T.;Hartemink,A.J.,《稀疏多项式逻辑回归:快速算法和推广边界》,IEEE Trans。肛门模式。机器。国际期刊,27,6,957-968,(2005年)
[16] Kuo,L.;Mallick,B.,《回归模型的变量选择》,Sankhyā:印度J.Stat.,Ser。B、 60,1,65-81,(1998年),(1960-2002年)·Zbl 0972.62016
[17] Kyung,M.;Gill,J.;Ghosh,M.;Casella,G.,惩罚回归,标准误差,和贝叶斯套索,贝叶斯分析,5,2,369-412,(2010)·Zbl 1330.62289
[18] Latouche,P.;Mattei,P.-A.;Bouveyron,C.;Chiquet,J.《高维回归中贝叶斯变量选择的松弛EM算法与Occam剃须刀相结合》,J.Multivariate Anal.,146177-190,(2016年)·Zbl 1334.62114号
[19] Liang,Y.;Liu,C.;Luan,X.-Z.;Leung,K.-S.;Chan,T.-M.;Xu,Z.;Zhang,H.,《癌症分类中基因选择的稀疏逻辑回归》,BMC生物信息学,14,1198,(2013)
[20] 麦凯,D.,证据框架应用于分类网络,神经计算,4,5,720-736,(1992)
[21] Mcdermott,P.,Snyder,J.,Willison,R.,2016年。基于EM算法的二进制响应数据贝叶斯变量选择方法。arXiv预印本。网址:https://arxiv.org/abs/1605.05429。
[22] Nikooinejad,A.;Wang,W.;Johnson,V.E.,《使用非局部先验信息的高维基因组研究中二元结果的贝叶斯变量选择》,生物信息学,32,9,1338-1345,(2016)
[23] Nott,D.J.;Leonte,D.,《广义线性模型中贝叶斯变量选择的抽样方案》,计算机杂志。图表。统计,13,2362-382,(2004年)
[24] 奥哈拉,R.B.;锡兰普ä。M、 J.,《贝叶斯变量选择方法述评:什么,如何和哪个》,《贝叶斯分析》,4,1,85-117,(2009)·Zbl 1330.62291号
[25] Ormerod,J.T.;You,C.;Müller,S.,《变量选择的变分贝叶斯方法》,电子。J、 Stat.,11,2,3549-3594,(2017年)·兹布1384.62240
[26] Park,T.;Casella,G.《贝叶斯套索》,J.Amer。统计学家。协会,103482681-686,(2008年)·Zbl 1330.62292
[27] Polson,N.G.;Scott,J.G.;Windle,J.,《使用Pólya伽马潜在变量的逻辑模型的贝叶斯推断》,J.Amer。统计学家。协会,1085041339-1349,(2013年)·Zbl 1283.62055
[28] Pungpapong,V.;Zhang,M.;Zhang,D.,《使用迭代条件模式/中位数算法选择大量变量》,Electron。J、 Stat.,9,11243-1266,(2015年)·Zbl 1327.62409
[29] 彭帕蓬,V.,Zhang,M.,Zhang,D.,2017年。高维广义线性模型变量选择的迭代条件模式/中值算法。arXiv预印本。网址:https://arxiv.org/abs/1707.08298。
[30] Rossell,D.;Rubio,F.J.,《可处理的贝叶斯变量选择:超越正态性》,J.Amer。统计学家。协会(2018年),(正在出版)。网址:https://amstat.tandfonline.com/doi/full/10.1080/01621459.2017.1371025
[31] Rossell,D.;Telesca,D.,《高维估计的非局部先验》,J.Amer。统计学家。协会,112517254-265,(2017年)
[32] RočkováV.,变量选择的粒子EM,J.Amer。统计学家。协会,2017年,(正在出版)。网址:https://doi.org/10.1080/01621459.2017.1360778
[33] RočkováV.;George,E.I.,EMV:贝叶斯变量选择的EM方法,J.Amer。统计学家。协会,109,506,828-846,(2014年)·Zbl 1367.62049
[34] 斯科特,J.G.;伯杰,J.O.,变量选择问题中的贝叶斯和经验贝叶斯多重性调整,Ann。统计,38,5,2587-2619,(2010年)·Zbl 1200.62020
[35] Spiegelhalter,D.J.;Lauritzen,S.L.,《有向图结构上条件概率的顺序更新》,网络,20,5,579-605,(1990)·9000697.45升
[36] Tian,G.-L.;Tang,M.-L.;Fang,H.-B.;Tan,M.,《估计约束参数的有效方法及其在正则化(lasso)逻辑回归中的应用》,Compute。统计学家。数据分析,52,73528-3542,(2008)·Zbl 05564720
[37] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.R.Stat.Soc。爵士。B Stat.Methodol.,58,1267-288,(1996年)·Zbl 0850.62538
[38] Tüchler,R.,《使用辅助混合抽样对logistic模型的贝叶斯变量选择》,J.Comput。图表。统计,17,1,76-94,(2008年)
[39] Wang,C.;Blei,D.M.,《非共轭模型中的变分推理》,J.Mach。学习。第141005-1031号决议(2013年)·Zbl 1320.62057
[40] Wang,J.,Liang,F.,Ji,Y.,2016年。贝叶斯变量选择的集成EM算法。arXiv预印本。网址:https://arxiv.org/abs/1603.04360。
[41] Xu,Z.;Chang,X.;Xu,F.;Zhang,H.,\(L{1/2}\)正则化:阈值表示理论和快速求解器,IEEE Trans。神经网络。学习。系统,23,7,1013-1027,(2012年)
[42] You,C.;Ormerod,J.T.;Müller,S.,《关于线性回归模型的变分贝叶斯估计和变分信息准则》,Aust。N、 Z.J.Stat.,56,1,73-87,(2014年)·Zbl 1334.62123号
[43] 张,C.,极小极大凹罚下的几乎无偏变量选择,Ann。统计师,38,2894-942,(2010年)·Zbl 1183.62120
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。尽可能准确地反映出原文中所列参考文献的精确性。