×

兹马思-数学第一资源

套索遇上马蹄铁:一项调查。(英语) Zbl 1429.62308
摘要:本文的目的是对比和调查两种最常用的高维技术的主要进展,即套索和马蹄形正则化。套索是一个黄金标准的预测器选择,而马蹄铁是最先进的贝叶斯估计稀疏信号。套索是快速和可伸缩的,并使用凸优化,而马蹄铁是非凸的。我们的新视角集中在三个方面:(i)高斯稀疏模型及更高维推理的理论最优性;(ii)计算的效率和可扩展性;(iii)方法的发展和性能。

理学硕士:
6207年 岭回归;收缩估计量(套索)
62小时12分 多元分析中的估计
PDF格式 BibTeX公司 XML 引用
参考文献:
[1] 安德鲁斯,D.F.和Mallows,C.L.(1974年)。正态分布的标度混合。J、 罗伊。统计学家。Soc。爵士。B 36 99-102。·Zbl 0282.62017
[2] Armagan,A.,Clyde,M.和Dunson,D.B.(2011年)。高斯广义beta混合。神经信息处理系统进展523-531。
[3] Armason,D.和Armason,2013年)。广义双帕累托收缩。统计学家。中国23 119-143。·Zbl 1259.62061
[4] Armagan,A.,Dunson,D.B.,Lee,J.,Bajwa,W.U.和Strawn,N.(2013年)。收缩先验下线性模型的后验一致性。生物计量学100 1011-1018。·兹布1279.62139
[5] Bai,R.和Ghosh,M.(2017年)。最佳后收缩和多重假设检验的反γ-伽玛先验。可从arXiv:1710.04369获取。
[6] Belitser,E.和Nurushev,N.(2015年)。大海捞针:对可能稀疏序列的鲁棒置信度。可从arXiv:1511.01803获取。·Zbl 1441.62110
[7] Belloni,A.,Chernozhukov,V.和Wang,L.(2011年)。平方根套索:通过圆锥曲线编程恢复稀疏信号的关键。生物计量学98 791-806。·Zbl 1228.62083
[8] Berzuini,C.,Guo,H.,Burgess,S.和Bernardinelli,L.(2016年)。使用差器械的孟德尔随机化:贝叶斯方法。可从arXiv:1608.02990[math,stat]获得,8月arXiv:1608.02990。
[9] Bhadra,A.,Datta,J.,Polson,N.G.和Willard,B.(2016a)。全球局部混合物。可从arXiv获取:1604.07487。·Zbl 07072164
[10] Bhadra,A.,Datta,J.,Li,Y.,Polson,N.G.和Willard,B.(2016b)。马蹄形回归的预测风险。可从arXiv:1605.04796获取。·Zbl 07064058
[11] Bhadra,A.,Datta,J.,Polson,N.G.和Willard,B.(2016c)。全局局部收缩先验的缺省贝叶斯分析。生物计量学103 955-969。·Zbl 07072164
[12] Bhadra,A.,Datta,J.,Polson,N.G.和Willard,B.(2017a)。特征子集选择的马蹄形正则化。可从arXiv获取:1702.07400。·Zbl 1384.62079
[13] Bhadra,A.,Datta,J.,Polson,N.G.和Willard,B.(2017b)。超稀疏信号的horseshoe+估计器。贝叶斯肛门。1105-1131年。·Zbl 1384.62079
[14] Bhattacharya,A.,Chakraborty,A.和Mallick,B.K.(2016年)。高维回归中高斯尺度混合先验的快速采样。生物计量学103 985-991。
[15] Bhattacharya,A.,Pati,D.,Pillai,N.S.和Dunson,D.B.(2015年)。最佳收缩率的Dirichlet-Laplace先验。J、 阿默尔。统计学家。协会110 1479-1490。·Zbl 1373.62368号
[16] Bien,J.,Taylor,J.和Tibshirani,R.(2013年)。层级互动的套索。安。统计学家。1111-1141年。·Zbl 1292.62109
[17] Bogdan,M.,Chakrabarti,A.,Fromlet,F.和Ghosh,J.K.(2011年)。多个检验过程稀疏下的渐近Bayes最优性。安。统计学家。1551-1579年。·Zbl 1221.62012号
[18] Bühlmann,P.和van de Geer,S.(2011年)。高维数据统计:方法、理论与应用。统计学中的斯普林格级数。斯普林格,海德堡。·Zbl 1273.62015
[19] Candès,E.J.(2008年)。受限等距特性及其对压缩感知的影响。C、 R.数学。阿卡德。科学。巴黎346 589-592。·Zbl 1153.94002
[20] Candes,E.和Tao,T.(2007年)。Dantzig选择器:当\(p\)远大于\(n\)时的统计估计。安。统计学家。352313-2351。·Zbl 1139.62019
[21] Candès,E.J.和Tao,T.(2010年)。凸松弛的力量:近似最优矩阵完成。IEEE传输。通知。理论56 2053-2080。·150ZB136.6升
[22] Carvalho,C.M.,Polson,N.G.和Scott,J.G.(2009年)。通过马蹄铁处理稀疏性。J、 马赫。学习。第5号决议73-80。
[23] Carvalho,C.M.,Polson,N.G.和Scott,J.G.(2010年)。稀疏信号的马蹄形估计器。生物计量学97 465-480。·Zbl 1406.62021
[24] Castillo,I.,Schmidt Hieber,J.和van der Vaart,A.(2015年)。稀疏先验贝叶斯线性回归。安。统计学家。43 1986年至2018年。·Zbl 06502640
[25] Castillo,I.和van der Vaart,A.(2012年)。大海捞针:可能稀疏序列的后向集中。安。统计学家。402069-2101。·Zbl 1257.62025
[26] Chatterjee,A.和Lahiri,S.N.(2011年)。自举套索估计器。J、 阿默尔。统计学家。协会106 608-625。·Zbl 1232.62088
[27] Chernozhukov,V.,Hansen,C.和Liao,Y.(2017年)。对密集和稀疏信号总和的恢复的熔岩攻击。安。统计学家。45 39-76。·Zbl 1422.62248
[28] Cutillo,L.,Jung,Y.Y.,Ruggeri,F.和Vidakovic,B.(2008年)。大后验模小波阈值化及其应用。J、 统计学家。普兰。推论138 3758-3773。·Zbl 1169.62016
[29] Datta,J.和Dunson,D.B.(2016年)。准稀疏计数数据的贝叶斯推理。生物计量学103 971-983。·Zbl 07072165
[30] Datta,J.和Ghosh,J.K.(2013年)。马蹄形先验的Bayes风险的渐近性质。贝叶斯肛门。8111-131。·Zbl 1329.62122号
[31] Datta,J.和Ghosh,J.K.(2015年)。寻找模型选择和估计的最优目标先验。当前贝叶斯方法论的应用趋势225-243。CRC出版社,博卡拉顿,佛罗里达州。
[32] Donoho,D.L.(2006年)。压缩传感。IEEE传输。通知。理论52 1289-1306。·Zbl 1288.94016
[33] Donoho,D.L.和Johnstone,I.M.(1994年)。基于小波收缩的理想空间自适应。生物计量学81 425-455。·Zbl 0815.62019
[34] Donoho,D.L.和Johnstone,I.M.(1995年)。通过小波收缩来适应未知的平滑度。J、 阿默尔。统计学家。协会90 1200-1224。·Zbl 0869.62024
[35] Donoho,D.L.,Johnstone,I.M.,Hoch,J.C.和Stern,A.S.(1992年)。最大熵和近乎黑色的物体。J、 罗伊。统计学家。Soc。爵士。乙54 41-81。·Zbl 0788.62103
[36] Efron,B.(2008年)。微阵列、经验Bayes和两组模型。统计学家。科学。23 1-22号。·Zbl 1327.62046
[37] Efron,B.(2010年)。大规模推理:用于估计、测试和预测的经验贝叶斯方法。数理统计研究所专著1。剑桥大学出版社,剑桥。·Zbl 1277.62016
[38] Efron,B.,Hastie,T.,Johnstone,I.和Tibshirani,R.(2004年)。最小角度回归。安。统计学家。32407-499。·Zbl 1091.62054
[39] Fan,J.和Li,R.(2001年)。基于非CAVE惩罚似然的变量选择及其预言性质。J、 阿默尔。统计学家。协会96 1348-1360。·Zbl 1073.62547
[40] Faulkner,J.R.和Minin,V.N.(2015年)。贝叶斯趋势滤波:具有收缩先验的自适应时间平滑。
[41] Friedman,J.,Hastie,T.和Tibshirani,R.(2008年)。图形套索稀疏逆协方差估计。生物统计学9 432-441。·Zbl 1143.62076
[42] Friedman,J.,Hastie,T.和Tibshirani,R.(2010年)。基于坐标下降的广义线性模型正则化路径。J、 统计软件。33 1-22页。
[43] Friedman,J.,Hastie,T.,Höfling,H.和Tibshirani,R.(2007年)。路径坐标优化。安。申请。统计1 302-332。·Zbl 1378.90064
[44] Gelman,A.,Hwang,J.和Vehtari,A.(2014年)。了解贝叶斯模型的预测信息准则。统计计算。24997-1016。·Zbl 1332.62090
[45] 乔治,E.I.(2000年)。变量选择问题。J、 阿默尔。统计学家。协会95 1304-1308。·Zbl 1018.62050
[46] 乔治,E.I.和福斯特,D.P.(2000年)。校准和经验Bayes变量选择。生物计量学87 731-747。·Zbl 1029.62008
[47] Ghosal,S.,Ghosh,J.K.和van der Vaart,A.W.(2000年)。后验分布的收敛速度。安。统计学家。28500-531。·Zbl 1105.62315
[48] Ghosh,P.和Chakrabarti,A.(2017年)。稀疏高维问题单组收缩先验的渐近最优性。贝叶斯肛门。1133-1161年。·Zbl 1384.62087号
[49] Ghosh,P.,Tang,X.,Ghosh,M.和Chakrabarti,A.(2016年)。稀疏条件下多假设检验中一般一类收缩先验的Bayes风险的渐近性质。贝叶斯肛门。11753-796。·Zbl 1359.62309
[50] Gordy,M.B.(1998年)。公共价值拍卖的计算方便分配假设。计算机。经济。1261-78年。·Zbl 0912.90093
[51] Gramacy,R.B.和Pantaleo,E.(2010年)。缺失数据多元推断的收缩回归及其在投资组合平衡中的应用。贝叶斯肛门。5237-262。·Zbl 1330.91185
[52] Griffin,J.E.和Brown,P.J.(2010年)。回归问题中正态伽马先验分布的推断。贝叶斯肛门。5171-188年。·兹布1330.62128
[53] Hahn,P.R.,He,J.和Lopes,H.(2016年)。贝叶斯收缩回归的椭圆切片抽样及其在因果推理中的应用。技术报告。
[54] Hahn,P.R.,He,J.和Lopes,H.(2018年)。多仪器线性IV回归的贝叶斯因子模型收缩率。J、 公共汽车。经济。统计学家。第2836-278页。
[55] Hahn,P.R.,He,J.和Lopes,H.F.(2019年)。具有任意先验的高斯线性回归的有效抽样。J、 计算机。图表。统计学家。28 142-154。
[56] Hans,C.(2011年)。正态先验的弹性网回归模型。J、 阿默尔。统计学家。协会106 1383-1393。·Zbl 1234.62106
[57] Hastie,T.,Tibshirani,R.和Friedman,J.(2009年)。统计学习的要素:数据挖掘,推理和预测,第二版,斯普林格统计丛书。斯普林格,纽约。·Zbl 1273.62005
[58] Hastie,T.,Tibshirani,R.和Wainwright,M.(2015年)。稀疏统计学习:套索与归纳。统计学和应用概率专著143。CRC出版社,博卡拉顿,佛罗里达州·Zbl 1319.68003
[59] Hoerl,A.E.和Kennard,R.W.(1970年)。岭回归:非正交问题的有偏估计。技术指标12 55-67。·Zbl 0202.17205
[60] Ingraham,J.B.和Marks,D.S.(2016年)。难处理分布的贝叶斯稀疏性。可从arXiv获取:1602.03807。
[61] Ishwaran,H.和Rao,J.S.(2005年)。Spike和slab变量选择:Frequentist和Bayesian策略。安。统计学家。33 730-773。·Zbl 1068.62079
[62] 詹姆斯,W.和斯坦,C.(1961年)。二次损失估计。进行中。第四届伯克利交响乐团。数学。统计学家。和问题,第一卷361-379。加州大学出版社,加州伯克利·Zbl 1281.62026
[63] James,G.,Witten,D.,Hastie,T.和Tibshirani,R.(2013年)。统计学学习导论:应用于统计学103中的史普林格课文。斯普林格,纽约。·Zbl 1281.62147
[64] Javanmard,A.和Montanari,A.(2014年)。高维回归的置信区间和假设检验。J、 马赫。学习。第15 2869-2909号决议。·Zbl 1319.62145
[65] Jeffreys,H.和漩涡,B.(1972年)。《数学物理方法》,第3版,剑桥大学出版社,剑桥。·Zbl 0238.00004
[66] Johndrow,J.E.和Orenstein,P.(2017年)。可扩展的MCMC用于Bayes收缩优先。可从arXiv:1705.00841获取。
[67] Johnstone,I.M.和Silverman,B.W.(2004年)。草堆中的针叶和稻草:可能稀疏序列的经验Bayes估计。安。统计学家。1594-1649年。·Zbl 1047.62008
[68] Jolliffe,I.T.,Trendafilov,N.T.和Uddin,M.(2003年)。基于套索的改进主成分技术。J、 计算机。图表。统计学家。12531-547。
〔69〕 Kowal,D.R.,Matteson,D.S.和Ruppert,D.(2017年)。动态收缩过程。可从arXiv:1707.00763获取。·Zbl 1428.62397号
[70] Li,K.-C.(1989年)。非参数回归的诚实置信域。安。统计学家。171001-1008年。·Zbl 0681.62047
[71] Li,Y.,Craig,B.A.和Bhadra,A.(2017年)。逆协方差矩阵的图形马蹄形估计。可从arXiv:1707.06661获取。
[72] Liu,H.和Yu,B.(2013年)。稀疏高维线性回归中Lasso\(+\)mLS和Lasso(++)脊的渐近性质。电子。J、 Stat.7 3124-3169。·Zbl 1281.62158
[73] Louizos,C.,Ullrich,K.和Welling,M.(2017年)。用于深度学习的贝叶斯压缩。神经信息处理系统进展3290-3300。
[74] Magnusson,M.,Jonsson,L.和Villani,M.(2016年)。高维dol-d正则回归模型。可从arXiv获取:1602.00260,1月。
[75] Makalic,E.和Schmidt,D.F.(2016年)。高维贝叶斯正则化回归与BayesReg包。可从arXiv:1611.06649获取。
[76] Mazumder,R.,Friedman,J.H.和Hastie,T.(2011年)。斯巴塞内:协调下降与非凸罚。J、 阿默尔。统计学家。协会106 1125-1138。·Zbl 1229.62091
[77] Mazumder,R.,Hastie,T.和Tibshirani,R.(2010年)。学习大型不完备矩阵的谱正则化算法。J、 马赫。学习。第11 2287-2322号决议。·Zbl 1242.68237
[78] Mitchell,T.J.和Beauchamp,J.J.(1988年)。线性回归中的贝叶斯变量选择。J、 阿默尔。统计学家。协会83 1023-1036。·浙宝0673.62051
[79] Nalenz,M.和Villani,M.(2018年)。具有规则结构马蹄形正则化的树集合。安。申请。Stat.12 2379-2408。·Zbl 1412.62169
[80] Nickl,R.和van de Geer,S.(2013年)。稀疏回归中的置信集。安。统计学家。412852-2876。·兹布1288.62108
[81] Peltola,T.,Havulina,A.S.,Salomaa,V.和Vehtari,A.(2014年)。心血管事件风险预测中的分层贝叶斯生存分析和投影协变量选择。第十一届UAI贝叶斯建模应用研讨会论文集,第1218卷79-88 CEUR-WS.org。
[82] Piironen,J.和Vehtari,A.(2015年)。使用Stan\(+\)R的投影预测变量选择。可在arXiv:1508.02502获得,八月·Zbl 06737693
[83] Piironen,J.和Vehtari,A.(2017a)。关于马蹄形先验中全局收缩参数的超先验选择。《人工智能与统计学》905-913。·Zbl 06825039
[84] Piironen,J.和Vehtari,A.(2017b)。马蹄形和其他收缩先验中的稀疏信息和正则化。电子。J、 Stat.11 5018-5051。·Zbl 06825039
[85] Polson,N.G.和Scott,J.G.(2010年)。超几何反转β先验的大规模同步测试。可从arXiv:1010.5223获取。
[86] Polson,N.G.和Scott,J.G.(2011年)。全局收缩,局部行动:稀疏贝叶斯正则化与预测。贝叶斯统计学9501-538。牛津大学出版社,牛津。
[87] Polson,N.G.和Scott,J.G.(2012年a)。局部收缩规则,Lévy过程和正则化回归。J、 R.统计Soc。爵士。B、 统计方法。74287-311。·Zbl 1411.62209
[88] Polson,N.G.和Scott,J.G.(2012年b)。关于全局尺度参数的半Cauchy先验。贝叶斯肛门。7887-902。·Zbl 1330.62148
[89] Polson,N.G.,Scott,J.G.和Willard,B.T.(2015年)。统计学和机器学习中的近似算法。统计学家。科学。30559-581。·Zbl 1426.62213
[90] RočkováV.和George,E.I.(2018年)。钉板套索。J、 阿默尔。统计学家。协会113 431-444。·Zbl 1398.62186
[91] 斯科特,J.G.(2010年)。局部收缩模型中的参数展开。可从arXiv:1010.5265获取。
[92] 斯坦,C.(1956年)。多元正态分布均值的一般估计的不可容许性。第三届伯克利数理统计与概率研讨会论文集,1954-1955,第一卷197-206。加州大学出版社,加州伯克利。
[93] Stephens,M.和Balding,D.J.(2009年)。遗传关联研究的贝叶斯统计方法。纳特。版次。吉奈特。10681-690。
[94] Sun,T.和Zhang,C.-H.(2012年)。标度稀疏线性回归。生物计量学99 879-898。·中银06111558
[95] Tang,X.,Ghosh,M.,Xu,X.和Ghosh,P.(2018年)。基于全局局部收缩先验的贝叶斯变量选择与估计。Sankhya A 80 215-246。
[96] Terenin,A.,Dong,S.和Draper,D.(2019年)。GPU加速Gibbs抽样:马蹄形probit模型的一个案例研究。统计计算。29 301-310。·Zbl 1430.62172
[97] 送国庆、谭文维(1966)。方差分析中随机效应模型的贝叶斯分析。二。自相关误差的影响。生物计量学53 477-495。·Zbl 0173.46904
[98] Tibshirani,R.(1996年)。回归收缩和选择通过套索。J、 罗伊。统计学家。Soc。爵士。乙58 267-288。·Zbl 0850.62538
[99] 蒂巴尼,2014年)。对稀疏性和凸性的赞扬。统计科学的过去、现在和未来497-505。
[100] Tibshirani,R.J.,Hoefling,H.和Tibshirani,R.(2011年)。近似等张回归。技术指标53 54-61。
[101] 泰勒和蒂巴尼(2011)。广义套索的求解路径。安。统计学家。公元1335-1371年。·Zbl 1234.62107
[102] Tibshirani,R.,Saunders,M.,Rosset,S.,Zhu,J.和Knight,K.(2005年)。稀疏和光滑通过融合套索。J、 R.统计Soc。爵士。B、 统计方法。67 91-108。·Zbl 1060.62049
[103] (1963年11月)。错误公式化问题的求解及正则化方法。索夫。数学,Dokl。1038-1035年。·Zbl 0141.11001
[104] 曾,P.(2001年)。不可微极小化的块坐标下降法的收敛性。J、 擎天柱。理论应用。109 475-494。·Zbl 1006.65062
[105] van de Geer,S.,Bühlmann,P.,Ritov,Y.和Dezure,R.(2014年)。高维模型的渐近和最优区域检验。安。统计学家。421166-1202年。·Zbl 1305.62259
[106] 范德帕斯,S.L.,克莱恩,B.J.K.和范德法特,A.W.(2014年)。马蹄形估计:近黑向量的后验集中。电子。J、 Stat.8 2585-2618。·Zbl 1309.62060
[107号] van der Pas,S.L.,Salomond,J.-B.和Schmidt Hieber,J.(2016年)。稀疏正态均值问题的后收缩条件。电子。J、 Stat.10 976-1000。·13462ZB012.3升
[108] van der Pas,S.,SzabóB.和van der Vaart,A.(2016年)。草堆里有多少针?马蹄形结构的自适应推理与不确定度量化。可从arXiv:1607.01892获取。·Zbl 1384.62155
[109号] van der Pas,S.,SzabóB.和van der Vart,A.(2017年)。马蹄铁适应性后收缩率。电子。J、 Stat.11 3196-3225。·Zbl 1373.62140
[110] van der Pas,S.,Scott,J.,Chakraborty,A.和Bhattacharya,A.(2016年)。马蹄形:实现马蹄形优先。R包版本0.1.0。
[111] Wang,H.和Pillai,N.S.(2013年)。关于协方差矩阵估计的一类收缩先验。J、 计算机。图表。统计学家。22 689-707。
[112] Wei,R.(2017年)。使用非参数数据的连续高斯和先验选择模型。ProQuest LLC,密歇根州安阿伯市。论文(博士),北卡罗来纳州立大学。
[113] Witten,D.M.,Tibshirani,R.和Hastie,T.(2009年)。惩罚矩阵分解及其在稀疏主成分和典型相关分析中的应用。生物统计学10 515-534。
[114] Yuan,M.和Lin,Y.(2006年)。分组变量回归模型的选择与估计。J、 R.统计Soc。爵士。B、 统计方法。68 49-67页。·Zbl 1141.62030
[115] Zhang,C.-H.(2010年)。极小极大凹罚下的几乎无偏变量选择。安。统计学家。38894-942。·Zbl 1183.62120
[116] Zhang,Y.,Reich,B.J.和Bondell,H.D.(2016年)。通过R2-D2收缩先验进行高维线性回归。可从arXiv:1609.00046获取。
[117] Zhang,C.-H.和Zhang,S.S.(2014年)。高维线性模型中低维参数的置信区间。J、 R.统计Soc。爵士。B、 统计方法。76 217-242。·Zbl 1411.62196
[118] 赵,P.和余,B.(2006)。套索模型选择的一致性。J、 马赫。学习。第25763-257号决议。·Zbl 1222.62008号
[119] 邹,H.(2006)。自适应套索及其预言性质。J、 阿默尔。统计学家。协会101 1418-1429。·Zbl 1171.62326
[120] Zou,H.和Hastie,T.(2005年)。正则化与弹性网变量选择。J、 R.统计Soc。爵士。B、 统计方法。67 301-320。·Zbl 1069.62054
此参考列表基于出版商或数字数学图书馆提供的信息。它的数学和标识符可能包含启发式匹配的数据项。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。