×
瑞安·马丁;唐一奇

稀疏高维线性回归中预测的经验先验。 （英语） Zbl 1519.62014号

J.马赫。学习。物件。 21，第144号论文，30页（2020年）.
小结：在本文中，我们采用了常见的稀疏、高维线性回归模型，并将重点放在了重要但经常被忽视的预测任务上。特别地，我们考虑了一个新的经验贝叶斯框架，该框架以两种方式将数据合并到先验中：一种是将先验集中于非零回归系数，另一种是提供一些额外的正则化。我们表明，在某些情况下，所提出的经验贝叶斯后验预测分布的渐近集中速度非常快，并且我们建立了伯恩斯坦-冯-米塞斯定理，确保导出的经验贝叶斯预测区间达到目标频率覆盖概率。经验先验具有方便的共轭形式，因此后验计算相对简单快速。最后，我们的数值结果表明，与现有的贝叶斯方法相比，该方法在预测精度、不确定性量化和计算时间方面具有很强的有限样本性能。

引用于4文件

MSC公司：

62J05型 线性回归；混合模型
2015年1月62日 贝叶斯推断

关键词：

贝叶斯推断;数据相关优先;模型平均值;预测分布;不确定性量化

软件：

帕科尔;埃布雷格;选择性推理;马蹄铁;mixOmics公司;拉尔斯
PDF格式BibTeX公司 XML格式引用
\textit{R.Martin}和textit{Y.Tang}，J.Mach。学习。第21号决议，第144号论文，30页（2020年；Zbl 1519.62014）
全文： arXiv公司 链接

参考文献：

[1] 费利克斯·阿布拉莫维奇和瓦迪姆·格林斯坦。高斯回归中的MAP模型选择。电子。J.Stat.，4:932-9492010年。ISSN 1935-7524·Zbl 1329.62051号
[2] Ery Arias-Castro和Karim Lounici。指数权重的估计和变量选择。电子。J.Stat.，8（1）：328-3542014年。ISSN 1935-7524·Zbl 1294.62164号
[3] E.Belitser和S.Ghosal。经验贝叶斯预言不确定性量化。安.统计师。，为了出现，http://www4.stat.ncsu.edu/ghoshal/papers/oracle_regression.pdf，2019年。
[4] Anindya Bhadra、Jyotishka Datta、Yunfan Li、Nicholas G.Polson和Brandon Willard。马蹄形回归的预测风险。J.马赫。学习。决议，20：第78号文件，392019年。ISSN 1532-4435·Zbl 1489.62196号
[5] 阿尼尔班·巴塔查里亚（Anirban Bhattacharya）、黛比迪·帕蒂（Debdeep Pati）、纳特斯·皮莱（Natesh S.Pillai）和大卫·B·邓森（David B.Dunson）。DirichletLaplace优先获得最佳收缩率。J.艾默。统计师。协会，110（512）：1479-14902015年。ISSN 0162-1459·Zbl 1373.62368号
[6] David M.Blei、Alp Kucukelbir和Jon D.McAuliffe。变分推理：统计学家综述。J.艾默。统计师。协会，112（518）：859-8772017。ISSN 0162-1459。
[7] 彼得·贝鲁曼（Peter B–uhlmann）和萨拉·范德格尔（Sara van de Geer）。高维数据统计。统计学中的斯普林格系列。施普林格，海德堡，2011年。ISBN 978-3-642-20191-2·Zbl 1273.62015年
[8] 卡洛斯·卡瓦略（Carlos M.Carvalho）、尼古拉斯·波尔森（Nicholas G.Polson）和詹姆斯·斯科特（James G.Scott）。稀疏信号的马蹄形估计器。《生物特征》，97（2）：465-4802010。ISSN 0006-3444·Zbl 1406.62021号
[9] 伊斯马·卡斯蒂略（Isma¨el Castillo）、约翰·施密特·希伯（Johannes Schmidt-Hieber）和阿德·范德法特（Aad van der Vaart）。稀疏先验贝叶斯线性回归。安.统计师。，43(5):1986-2018, 2015. ISSN 0090-5364·Zbl 1486.62197号
[10] 范建清，李润泽。基于非冲突惩罚似然的变量选择及其预言性质。J.艾默。统计师。协会，96（456）：1348-13602001。ISSN 0162-1459·Zbl 1073.62547号
[11] Subhashis Ghosal和Aad van der Vaart。非参数贝叶斯推断基础，统计和概率数学剑桥系列第44卷。剑桥大学出版社，剑桥，2017年。国际标准图书编号978-0-521-87826-5·兹比尔1376.62004
[12] P.Ghosh和A.Chakrabarti。一类近似黑向量收缩估计的后验集中性质。未出版手稿，arXiv:1412.8161，2015年。
[13] Peter Gr¨unwald和Thijs van Ommen。错误指定线性模型的贝叶斯推理的不一致性及其修复建议。贝叶斯分析。，12(4):1069-1103, 2017. ISSN 1936-0975·Zbl 1384.62088号
[14] Rajarshi Guhaniyogi和David B.Dunson。贝叶斯压缩回归。J.艾默。统计师。协会，110（512）：1500-15142015年。ISSN 0162-1459·Zbl 1373.62100号
[15] 特雷弗·哈斯蒂（Trevor Hastie）和布拉德·埃夫隆·拉尔斯（Brad Efron.lars）：《最小角度回归》（Least Angle Regression），《拉索和前进阶段》（Lasso and Forward Stagewise），2013年。统一资源定位地址https://CRAN.R-project.org/package=lars。R软件包版本1.2。
[16] C.C.Holmes和S.G.Walker。在一般贝叶斯模型中为幂似然赋值。《生物统计学》，104（2）：497-5032017年。ISSN 0006-3444·Zbl 1506.62264号
[17] L.Hong、T.A.Kuffner和R.Martin。关于过拟合和选择后不确定性评估。Biometrika，105（1）：221-2242018年·兹比尔07072407
[18] 姜文新。高维广义线性模型的贝叶斯变量选择：拟合密度的收敛速度。安.统计师。，35(4):1487-1511, 2007. ISSN 0090-5364·Zbl 1123.62026号
[19] Nicole Kraemer和Juliane Schaefer.parcor:部分相关矩阵的正则化估计，2014年。统一资源定位地址https://cran.r-project.org/package=parcor。R包版本0.2-6。
[20] Kim-Anh Le Cao、Florian Rohart、Ignacio Gonzalez和Sebastien Dejean.mixOmics:Omics数据集成项目，2016年。统一资源定位地址https://CRAN.R-project.org/package=mixOmics。R软件包版本6.1.1。
[21] Kyongjae Lee、Jaeyong Lee和Lizhen Lin.基于稀疏Cholesky因子的高维DAG模型的最小后验收敛率和模型选择一致性。安.统计师。，47(6):3413-3437, 2019. ISSN 0090-5364·Zbl 1435.62037号
[22] 汉内斯·利布。模型选择后线性预测器的分布：无条件有限样本分布和渐近逼近。InOptimality，IMS演讲笔记专著第49卷。序列号。，第291-311页。Inst.数学。统计人员。，俄亥俄州比奇伍德，2006年·Zbl 1268.62064号
[23] 汉内斯·利布。模型选择后的条件预测推理。安.统计师。，37（5B）：2838-28762009年。ISSN 0090-5364·Zbl 1173.62026号
[24] 刘畅（Chang Liu）和瑞恩·马丁（Ryan Martin）。稀疏高维高斯图形模型的经验G-Wishart先验。未出版手稿，arXiv:1912.038072019。
[25] 刘畅（Chang Liu）、瑞安·马丁（Ryan Martin）和沈伟宁（Weining Shen）。分段多项式序列模型中的经验先验和后验浓度。准备中，2020a。
[26] 刘畅、杨悦、霍华德·邦德尔和瑞恩·马丁。高维线性模型中使用经验相关性自适应先验的贝叶斯推理。统计师。Sinica，出庭作证Xiv:1810.007392020b。
[27] R.Martin和S.G.Walker。数据相关的先验和后验浓度率。电子。J.Stat.，13（2）：3049-30812019年·Zbl 1429.62148号
[28] 瑞恩·马丁和博宁。稀疏正态平均模型中后验可信集的经验先验和覆盖率。Sankhya A，出现；arXiv:1812.02152020年。
[29] 瑞恩·马丁（Ryan Martin）和斯蒂芬·沃克（Stephen G.Walker）。稀疏正态均值向量的渐近极小极大经验Bayes估计。电子。J.Stat.，8（2）：2188-2206，2014年·兹比尔1302.62015
[30] 瑞恩·马丁（Ryan Martin）、雷蒙德·梅斯（Raymond Mess）和斯蒂芬·沃克（Stephen G.Walker）。稀疏高维线性模型中的经验Bayes后验浓度。伯努利，23（3）：1822-18472017年。ISSN编号1350-7265·Zbl 1450.62085号
[31] 古拉布·穆克吉（Gourab Mukherjee）和伊恩·约翰斯通（Iain M.Johnstone）。稀疏高斯模型中预测密度的精确极小极大估计。安.统计师。，43(3):937-961, 2015. ISSN 0090-5364·Zbl 1328.62058号
[32] Benedikt M.P¨otscher和Hannes Leeb。关于惩罚最大似然估计量的分布：LASSO、SCAD和阈值。《多元分析杂志》。，100(9): 2065-2082, 2009. ISSN 0047-259X·Zbl 1170.62046号
[33] 科兰·雷和波顿·萨博。稀疏先验高维线性回归的变分贝叶斯方法。未出版手稿，arXiv:1904.071502019年。
[34] S.Reid、R.Tibshirani和J.Friedman。套索回归中误差方差估计的研究。未出版手稿，arXiv:1311.52742014。
[35] N.Syring和R.Martin。校准一般后部可信区域。《生物统计学》，106（2）：479-4862019年·Zbl 1454.62105号
[36] Tang Yiqi和Ryan Martin.ebreg：稀疏高维线性回归的经验Bayes方法，2020年。统一资源定位地址https://CRAN.R-project.org/package=ebreg。R包版本0.1.2。
[37] 罗伯特·提比拉尼（Robert Tibshirani）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B、 58（1）：267-2881996年·Zbl 0850.62538号
[38] S.van der Pas、J.Scott、A.Chakraborty和A.Bhattacharya。马蹄铁：马蹄铁的实施，2016年。统一资源定位地址https://CRAN.R-project.org/package=马蹄铁。R包版本0.1.0。
[39] S.van der Pas、B.Szab´o和A.van der Vaart。马蹄铁的适应性后部收缩率。电子。J.Stat.，11（2）：3196-3225，2017a·Zbl 1373.62140号
[40] S.L.van der Pas、B.J.K.Kleijn和A.W.van der Vaart。马蹄形估计量：近似黑色向量周围的后验浓度。电子。J.Stat.，8（2）：2585-26182014年。ISSN 1935-7524·Zbl 1309.62060号
[41] 圣埃弗尼·范德帕斯（St´ephanie van der Pas）、博托德·萨博（Botond Szab´o）和阿德·范德法特（Aad van der Vaart）。马蹄铁的不确定性量化（讨论）。贝叶斯分析。，12（4）：1221-12742017b。ISSN 19360975。作者反驳道·Zbl 1384.62155号
[42] 尼古拉·维尔泽伦（Nicolas Verzelen）。稀疏回归的极大极小风险：超高维现象。电子。《统计杂志》，2012年6月38-90日。ISSN 1935-7524·Zbl 1334.62120号
[43] 岳阳和瑞安·马丁。高维线性模型中后验先验和变分近似。准备中，2020年。
[44] 阿诺德·泽尔纳。关于评估先验分布和使用先验分布进行贝叶斯回归分析。贝叶斯推理和决策技术，研究第6卷。贝叶斯计量经济学统计学。，第233-243页。荷兰北部，阿姆斯特丹，1986年·Zbl 0608.00012号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。