×
高桥高桥;吉崎市卡巴西马

广义线性模型中相关数据的半分析近似稳定性选择。 （英文） Zbl 1459.62146号

《统计力学杂志》。理论实验。 2020年，第9期，文章ID 093402，36页（2020年）.
摘要：我们考虑广义线性模型的变量选择问题。稳定性选择（SS）是解决这一问题的一种有前途的方法。虽然SS提供了实用的变量选择标准，但它需要计算，因为它需要将GLM拟合到许多重新采样的数据集。我们提出了一种新的近似推理算法，可以在不重复拟合的情况下进行SS。该算法基于统计力学的复制方法和信息论的矢量近似消息传递。对于以旋转不变矩阵系综为特征的数据集，我们导出了从宏观上描述该算法动力学的状态演化方程。我们还证明了它们的不动点与通过副本方法获得的副本对称解是一致的。数值实验表明，该算法对合成数据和真实数据都具有快速收敛性和较高的逼近精度。

MSC公司：

62J12型 广义线性模型（逻辑模型）
第62页，第35页 统计学在物理学中的应用

关键词：

空腔复制法;消息传递算法;统计推断

软件：

Glmnet公司
PDF格式BibTeX公司 XML格式引用
\textit{T.Takahashi}和\textit{Y.Kabashima}，J.Stat.Mech。理论实验2020，第9期，文章ID 093402，36页（2020；Zbl 1459.62146）
全文： 内政部 arXiv公司

参考文献：

[1] Tibshirani R 1996 J.R.Stat.Soc.B 58 267-88·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x
[2] Meinshausen N和Bühlmann P 2010 J.R.Stat.Soc.B Stat.方法72 417-73·Zbl 1411.62142号 ·文件编号：10.1111/j.1467-9868.2010.00740.x
[3] Homrighausen D和McDonald D J 2014马赫数。学习97 65-78·Zbl 1320.62172号 ·doi:10.1007/s10994-014-5438-z
[4] Alon U、Barkai N、Notterman D A、Gish K、Ybara S、Mack D和Levine A J 1999年Proc。美国国家科学院。科学96 6745-50·doi:10.1073/pnas.96.12.6745
[5] Bühlmann P和Van De Geer S 2011高维数据统计：方法、理论和应用（柏林：Springer）·Zbl 1273.62015年 ·doi:10.1007/978-3-642-20192-9
[6] Mézard M、Parisi G和Virasoro M 1987年《自旋玻璃理论及其超越：复制方法及其应用简介》第9卷（新加坡：世界科学）·Zbl 0992.82500号
[7] Schniter P、Rangan S和Fletcher A K 2016广义线性模型的向量近似信息传递2016第50届信号、系统和计算机Asilomar会议第1525-9页·doi:10.1109/ACSSC.2016.7869633
[8] Rangan S，Schniter P和Fletcher A K 2019 IEEE Trans。信息理论65 6664-84·Zbl 1432.94036号 ·doi:10.1109/tit.2019.2916359
[9] Malzahn D和Opper M 2003马赫。学习。第4号决议1151-73
[10] Malzahn D和Opper M，Thrun S，Saul L K和Schölkopf B 2003近似分析自举平均值的统计力学方法神经信息处理系统进展第16卷（马萨诸塞州剑桥：麻省理工学院出版社）第343-50页
[11] Malzahn D和Opper M，Saul L K，Weiss Y和Bottou L 2004支持向量分类器的近似分析自举平均值神经信息处理系统进展第17卷（马萨诸塞州剑桥：麻省理工学院出版社）第1189-96页
[12] Opper M和Winther O 2001物理。修订稿86 3695·doi:10.1103/physrevlett.86.3695
[13] Opper M和Winther O 2001物理。版本E 64 056131·doi:10.103/千年收入6.405631
[14] Bolthausen E 2014公社。数学。物理325 333-66·Zbl 1288.82038号 ·文件编号：10.1007/s00220-013-1862-3
[15] Cakmak B，Winther O和Fleury B H 2014 S-amp：通用矩阵集成的近似消息传递2014 IEEE信息理论研讨会（ITW 2014）第192-6页·doi:10.1109/ITW.2014.6970819
[16] Kabashima Y 2003《物理学杂志》。A： 数学。第36代11111·Zbl 1081.94509号 ·doi:10.1088/0305-4470/36/43/030
[17] Donoho D L、Maleki A和Montanari A，2009年Proc。美国国家科学院。科学106 18914-9·doi:10.1073/pnas.0909892106
[18] Bayati M和Montanari A 2011年IEEE Trans。信息理论57 764-85·Zbl 1366.94079号 ·doi:10.1109/tit.2010.2094817
[19] Javanmard A和Montanari A 2013年Inf.推断2 115-44·Zbl 1335.94015号 ·doi:10.1093/imaiai/iat004
[20] Ma J和Ping L 2017 IEEE Access5 2020-33·doi:10.1109/access.2017.2653119
[21] Minka T P 2001近似贝叶斯推理过程的期望传播。第17届人工智能不确定性大会第362-9页
[22] Opper M和Winther O 2005 J.马赫。学习。决议6 2177-2004·Zbl 1222.68278号
[23] Takahashi T和Kabashima Y 2020 arXiv：2001.02824
[24] 乔·阿克马克B和Opper M 2018近似推理的期望传播：2018 IEEE Int.Symp.自由概率框架。信息理论（ISIT）第1276-80页·doi:10.1109/ISIT.2018.8437815
[25] 乔阿克马克B和Opper M 2019求解具有任意旋转不变耦合矩阵的ising模型tap方程的收敛动力学2019 IEEE Int.Symp。信息理论（ISIT）第1297-301页·doi:10.1109/ISIT.2019.8849790
[26] 恰克马克B和Opper M 2019物理。版次：E 99 062140·doi:10.1103/physreve.99.062140
[27] Obuchi T和Kabashima Y 2019 J.马赫。学习。决议20 1-33·Zbl 1489.62137号
[28] Takahashi T和Kabashima Y 2019 arXiv:1905.09545
[29] 休伊特E和萨维奇L J 1955年译。美国数学。社会80 470-501·Zbl 0066.29604号 ·doi:10.1090/s0002-9947-1955-0076206-8
[30] Opper M和Winther O，Saul L K，Weiss Y和Bottou L 2004神经信息处理系统中的变化线性响应进展第17卷（马萨诸塞州剑桥：麻省理工学院出版社）第1157-64页
[31] Golub G H和Van Loan C F 1996矩阵计算第3卷第3版（马里兰州巴尔的摩：约翰·霍普金斯大学出版社）·Zbl 0865.65009号
[32] Barbier J、Macris N、Maillard A和Krzakala F 2018《iid矩阵以外随机线性估计中的互信息》2018 IEEE国际标准。信息论（ISIT）第1390-4页·doi:10.1109/ISIT.2018.8437522
[33] Barbier J、Krzakala F、Macris N、Miolane L和ZdeborováL 2019年程序。美国国家科学院。科学编号116 5451-60·Zbl 1416.62421号 ·doi:10.1073/pnas.1802705116
[34] Reeves G和Pfister H D 2016使用高斯矩阵进行压缩传感的复制对称预测是准确的2016 IEEE国际标准。信息理论（ISIT）第665-9页·doi:10.1109/ISIT.2016.7541382
[35] Gerbelot C、Abbara A和Krzakala F 2020 arXiv：2006.06581
[36] Cakmak B、Opper M、Winther O和Fleury B H 2017压缩传感的动态函数理论2017 IEEE国际交响乐团。信息理论（ISIT）第2143-7页·doi:10.1109/ISIT.2017.8006908
[37] Martin P C、Siggia E和Rose H，1973年物理学。版次A 8 423·doi:10.103/hysrev.8.423
[38] Eissfeller H和Opper M 1992年物理学。修订稿68 2094·Zbl 0969.82553号 ·doi:10.1103/physrevlett.68.2094
[39] Kabashima Y 2008从相关模式推断：感知器学习和线性向量通道的统一理论J.Phys.：符合序列号95 012001·doi:10.1088/1742&#8211；6596/95/1/012001
[40] Kabashima Y和VehkaperäM 2014使用线性观测的期望一致近似值恢复信号2014 IEEE国际交响乐团。信息论第226-30页·doi:10.1109/ISIT.2014.6874828
[41] Qian J、Hastie T、Friedman J、Tibshirani R和Simon N，Matlab 2013 Glmnet
[42] Boyd S、Parikh N、Chu E、Peleato B、Eckstein J等人2011年发现。Trends®马赫数。学习。3 1-122
[43] Boyd S、Boyd SP和Vandenberghe L 2004凸优化（剑桥：剑桥大学出版社）·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。