Ayaka坂田 基于广义近似消息传递的惩罚回归的预测误差。 （英语） Zbl 07657619号 《物理学杂志》。A、 数学。西奥。 56，第4号，文章ID 043001，69 p.（2023）. 总结：我们从广义线性模型和惩罚最大似然方法的预测误差方面讨论了假设统计模型的预测精度。我们利用广义近似消息传递（GAMP）算法和复制方法推导了预测误差的估计量形式，如C_p准则、信息准则和遗漏交叉验证（LOOCV）误差。当模型参数的数目足够小时，这些估计值相互吻合；然而，它们之间存在差异，尤其是在模型参数数量大于数据维的参数区域。在本文中，我们回顾了预测误差和相应的估计量，并讨论了它们的差异。在GAMP框架下，我们证明了信息准则可以用估计值的方差来表示。此外，我们还演示了如何利用GAMP提供的表达式从信息标准中处理LOOCV错误。 MSC公司： 62至XX 统计 86年X月X日 地球物理学 关键词：预测误差;交叉验证;信息标准;消息传递 PDF格式BibTeX公司 XML格式引用 \textit{A.坂田}，J.Phys。A、 数学。西奥。56，第4号，文章ID 043001，69 p.（2023；Zbl 07657619） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Taddy，M.，《人工智能的技术要素》，人工智能经济学：议程，第61-87页（2019年），伊利诺伊州芝加哥：芝加哥大学出版社，伊利诺贝利州芝加哥 [2] 事件地平线望远镜合作，天体物理学。J.莱特。，875，L1（2019）·doi:10.3847/2041-8213/ab0ec7 [3] 贝斯特，M。；Neuhauser，D.，Qual Saf Health Care，15142-3（2006）·doi:10.1136/qshc.2006.018093 [4] Akaike，H.，《信息论和最大似然原理的扩展》，第267-81页（1973年），Alademai Kiado·Zbl 0283.62006号 [5] Stone，M.，J.R.Stat.Soc.B，36，111-47（1974）·Zbl 0308.62063号 ·doi:10.1111/j.2517-6161.1974.tb00994.x [6] Amari，S.，《信息几何及其应用》（2016），柏林：施普林格出版社，柏林·Zbl 1350.94001号 [7] 哈斯蒂，T。；Montanari，A。；Rosset，S。；Tibshirani，R.J.，Ann.Stat.，50949-86（2022）·Zbl 1486.62202号 ·doi:10.1214/21-AOS2133 [8] Hochreiter，S。；Schmidhuber，J.，神经计算。，9, 1-42 (1997) ·Zbl 0872.68150号 ·doi:10.1162/neco.1997.9.1.1 [9] 托马斯·V。；佩德雷戈萨，F。；van Merriënboer，B。；Mangazol，P.A。；Y.本吉奥。；Le Roux，N.，《噪声和曲率之间的相互作用及其对优化和泛化的影响》，第3503-13页（2020年） [10] Ruján，P.，物理学。修订稿。，70, 2968-71 (1993) ·doi:10.1103/PhysRevLett.70.2968 [11] 伊巴，Y.，J.Phys。A： 数学。将军，32，3875（1999）·Zbl 0936.82014号 ·doi:10.1088/0305-4470/32/21/302 [12] Nishimori，H.，《自旋玻璃统计物理与信息处理：导论》，第111卷（2001），牛津：克拉伦登，牛津·Zbl 1103.82002号 [13] Kabashima，Y。；Wadayama，T。；田中，T.，J.Stat.Mech。(2009) ·doi:10.1088/1742-5468/2009/09/L09003 [14] Krzakala，F。；Mézard，M。；Sausset，F。；孙，Y。；兹德博罗娃，L.，J.Stat.Mech。(2012) ·doi:10.1088/1742-5468/2012/08/P08009 [15] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.，《统计学习的要素》（2009），纽约：Springer Science&Business Media出版社，纽约·兹比尔1273.62005 [16] Efron，B.，J.Am.Stat.Assoc.，99，619-32（2004）·Zbl 1117.62324号 ·doi:10.1198/016214500000692 [17] Mallows，C1973计量技术spp 66175pp 661-75 [18] Watanabe，S.，《代数几何与统计学习理论》，第25卷（2009年），剑桥：剑桥大学出版社，剑桥·Zbl 1180.93108号 [19] Konishi，S。；Kitagawa，G.，《信息标准和统计建模》（2008），柏林：施普林格出版社，柏林·Zbl 1172.62003年 [20] 渡边，S.，Jpn。统计数据科学杂志。，4, 1-19 (2021) ·Zbl 1477.62067号 ·doi:10.1007/s42081-021-00121-3 [21] I.J.古德。；Gaskins，R.A.，《生物统计学》，58，255-77（1971）·Zbl 0221.62012号 ·doi:10.1093/biomet/58.2.255 [22] 霍格林特区。；Welsch，R.E.，《美国统计》，32，17-22（1978）·兹伯利0375.62070 ·doi:10.1080/00031305.1978.10479237 [23] Allen，D.M.，《技术计量学》，第16卷，第125-7页（1974年）·Zbl 0286.62044号 ·doi:10.1080/00401706.1974.10489157 [24] 库克，R.D.，《技术计量学》，第19、15-18页（1977年）·Zbl 0371.62096号 ·网址：10.1080/00401706.1977.10489493 [25] 库克，R.D.，J.Am.Stat.Assoc.，74，169-74（1979）·Zbl 0398.62057号 ·网址：10.1080/01621459.1979.10481634 [26] 谢尔曼，J。；莫里森·W·J、安·数学。统计，21，124-7（1950）·Zbl 0037.00901号 ·doi:10.1214/aoms/1177729893 [27] Seber，G.A。；Lee，A.J.，线性回归分析（2003），纽约：威利，纽约·Zbl 1029.62059号 [28] 考克斯·D·R。；Hinkley，D.V.，《理论统计》（1979），佛罗里达州博卡拉顿：CRC出版社，佛罗里达州波卡拉顿·Zbl 0334.62003号 [29] Ripley，B.D.，模式识别和神经网络（2007），剑桥：剑桥大学出版社，剑桥·Zbl 0853.62046号 [30] Stone，M.，J.R.Stat.Soc.B，39，44-47（1977）·Zbl 0355.6202号 ·doi:10.1111/j.2517-6161.1977.tb01603.x [31] 哈斯蒂，T。；Tibshirani，R.，《广义自适应模型》（1990），伦敦：查普曼和霍尔出版社，伦敦·Zbl 0747.62061号 [32] Stein，C.，Ann.Stat.，9，1135-51（1981）·Zbl 0476.62035号 ·doi:10.1214/aos/1176345632 [33] Ye，J.和J.Am.Stat.Assoc.，93，120-31（1998）·Zbl 0920.62056号 ·数字标识代码：10.1080/01621459.1998.10474094 [34] 邹，H。；哈斯蒂，T。；Tibshirani，R.，Ann.Stat.，35，2173-92（2007）·兹比尔1126.62061 ·doi:10.1214/009053600700000127 [35] 哈斯蒂，T。；Tibshirani，R。；Wainwright，M.，《稀疏的统计学习：拉索和泛化》（2015），纽约：查普曼和霍尔/CRC，纽约·Zbl 1319.68003号 [36] 坂田，A.，J.Stat.Mech。(2016) ·Zbl 1456.62146号 ·doi:10.1088/1742-5468/2016/12/23302 [37] Gelfand，A EDey，D KChang，H1992使用预测分布确定模型，并通过基于抽样的方法实现技术报告（斯坦福大学CA统计系） [38] Gelman，A。；黄，J。；Vehtari，A.，统计计算。，24, 997-1016 (2014) ·Zbl 1332.62090号 ·doi:10.1007/s11222-013-9416-2 [39] Watanabe，S.、J.Mach。学习。决议，11，3571-94（2010）·Zbl 1242.62024号 [40] 伊巴，Y。；Yano，K.，任意损失函数的后验协方差信息准则（2022） [41] 渡边，S.，IEICE Trans。芬丹。电子。Commun公司。计算。科学。，93, 617-26 (2010) ·doi:10.1587/transfun。E93.A.617号 [42] 贝尔金，M。；徐，D。；马，S。；曼达尔，S.，Proc。美国国家科学院。科学。，116, 15849-54 (2019) ·兹比尔1433.68325 ·doi:10.1073/pnas.1903070116 [43] Opper，M。；金策尔，W。；Kleinz，J。；Nehl，R.，J.物理学。A： 数学。Gen.，23，L581（1990）·doi:10.1088/0305-4470/23/11/012 [44] 克罗，A。；赫茨，J.A.，J.Phys。A： 数学。Gen.，251135（1992）·Zbl 0747.92009号 ·doi:10.1088/0305-4470/25/5/020 [45] Opper，M。；Kinzel，W.，《泛化的统计力学》，《神经网络模型III》，第151-209页（1996），柏林：施普林格出版社，柏林 [46] 阿德瓦尼，M.S。；萨克斯，A.M。；Sompolinsky，H.，神经网络。，132, 428-46 (2020) ·Zbl 1475.68258号 ·doi:10.1016/j.neunet.2020.08.022 [47] 盖革，M。；Spigler，S。；达阿斯科利，S。；萨贡，L。；Baity-Jesi，M。；比罗利，G。；Wyart，M.，物理学。修订版E，100（2019）·doi:10.1103/PhysRevE.100.012115 [48] 梅，S。；Montanari，A.，《随机特征回归的泛化误差：精确渐近和双下降曲线》（2019） [49] Gerace，F。；Loureiro，B。；Krzakala，F。；Mézard，M。；Zdeborová，L.，随机特征学习中的泛化错误和隐藏流形模型，第3452-62页（2020年） [50] 达阿斯科利，S。；Refinetti，M。；比罗利，G。；Krzakala，F.，《双重血统的双重麻烦：懒惰状态下的偏差和方差》，第2280-90页（2020年） [51] Loureiro，B。；Gerbelot，C。；Refinetti，M。；Sicuro，G。；Krzakala，F。；Chaudhuri，K.，学习者的波动、偏差、方差和集合：高维凸损失的精确渐近性，第162卷，第14283-314页（2022） [52] Rangan，S.，随机线性混合估计的广义近似消息传递，第2168-72页（2011），IEEE [53] 坂田，A.，J.Stat.Mech。(2018) ·Zbl 1459.62135号 ·doi:10.1088/1742-5468/aac910 [54] Pearl，J.，《智能系统中的概率推理：似然推理网络》（1988），加州圣马特奥：Morgan Kaufmann，加州圣马特奥 [55] 科勒，D。；弗里德曼，N.，《概率图形模型：原理与技术》（2009），马萨诸塞州剑桥：麻省理工学院出版社·兹比尔1183.68483 [56] 理查德森·T·J。；Urbanke，R.L.，IEEE传输。信息理论，47599-618（2001）·Zbl 1019.94033号 ·数字对象标识代码：10.1109/18.910577 [57] Y.卡巴希马，J.Phys。A： 数学。Gen.，36，11111-21（2003）·兹比尔1081.94509 ·doi:10.1088/0305-4470/36/43/030 [58] Donoho，D.L。；Maleki，A。；Montanari，A.，程序。国家。阿卡德。科学。美国，10618914-19（2009）·doi:10.1073/pnas.0909892106 [59] Mézard，M。；帕里西，G。；Virasoro，M.，《自旋玻璃理论及其超越：复制方法及其应用导论》（1987），新加坡：世界科学出版公司，新加坡·Zbl 0992.82500号 [60] Thouless，D.J。；安德森，P.W。；Palmer，R.G.，Phil.Mag.，35，593-601（1977）·doi:10.1080/14786437708235992 [61] 梅扎德，M。；Montanari，A.，《信息、物理和计算》（2009），牛津：牛津大学出版社，牛津·Zbl 1163.94001号 [62] Gerbelot，C。；阿巴拉，A。；Krzakala，F.，超越高斯矩阵的高维凸惩罚线性回归的渐近误差，pp 1682-713（2020） [63] Kabashima，Y。；Krzakala，F。；Mézard，M。；坂田，A。；兹德博罗娃，L.，IEEE Trans。Inf.Theory，624228-65（2016）·Zbl 1359.94109号 ·doi:10.1109/TIT.2016.2556702 [64] Zdeborová，L。；Krzakala，F.，高级物理。，65, 453-552 (2016) ·doi:10.1080/00018732.2016.1211393 [65] Loureiro，B。；Gerbelot，C。；崔，H。；Goldt，S。；Krzakala，F。；梅扎德，M。；Zdeborová，L.，第34卷，第18137-51页（2021年） [66] 加藤，K.，J.多元分析。，100, 1338-52 (2009) ·Zbl 1162.62067号 ·doi:10.1016/j.jmva.2008.12.002 [67] 马祖姆德，R。；弗里德曼，J.H。；Hastie，T.，J.Am.Stat.Assoc.，106，1125-38（2011）·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [68] 弗里德曼，J.H.，《国际期刊预测》。，28, 722-38 (2012) ·doi:10.1016/j.ij预测.2012.05.001 [69] Hirose，K。；Tateishi，S。；Konishi，S.，计算。统计数据分析。，59, 28-40 (2013) ·Zbl 1400.62006年 ·doi:10.1016/j.csda.2012.10.005 [70] Opper，M。；Winther，O.，神经计算。，12, 2655-84 (2000) ·doi:10.1162/089976600300014881 [71] De Almeida，J。；Thouless，D.J.和J.Phys。A： 数学。Gen.，11983（1978）·doi:10.1088/0305-4470/11/5/028 [72] Obuchi，T。；Kabashima，Y.，J.统计力学。(2016) ·兹比尔1459.62140 ·doi:10.1088/1742-5468/2016/05/053304 [73] 爪哇马德，A。；Montanari，A.，《Inf.Inference》，第2115-44页（2013年）·Zbl 1335.94015号 ·doi:10.1093/imaiai/iat004 [74] 巴比尔，J。；Krzakala，F。；北卡罗来纳州Macris。；米奥兰，L。；Zdeborová，L.，程序。美国国家科学院。科学。，116, 5451-60 (2019) ·Zbl 1416.62421号 ·doi:10.1073/pnas.1802705116 [75] Goldt，S。；Loureiro，B。；里夫斯，G。；Krzakala，F。；Mézard，M。；Zdeborová，L.，浅层神经网络学习生成模型的高斯等价性，pp 426-71（2022） [76] Montanari，A。；Saeed，B.N.，经验风险最小化的普遍性，第4310-12页（2022年） [77] Gerace，F。；克扎卡拉，F。；Loureiro，B。；斯蒂芬，L。；Zdeborová，L.（2022） [78] Breheny，P。；黄，J.，Ann.Appl。统计，5232（2011）·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388 [79] 坂田，A。；Xu，Y.，J.统计力学。(2018) ·Zbl 1459.94046号 ·doi:10.1088/1742-5468/aab051 [80] Lee，J.D。；孙，Y。；桑德斯，M.A.，SIAM J.Optim。，24, 1420-43 (2014) ·Zbl 1306.65213号 ·doi:10.1137/130921428 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。