×

模型选择中不稳定性和稳定性的启发。 (英语) Zbl 0867.62055号

摘要:在模型选择中,通常从一组预测器中选择一个“最佳”预测器,其中,(widehat{mu}(\cdot,s)是一组预想器中的最小最小二乘预测器。这里,\(s\)是一个复杂性参数;也就是说,({mathcal U}_s)中的模型越小,维数越低/越平滑。如果\({\mathcal L}\)是用于导出序列\(\{\widehat{\mu}(\cdot,s)\}\)的数据,则如果\(})中的小变化会导致\。使用水晶球,可以在预测误差最小的(\{\widehat{\mu}(\cdot,s)\}中选择预测器。没有先见之明,人们会使用测试集、交叉验证等。水晶球的选择和统计学家的选择之间的预测误差差异,我们称之为预测损失。对于不稳定程序,预测损失很大。
这可以通过简单案例中的一些分析以及四种不同线性回归方法的更复杂比较中的模拟结果来证明。通过扰动数据,得到一个新的预测器序列,然后对多个这样的预测仪序列求平均值,可以稳定不稳定过程。

MSC公司:

62小时99 多元分析
62J05型 线性回归;混合模型
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 布莱曼,L.1992。回归中选择维数的小bootstrap等方法:x固定预测误差。J.Amer。统计师。协会87 738 754。Z.JSTOR公司:·Zbl 0850.62518号 ·doi:10.2307/2290212
[2] 布雷曼,L.1995。使用非负garotte进行更好的子集选择。技术计量37 373 384。Z.JSTOR公司:·Zbl 0862.62059号 ·doi:10.2307/1269730
[3] 布雷曼,L.1996a。叠加回归。机器学习24 41 64。Z.公司·Zbl 0849.68104号
[4] 布雷曼,L.1996b。装袋预测器。机器学习26 123 140。Z.公司·Zbl 0858.68080号
[5] 布雷曼,L.,1996年c。偏差、方差和电弧分类器。报告460,加州大学统计系。Z.公司。
[6] BREIMAN,L.和SPECTOR,P.1992。回归中的子模型选择和评估。随机X案例。国际。统计师。版次:60 291 319。Z.公司。
[7] 沃尔伯特,D.1992。叠加概括。神经网络5 241 259。
[8] 加利福尼亚州伯克利94720-3860
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。