作者
摘要
我们认为，在机器学习（ML）研究中，使用统计决策理论（SDT）的综合样本外（OOS）评估应该取代当前的K-fold和通用任务框架验证实践。SDT为在所有可能的（1）训练样本、（2）可能生成训练数据的人群和（3）具有预测兴趣的人群中执行全面OOS评估提供了一个正式框架。关于特征（3），我们强调，SDT要求从业者直接面对未来可能与过去不同的可能性，并在构建预测算法时考虑从一个群体外推到另一个群体的可能需求。SDT在抽象上很简单，但实现它通常需要计算。我们讨论了当预测精度由均方误差或误分类率衡量时，SDT易于实现的进展。我们总结了一些研究环境，在这些环境中，训练数据将从具有预测兴趣的人群的子群体中生成。我们考虑对可能生成训练数据的可能种群的状态空间具有替代限制的条件预测。我们将该方法用于预测患者疾病以指导临床决策的问题。最后，我们呼吁ML研究人员与计量经济学家和统计学家一起扩大SDT实施的可控制范围。
建议引用
Jeff Dominitz和Charles F.Manski，2024年。"基于统计决策理论的预测算法OOS综合评价,"NBER工作文件32269，国家经济研究局。手柄：RePEc:nbr:nberwo:32269
注：TWP
从出版商下载全文
由于此文档的访问受到限制，您可能希望搜索换一个不同的版本。
有关此项目的更多信息
- C44型-数学和定量方法——计量经济学和统计方法：专题——运筹学；统计决策理论
- C45型-数学和定量方法——计量经济学和统计方法：专题——神经网络及相关专题
- 第53页-数学和定量方法——计量经济建模——预测和预测模型；模拟方法
NEP字段
这篇论文已在下面宣布NEP报告以下为：
统计
访问和下载统计
更正
本网站上的所有材料均由各自的出版商和作者提供。您可以帮助纠正错误和遗漏。请求更正时，请提及此项目的句柄：RePEc:nbr:nberwo:32269。请参阅一般信息关于如何更正RePEc中的材料。
如果您编写了此项目，但尚未在RePEc注册，我们鼓励您这样做在这里。这允许将您的个人资料链接到此项目。它还允许您接受我们不确定的该项目的潜在引用。
我们没有这个项目的参考书目。您可以使用这个表格.
如果你知道引用这篇文章的遗漏项目，你可以帮助我们创建这些链接，方法是以与上面相同的方式为每个引用项目添加相关的引用。如果您是此项目的注册作者，您可能还需要检查您的RePEc作者服务个人资料，因为可能有一些引文等待确认。
有关此项目的技术问题，或更正其作者、标题、摘要、书目或下载信息，请联系：负责人（以下电子邮件可用）。供应商的一般联系方式：https://edirc.repec.org/data/nberrus.html.
请注意，更正可能需要几周时间才能筛选出来各种RePEc服务。
