退休主管服务队

系统化公开研究和证据的信心

评估研究主张的可信度是科学过程的核心和持续部分。然而,当前的评估策略通常需要大量的时间和精力。为了加快研究进展,开放科学中心(COS)与国防高级研究计划局(DARPA)项目合作系统化公开研究和证据信心(SCORE)2019年,致力于开发和部署自动化工具,为研究索赔提供快速、可扩展和准确的置信度评分。

阅读预打印

此后,COS完成了从社会行为科学论文分层样本中提取科学主张的工作。总共有7066个索赔被手动提取,使得置信度得分能够由人类预测者和算法分配。同时,COS与数百名研究人员合作,对这些提取的主张的子集进行复制和复制。团队利用OSF这样,复制和复制工作中的材料就可以公开提供。

该项目的数据收集工作现已结束,COS正在与密切合作者合作,汇编和增强项目数据;继续编码核心项目成果;并起草报告,介绍我们在可复制性、再现性和稳健性方面的知识,以及专家、预测者和算法为研究评估提供可扩展工具的潜力。

这些报告应于2024年公开。请联系Tim Errington(tim@cos.io)或安德鲁·泰纳(andrewtyner@cos.io)了解更多信息。