期刊同行评审过程中注册修订的影响

感兴趣吗?联系!电子邮件:Noah Haber(noah@cos.io)和梅西·戴利(macie@cos.io公司).

项目概述

通过实验进行基于证据的日志策略更改

该项目旨在推动基于证据的科学政策制定。这是一部小说-承诺同行评审设备称为注册修订,2)第一个此类期刊政策的随机实验,3)第一个半集中式成套研究式前瞻性荟萃分析。

已注册的修订

出版前承诺设备,如预注册和注册报告,可以大大减少出版偏见、出版前偏见(如p-hacking和HARKING)和其他有问题的研究实践。本研究探索了一种相关设备,已注册的修订.

已注册的修订预承诺设备与发生的微型注册报告相比在期间期刊同行评议。当审查人员要求额外的数据和/或分析时,作者可以提出并详细说明如何执行这些数据额外修订的修订计划。然后,无论结果如何,审稿人和编辑都可以根据本修订计划同意原则接受(IPA)出版物。

理论上,这种审查方式可以减少有问题的研究实践、出版偏见的影响,减少同行审查的不确定性,甚至可以通过防止反复多次审查来缩短审查时间。

 

设计

开放科学中心(COS)正在领导一组半中央组织的期刊内注册修订随机实验。COS为期刊和期刊联盟提供设计和支持,以执行期刊内随机实验测试注册修订版。

期刊与期刊联盟之间

rc3t mini 1作物

 

在期刊和期刊联盟内

r3ct mini 2作物

 

参与

COS目前正在组织一项试点研究。如果你是期刊编辑或出版商,有兴趣参与这个实验,请给诺亚·哈伯发电子邮件(noah@cos.io)和梅西·戴利(macie@cos.io).

其他详细信息,包括详细的协议以及数据和代码存储库,将在我们的OSF页面上提供:https://osf.io/tshqu/.


这项研究由国家科学基金资助(拨款编号2152424)

元试验设计

rct图2

COS不是一项有许多期刊的研究,而是在前瞻性活体荟萃分析的保护伞下,培养一种多研究方法。这种设计有助于培养:

  • 一种可行的政策实施实验方法,否则需要不切实际的协调和编辑同质性
  • 更现实地推出注册修订政策,因为每个期刊或期刊组都将以自己的方式实施该政策
  • 跨期刊编辑团队共享经验和指导
  • 确保小型试验是更大证据基础的一部分,防止研究浪费

我们称之为半集中式前瞻性后向元分析。为了为注册修订创建一个有用的证据库,理想情况下,我们需要许多现实的期刊内实验。诀窍在于,COS和合作伙伴正在合作促进个体研究的创建和管理,这些研究最终将填补这一前瞻性荟萃分析。

要查看协作的工作方式,请参阅下一个选项卡。


这项研究由国家科学基金资助(拨款编号2152424)

协作的工作原理

COS提供强大的研究设计和实施支持,而期刊(或期刊组)编辑团队实施自己的后勤程序并承担设计。

 

由COS提供和支持

套件式学习设计,包括:

  • 根据您自己的需要,使用“选择您自己的冒险”选项制定协议
  • 调查材料
  • 数据收集程序
  • 数据分析设计和代码
  • 描述性语言
基础设施和物流,包括:
  • 预先批准的IRB途径
  • 数据收集系统
  • 与编辑流程集成

支持,包括:

  • 经验
  • 培训材料
  • 与其他进行类似研究的人员进行集中沟通
  • 确保小规模实验有助于大规模、高质量的证据

 

由期刊运营和拥有

期刊完全拥有自己的随机试验。换句话说,这是你的实验,你的数据。每项试验都针对期刊的个人需求和偏好:

  • 干预政策设计的具体变化
  • 时间表/时间表
  • 后勤和程序
  • 测量结果的变化

每项研究都将成为自己的出版物,期刊合作伙伴是主要作者。

此外,主要期刊实施团队预计将成为COS领导的荟萃分析的合著者。


这项研究由国家科学基金资助(拨款编号2152424)

个人试验设计

rct图表新建本项目下的所有试验都遵循大致相同的基本试验设计,从合格者开始。

资格

收到修改和重新提交决定的标准手稿提交文件,即新数据请求是合格的。编辑团队在最初的编辑决定和高级/最终决定之间随机分配之前,确定合格的提交文件。

 

审判武器

如果获得了同意并确定了合格的同行评审意见,作者团队将随机进入标准程序或注册修订
如果注册修订臂:

  • 在收集新数据或执行新的计划数据/分析之前,作者团队起草修订计划,以描述新数据分析和结果的程序
  • 无论新计划的数据/分析结果如何,编辑和/或同行评审员都会审查修订计划,并(如果/当批准时)发布原则接受书(IPA)以接受文章。

如果标准程序有效:

  • 作者团队、编辑和同行评审员按照该期刊的标准进行同行评审和修订。

对于任一组,试验团队使用COS设计的数据收集系统跟踪关键结果数据,如下一个选项卡中所述。


这项研究由国家科学基金资助(拨款编号2152424)

试验结果

预期结果是过程结果(如达成最终决策的时间、接受/拒绝率等)、研究结果(如统计显著性、效果大小等)和满意度结果(如研究人员和编辑对过程的感受)的组合。 

 

主要成果

  • 新数据/分析修订的统计显著性和/或不确定性度量(例如p值、标准误差和置信区间)
  • 接受物品比例
  • 从修订到最终决定的时间表

次要成果

  • 期刊和作者对注册修订的主观体验
  • 日记账关注的任何结果

这项研究由国家科学基金资助(拨款编号2152424)

接下来的步骤

当前阶段:试点

COS正在寻找合作期刊来测试这一想法,帮助制定设计决策,并获得对所有其他期刊有用的经验。

这些初步实验将更加深入地涉及COS,甚至可能包括将COS研究人员纳入期刊编辑团队,作为同行评审过程的一部分。

试验过程中的期刊将首先发布他们的发现,将支持长期努力,并将对未来的设计和研究产生重大影响。

时间表: COS的目标是在2024年第二季度开始初步试验研究,在2020年第四季度开始主要期刊RCT,并在2027年第二季完成生活回顾。

 

这符合COS的议程吗?

该项目是审查注册报告影响的更大保护伞的一部分。这包括构思阶段、数据收集阶段的随机试验,以及额外的新闻级试验。

这在多方面是第一次,包括:

  • 大规模协同研究的新框架和方法
  • 新型期刊政策实验
  • 感兴趣的主题是一种现代干预,以改善出版结果

我们希望这为未来的实验研究铺平道路。


这项研究由国家科学基金资助(拨款编号2152424)

寻路飞行员

该项目的试点是一个为主要阶段做准备的寻路项目。试点阶段的最终目标是成功实现主阶段的多个测试版本。在本次试点中,我们将:

  • 生成实施这些试验所需的基础设施
  • 写作指导
  • 记录哪些有效(更重要的是,哪些无效)
  • 探索干预措施的不同变体
  • 绘制如何在编辑提交系统中管理此项目的路径。

到试点结束时,我们将建立期刊成功运行自己的实验所需的全套工具,并获得大量经验支持。参与的期刊编辑将在至少一份已发表的手稿以及从这个主要项目衍生出来的任何其他项目上进行合作。

试验阶段的主要可交付成果是:

  • 全套文档和建议,供期刊应用自己的实验
  • 描述过程、实验运行和(可能)早期结果的手稿

我们计划有5-10种试点期刊参与,并将很快用期刊更新此页面。

目前,以下期刊是试点的官方合作伙伴:

  • 基于证据的毒理学
  • PLOS生物学
  • 领导季刊
  • 科学报告
  • 社会问题与公共政策分析
  • 足球科学与医学
  • 很快就会有更多。。。。

如果你想加入试点小组,我们很乐意邀请你!请给诺亚·哈伯发电子邮件(noah@cos.io)和梅西·戴利(macie@cos.io).

工作流、详细信息和文档

对实施试用和注册修订政策的工作流程感到担忧?我们也是!我们一直在努力开发在实际期刊上实现这一目标所需的一切。

工作流概述示例

我们已经开发并正在测试任何一系列专注于可用性的工具和文档,包括:

  • 基于网络的参与者跟踪和数据记录系统,不依赖编辑管理软件
  • 编辑过程中使用的模板文件
  • 期刊编辑分步指导
  • 针对参与者和评审员的综合说明
  • 我们可以与社区分享使用这些系统的经验

大多数当前文档都可以在我们的OSF.io项目页面,将在整个项目中不断更新。

联系!

如果你是一名期刊编辑,可能有兴趣参与本项目的任何部分,请给诺亚·哈伯发电子邮件(noah@cos.io)和梅西·戴利(macie@cos.io公司). 您还可以注册我们的电子邮件列表以获取以下更新。