该项目旨在推动基于证据的科学政策制定。这是一部小说-承诺同行评审设备称为注册修订,2)第一个此类期刊政策的随机实验,3)第一个半集中式成套研究式前瞻性荟萃分析。
出版前承诺设备,如预注册和注册报告,可以大大减少出版偏见、出版前偏见(如p-hacking和HARKING)和其他有问题的研究实践。本研究探索了一种相关设备,已注册的修订.
已注册的修订预承诺设备与发生的微型注册报告相比在期间期刊同行评议。当审查人员要求额外的数据和/或分析时,作者可以提出并详细说明如何执行这些数据额外修订的修订计划。然后,无论结果如何,审稿人和编辑都可以根据本修订计划同意原则接受(IPA)出版物。
理论上,这种审查方式可以减少有问题的研究实践、出版偏见的影响,减少同行审查的不确定性,甚至可以通过防止反复多次审查来缩短审查时间。
开放科学中心(COS)正在领导一组半中央组织的期刊内注册修订随机实验。COS为期刊和期刊联盟提供设计和支持,以执行期刊内随机实验测试注册修订版。
期刊与期刊联盟之间
在期刊和期刊联盟内
COS目前正在组织一项试点研究。如果你是期刊编辑或出版商,有兴趣参与这个实验,请给诺亚·哈伯发电子邮件(noah@cos.io)和梅西·戴利(macie@cos.io).
其他详细信息,包括详细的协议以及数据和代码存储库,将在我们的OSF页面上提供:https://osf.io/tshqu/.
这项研究由国家科学基金资助(拨款编号2152424)
COS不是一项有许多期刊的研究,而是在前瞻性活体荟萃分析的保护伞下,培养一种多研究方法。这种设计有助于培养:
我们称之为半集中式前瞻性后向元分析。为了为注册修订创建一个有用的证据库,理想情况下,我们需要许多现实的期刊内实验。诀窍在于,COS和合作伙伴正在合作促进个体研究的创建和管理,这些研究最终将填补这一前瞻性荟萃分析。
要查看协作的工作方式,请参阅下一个选项卡。
COS提供强大的研究设计和实施支持,而期刊(或期刊组)编辑团队实施自己的后勤程序并承担设计。
套件式学习设计,包括:
支持,包括:
期刊完全拥有自己的随机试验。换句话说,这是你的实验,你的数据。每项试验都针对期刊的个人需求和偏好:
每项研究都将成为自己的出版物,期刊合作伙伴是主要作者。此外,主要期刊实施团队预计将成为COS领导的荟萃分析的合著者。
本项目下的所有试验都遵循大致相同的基本试验设计,从合格者开始。
收到修改和重新提交决定的标准手稿提交文件,即新数据请求是合格的。编辑团队在最初的编辑决定和高级/最终决定之间随机分配之前,确定合格的提交文件。
如果获得了同意并确定了合格的同行评审意见,作者团队将随机进入标准程序或注册修订如果注册修订臂:
如果标准程序有效:
对于任一组,试验团队使用COS设计的数据收集系统跟踪关键结果数据,如下一个选项卡中所述。
预期结果是过程结果(如达成最终决策的时间、接受/拒绝率等)、研究结果(如统计显著性、效果大小等)和满意度结果(如研究人员和编辑对过程的感受)的组合。
COS正在寻找合作期刊来测试这一想法,帮助制定设计决策,并获得对所有其他期刊有用的经验。这些初步实验将更加深入地涉及COS,甚至可能包括将COS研究人员纳入期刊编辑团队,作为同行评审过程的一部分。试验过程中的期刊将首先发布他们的发现,将支持长期努力,并将对未来的设计和研究产生重大影响。时间表: COS的目标是在2024年第二季度开始初步试验研究,在2020年第四季度开始主要期刊RCT,并在2027年第二季完成生活回顾。
该项目是审查注册报告影响的更大保护伞的一部分。这包括构思阶段、数据收集阶段的随机试验,以及额外的新闻级试验。
这在多方面是第一次,包括:
我们希望这为未来的实验研究铺平道路。
该项目的试点是一个为主要阶段做准备的寻路项目。试点阶段的最终目标是成功实现主阶段的多个测试版本。在本次试点中,我们将:
到试点结束时,我们将建立期刊成功运行自己的实验所需的全套工具,并获得大量经验支持。参与的期刊编辑将在至少一份已发表的手稿以及从这个主要项目衍生出来的任何其他项目上进行合作。
试验阶段的主要可交付成果是:
我们计划有5-10种试点期刊参与,并将很快用期刊更新此页面。
目前,以下期刊是试点的官方合作伙伴:
如果你想加入试点小组,我们很乐意邀请你!请给诺亚·哈伯发电子邮件(noah@cos.io)和梅西·戴利(macie@cos.io).
对实施试用和注册修订政策的工作流程感到担忧?我们也是!我们一直在努力开发在实际期刊上实现这一目标所需的一切。
我们已经开发并正在测试任何一系列专注于可用性的工具和文档,包括:
大多数当前文档都可以在我们的OSF.io项目页面,将在整个项目中不断更新。