IDEAS主页打印自https://ideas.repec.org/a/nat/nathum/v2y2018i9d10.1038_s41562-018-0399-z.html
  我的参考书目  保存此文章

评估2010年至2015年《自然与科学》社会科学实验的可复制性

作者

上市的:
  • 科林·卡莫尔

    (加州理工学院)

  • 安娜·德雷伯

    (斯德哥尔摩经济学院)

  • 费利克斯·霍尔兹梅斯特

    (因斯布鲁克大学)

  • Teck-Hua Ho公司

    (新加坡国立大学)

  • 尤根·胡贝尔

    (因斯布鲁克大学)

  • 马格努斯·约翰内森

    (斯德哥尔摩经济学院)

  • 迈克尔·科奇勒

    (因斯布鲁克大学
    哥德堡大学)

  • 吉迪恩海军

    (宾夕法尼亚大学)

  • 布莱恩·诺塞克

    (弗吉尼亚大学
    开放科学中心)

  • 托马斯·菲佛

    (新西兰高等研究院)

  • 亚当·阿尔特梅德

    (斯德哥尔摩经济学院)

  • 尼克·布特里克

    (弗吉尼亚大学
    开放科学中心)

  • 陈泰赞(Taizan Chan)

    (新加坡国立大学)

  • 陈一玲

    (哈佛大学)

  • 埃斯基尔·福赛尔

    (Spotify瑞典公司)

  • 安努普·甘帕

    (弗吉尼亚大学
    开放科学中心)

  • 艾玛·海肯斯坦

    (斯德哥尔摩经济学院)

  • 莉莉·悍马

    (开放科学中心)

  • 伊迈大辅

    (LMU慕尼黑)

  • Siri Isaksson先生

    (斯德哥尔摩经济学院)

  • 迪伦·曼弗雷迪

    (宾夕法尼亚大学)

  • 茱莉亚罗斯

    (因斯布鲁克大学)

  • Eric-Jan Wagenmakers公司

    (阿姆斯特丹大学)

  • 杭武

    (哈尔滨工业大学)

摘要

能够复制科学发现对科学进步至关重要。我们复制了2010年至2015年期间《自然与科学》(Nature and Science)上发表的21项社会科学中系统选择的实验研究16–36。复制遵循原始作者审查的分析计划,并在复制之前预先注册。复制效率很高,样本量平均约为原始研究的五倍。我们发现,在13项(62%)研究中,与原始研究相同的方向上存在显著影响,重复的影响大小平均约为原始影响大小的50%。可复制性在补充可复制性指标的12项(57%)和14项(67%)研究之间变化。与这些结果一致,贝叶斯分析中估计的真阳性率为67%。真阳性的相对效应大小估计为71%,这表明假阳性和真阳性的膨胀效应大小都会导致不完美的再现性。此外,我们发现同龄人对可复制性的信念与可复制性密切相关,这表明研究团体可以预测哪些结果会被复制,而复制失败并不仅仅是偶然的结果。

建议引用

  • Colin F.Camerer&Anna Dreber&Felix Holzmeister&Teck-Hua Ho&Jürgen Huber&Magnus Johannesson&Michael Kirchler&Gideon Nave&Brian A.Nosek&Thomas Pfeiffer&Adam Altmejd&Nick Buttrick,2018年。"评估2010年至2015年《自然与科学》社会科学实验的可复制性,"自然-人类行为,《自然》,第2卷(9),第637-644页,9月。
  • 手柄:RePEc:nat:nathum:v:2:y:2018:i:9:d:10.1038_s41562-018-0399-z
    数字对象标识码:10.1038/s41562-018-0399-z
    作为

    从出版商下载全文

    文件URL: https://www.nature.com/articles/s41562-018-0399-z
    文件功能:摘要
    下载限制:访问本系列文章的全文受到限制。

    文件URL: https://libkey.io/10.1038/s41562-018-0399-z?utm_source=ideas
    LibKey链接:如果访问受到限制,并且您的库使用此服务,LibKey会将您重定向到可以使用库订阅访问此项目的位置
    ---><---

    由于对此文档的访问受到限制,您可能希望在下面或搜索换一个不同的版本。

    此项目的其他版本:

    IDEAS上列出的参考文献

    作为
    1. John P A Ioanidis,2005年。"为什么大多数已发表的研究结果是错误的,"PLOS医学,公共科学图书馆,第2卷(8),第1-1页,8月。
    2. Daniel J.Benjamin、James O.Berger、Magnus Johannesson、Brian A.Nosek&E.-J.Wagenmakers、Richard Berk、Kenneth A.Bollen、Björn Brembs、Lawrence Brown、Colin Camerer、David Cesarini&Chr,2018年。"重新定义统计显著性,"自然-人类行为《自然》,第2卷(1),第6-10页,1月。
      • Daniel Benjamin、James Berger、Magnus Johannesson、Brian Nosek、E.Wagenmakers、Richard Berk、Kenneth Bollen、Bjorn Brembs、Lawrence Brown、Colin Camerer、David Cesarini、Christopher Chambe,2017年。"重新定义统计重要性,"人工现场实验00612,现场实验网站。
    3. C.Glenn Begley和Lee M.Ellis,2012年。"提高临床前癌症研究的标准,"自然《自然》,第483卷(7391),第531-533页,3月。
    4. 马克西姆·德雷克斯(Maxime Derex)、玛丽·波琳·贝金(Marie-Pauline Beugin)、伯纳德·戈代尔(Bernard Godelle)和米歇尔·雷蒙德(Michel Raymond),2013年。"群体规模对文化复杂性影响的实验证据,"自然《自然》,第503卷(7476),第389-391页,11月。
    5. David G.Rand和Joshua D.Greene以及Martin A.Nowak,2012年。"自发的付出和刻意的贪婪,"自然《自然》,第489卷(7416),第427-430页,9月。
    6. Leonard P Freedman和Iain M Cockburn以及Timothy S Simcoe,2015年。"临床前研究中的再现性经济学,"PLOS生物学,公共科学图书馆,第13卷(6),第1-9页,6月。
    7. Camerer、Colin&Dreber、Anna&Forsell、Eskil&Ho、Teck-Hua&Huber、Jurgen&Johannesson、Magnus&Kirchler、Michael&Almenberg、Johan&Altmejd、Adam&Chan、Taizan&Heikensten、Emma&Holzmeist,2016年。"评估经济学实验室实验的可复制性,"MPRA纸75461,德国慕尼黑大学图书馆。
    8. Alexander Etz和Joachim Vandekerckhove,2016年。"再生产性项目的贝叶斯观点:心理学,"PLOS ONE系列,公共科学图书馆,第11卷(2),第1-12页,2月。
    9. Gelman,Andrew&Stern,Hal,2006年。"两者之间的差异,"美国统计学家,美国统计协会,第60卷,第328-331页,11月。
    10. Jesse Chandler等人,2016年。"对“评估心理科学的再现性”评论的回应,"Mathematica政策研究报告cff9c2f16bb544c4bcca530c0,数学政策研究。
    11. Nosek、Brian A.和Ebersole、Charles R.和DeHaven、Alexander Carl和Mellor、David Thomas,2018年。"预注册革命,"OSF预打印2dxu5,开放科学中心。
    12. Zacharias Maniadis&Fabio Tufano&John A.List,2014年。"一只燕子不能创造夏天:锚定效应的新证据,"美国经济评论,美国经济协会,第104(1)卷,第277-290页,1月。
    13. 日本明弘、白田弘、大卫·G·兰德和尼古拉斯·A·克里斯塔基斯,2015年。"实验性社交网络中财富的不平等和可见性,"自然,《自然》,第526卷(7573),第426-429页,10月。
    完整参考文献 (包括与IDEAS上的项目不匹配的项目)

    最相关的项目

    这些是最常引用与本书相同作品的项目,也被与本书同样的作品引用。
    1. Camerer、Colin&Dreber、Anna&Forsell、Eskil&Ho、Teck-Hua&Huber、Jurgen&Johannesson、Magnus&Kirchler、Michael&Almenberg、Johan&Altmejd、Adam&Chan、Taizan&Heikensten、Emma&Holzmeist,2016年。"评估经济学实验室实验的可复制性,"MPRA纸75461,德国慕尼黑大学图书馆。
    2. Eszter Czibor和David Jimenez‐Gomez&John A.名单,2019年。"实验经济学家应该做的十件事(更多),"南方经济杂志John Wiley&Sons,第86卷(2),第371-432页,10月。
    3. Muradchanian、Jasmine&Hoekstra、Rink&Kiers、Henk&van Ravenzwaaij、Don,2020年。"如何最好地量化复制成功?复制成功指标比较的仿真研究,"MetaArXiv公司wvdjf,开放科学中心。
    4. Mueller-Langer、Frank&Fecher、Benedikt&Harhoff、Dietmar&Wagner、Gert G.,2019年。"经济学中的复制研究——选择了多少论文、哪些论文进行复制,为什么?,"研究政策爱思唯尔,第48卷(1),第62-83页。
    5. 科尔·兰德尔·威廉姆斯(Cole Randall Williams),2019年。"重新定义统计重要性如何加剧复制危机,"经济学快报爱思唯尔,第181(C)卷,第65-69页。
    6. 斯特罗姆兰,埃里克和托尔斯维克,高特,2019年。"直觉顺产:异质性治疗效果还是假阳性?,"OSF预打印hrx2y,开放科学中心。
    7. John A.List、Azeem M.Shaikh和Yang Xu,2019年。"实验经济学中的多重假设检验,"实验经济学,施普林格;经济科学协会,第22卷(4),第773-793页,12月。
    8. Kiri、Bralind和Lacetera、Nicola和Zirulia,Lorenzo,2018年。"沼泽上方:高质量科学生产理论,"研究政策爱思唯尔,第47卷(5),第827-839页。
    9. Baltussen,Guido&Swinkels,Laurens&Van Vliet,Pim,2021年。"全球因子溢价,"金融经济学杂志爱思唯尔,第142(3)卷,第1128-1154页。
    10. Bernhard Voelkl&Lucile Vogt&Emily S Sena&Hanno Würbel,2018年。"临床前动物研究的再现性随着研究样本的异质性而提高,"PLOS生物学,公共科学图书馆,第16卷(2),第1-13页,2月。
    11. Felix Holzmeister&Magnus Johannesson&Robert Böhm&Anna Dreber&Jürgen Huber&Michael Kirchler,2023年。"效应规模估计的异质性:经验证据和实际意义,"工作文件2023-17年,因斯布鲁克大学经济与统计学院。
    12. Chin,Jason和Zeiler,Kathryn,2021。"实证法律研究中的可复制性,"LawArXiv公司2b5k4,开放科学中心。
    13. 汉娜·弗雷泽(Hannah Fraser)、蒂姆·帕克(Tim Parker)、中川信一(Shinichi Nakagawa)、阿什利·巴内特(Ashley Barnett)和菲奥娜·菲德勒(Fiona Fidler),2018年。"生态学和进化领域的可疑研究实践,"PLOS ONE系列,公共科学图书馆,第13卷(7),第1-16页,7月。
    14. Leonhard Hold,2020年。"复制研究分析和设计的新标准,"英国皇家统计学会杂志A辑皇家统计学会,第183(2)卷,第431-448页,2月。
    15. 斯特罗姆兰,埃里克,2019年。"预注册和再现性,"经济心理学杂志爱思唯尔,第75卷(PA)。
    16. Marquardt、Philipp&Noussair、Charles N&Weber、Martin,2019年。"市场趋势受到冲击的实验性资产市场中的理性预期,"欧洲经济评论爱思唯尔,第114(C)卷,第116-140页。
    17. 阿德勒(Adler)、苏珊娜·贾纳(Susanne Jana)和罗塞勒(Röseler)、卢卡斯(Lukas)和舍尼格尔(Schöniger)、玛蒂娜·卡塔琳娜(Martina Katharina),2023年。"评估已发表研究结果可信度的工具箱,"商业研究杂志爱思唯尔,第167(C)卷。
    18. Robbie C M van Aert和Marcel A L M van Assen,2017年。"复制原始研究后对影响大小的贝叶斯评估,"PLOS ONE系列,公共科学图书馆,第12卷(4),第1-23页,4月。
    19. Beau Coker&Cynthia Rudin&Gary King,2021年。"确保科学结果稳健性的统计推断理论,"管理科学,INFORMS,第67(10)卷,第6174-6197页,10月。
    20. 迈克尔·柯奇勒(Michael Kirchler)、大卫·安德森(David Andersson)、卡罗琳·波恩(Caroline Bonn)、马格努斯·约翰内森(Magnus Johannesson)和埃里克(Erik)。Sörensen&Matthias Stefan&Gustav Tinghög&Daniel Västfjäll,2017年。"快速和慢速决策对风险承担的影响,"风险与不确定性杂志,施普林格,第54卷(1),第37-59页,2月。

    有关此项目的更多信息

    统计

    访问和下载统计

    更正

    本网站上的所有材料均由各自的出版商和作者提供。您可以帮助纠正错误和遗漏。请求更正时,请提及此项目的句柄:RePEc:nat:nathum:v:2:y:2018:i:9:d:10.1038_s41562-018-0399-z。请参阅一般信息关于如何更正RePEc中的材料。

    如果您编写了此项目,但尚未在RePEc注册,我们鼓励您这样做在这里。这允许将您的个人资料链接到此项目。它还允许您接受我们不确定的该项目的潜在引用。

    如果CitEc公司识别了书目参考,但没有将RePEc中的项目链接到它,您可以帮助这个表格.

    如果你知道引用这一条的缺失条目,你可以通过以与上述相同的方式为每个引用条目添加相关引用来帮助我们创建这些链接。如果您是此项目的注册作者,您可能还需要检查您的RePEc作者服务个人资料,因为可能有一些引文等待确认。

    有关本项目的技术问题,或更正其作者、标题、摘要、书目或下载信息,请联系:Sonal Shukla或Springer Nature Abstracting and Indexing(以下电子邮件可用)。供应商的一般联系方式:http://www.nature.com网站.

    请注意,更正可能需要几周时间才能筛选出来各种RePEc服务。

    思想是一个经济学研究论文服务。RePEc使用各出版商提供的书目数据。