IDEAS主页打印自https://ideas.repec.org/p/inn/wpaper/2023-17.html
  我的参考书目  保存此纸张

效应大小估计的异质性：经验证据和实际意义

作者

上市的：
  • 费利克斯·霍尔兹梅斯特
  • 马格努斯·约翰内森
  • 罗伯特·伯姆
  • 安娜·德雷伯
  • 尤根·胡贝尔
  • 迈克尔·科奇勒

摘要

典型的实证研究包括选择样本、研究设计和分析路径。不同研究中此类选择的差异会导致结果的异质性，从而引入报告的标准误差和置信区间中未考虑的额外不确定性层。我们提供了一个研究社会科学异质性的框架，并将异质性分为人口异质性、设计异质性和分析异质性。我们通过多实验室复制研究、不同实验设计研究的前瞻性荟萃分析和多分析研究来评估每种类型的异质性。我们的结果表明，总体异质性往往相对较小，而设计和分析异质性则较大。对估计值的保守解释表明，将异质性引起的不确定性纳入其中，将使样本标准误差和置信区间大约加倍。我们说明，除非适当解释，否则这种程度的异质性对统计推断具有严重影响，虚假科学主张的比率大大增加。

建议引用

  • Felix Holzmeister&Magnus Johannesson&Robert Böhm&Anna Dreber&Jürgen Huber&Michael Kirchler，2023年。"效应大小估计的异质性：经验证据和实际意义,"工作文件2023-17年，因斯布鲁克大学经济与统计学院。
    • 手柄：RePEc：酒店：wppaper:2023-17
    作为

    从出版商下载全文

    文件URL: https://www2.uibk.ac.at/downloads/c9821000/wpaper/2023-17.pdf
    下载限制：不
    ---><---

    此项目的其他版本：

    IDEAS上列出的参考文献

    作为
    1. 凯瑟琳·米尔克曼（Katherine L.Milkman）、林妮娅·甘地（Linnea Gandhi）、米提什·帕特尔（Mitesh S.Patel）、希瑟·N·格拉奇（Heather N.Graci）、德纳·M·格罗姆特（Dena M.Gromet）、洪浩（Hung Ho）、约瑟夫·凯（Joseph S.Kay）、蒂莫西·W·李。"一项68万人的大型研究旨在鼓励药店接种疫苗,"美国国家科学院院刊《美国国家科学院院刊》，第119卷（6），第2115126119-页，2月。
    2. 阿曼达·克瓦尔文（Amanda Kvarven）、埃里克·斯特罗姆兰（Eirik Strómland）和马格努斯·约翰内森（Magnus Johannesson），2020年。"比较元分析和预先注册的多实验室复制项目,"自然-人类行为《自然》，第4卷（4），第423-434页，4月。
    3. Daniel J.Benjamin、James O.Berger、Magnus Johannesson、Brian A.Nosek&E.-J.Wagenmakers、Richard Berk、Kenneth A.Bollen、Björn Brembs、Lawrence Brown、Colin Camerer、David Cesarini&Chr，2018年。"重新定义统计显著性,"自然-人类行为《自然》，第2卷（1），第6-10页，1月。
      • Daniel Benjamin、James Berger、Magnus Johannesson、Brian Nosek、E.Wagenmakers、Richard Berk、Kenneth Bollen、Bjorn Brembs、Lawrence Brown、Colin Camerer、David Cesarini、Christopher Chambe，2017年。"重新定义统计重要性,"人工现场实验00612，现场实验网站。
    4. 凯瑟琳·米尔克曼（Katherine L.Milkman）、德纳·格罗姆特（Dena Gromet）、洪浩（Hung Ho）、约瑟夫·凯（Joseph S.Kay）、蒂莫西·W·李（Timothy W.Lee）、佩皮·潘迪洛斯基（Pepi Pandiloski）、叶吉·帕克（Yeji Park）、阿内什·雷（Aneesh Rai）、马克斯·巴。"大型研究提高了应用行为科学的影响力,"自然《自然》，第600卷（7889），第478-483页，12月。
    5. Regina Nuzzo，2014年。"科学方法：统计误差,"自然《自然》，第506卷（7487），第150-152页，2月。
    6. Abel Brodeur&Nikolai Cook&Anthony Heyes，2020年。"方法很重要：经济学因果分析中的p破解和出版偏见,"美国经济评论，美国经济协会，第110卷（11），第3634-3660页，11月。
    7. Schweinsberg、Martin&Feldman、Michael&Staub、Nicola&van den Akker、Olmo R.&van Aert、Robbie C.M.&van Assen、Marcel A.L.M.&Liu、Yang&Althoff、Tim&Heer、Jeffrey&Kale、Alex&Mohamed，Z，2021年。"相同的数据，不同的结论：当独立分析师操作和测试相同的假设时，实证结果的根本离散,"组织行为与人类决策过程爱思唯尔，第165（C）卷，第228-249页。
    8. Abel Brodeur&Mathias Lé&Marc Sangnier&Yanos Zylberberg，2016年。"星球大战：经验反击,"美国经济杂志：应用经济学，美国经济协会，第8卷（1），第1-32页，1月。
    9. Nate Breznau&Eike Mark Rinke&Alexander Wuttke&Hung H.V.Nguyen&Muna Adem&Jule Adriaans&Amalia Alvarez Benjumea&Henrik K.Andersen&Daniel Auer&Flavio Azevedo&Oke Bahnsen&Dave Bal，2022年。"使用相同的数据和假设对许多研究人员进行观察，揭示了一个隐藏的不确定性宇宙,"决策分析，INFORMS，第119（44）卷，第2203150119-页，11月。
    10. Eric-Jan Wagenmakers&Alexandra Sarafoglou&Balazs Aczel，2022年。"一个统计分析不能统领所有数据,"自然《自然》，第605卷（7910），第423-425页，5月。
    11. 维多利亚·斯托登（Victoria Stodden）、詹妮弗·塞勒（Jennifer Seiler）和马兆坤（Zhaokun Ma），2018年。"期刊政策有效性对计算再现性影响的实证分析,"美国国家科学院院刊《美国国家科学院院刊》，第115卷（11），第2584-2589页，3月。
    12. John P.A.Ioannidis&T.D.Stanley&Hristos Douculiagos，2017年。"经济学研究中偏见的力量,"经济杂志《皇家经济学会》，第127卷（605），第236-265页，10月。
    13. A.Delios&E.G.Clemente&T.Wu&H.Tan&Y.Wang&M.Gordon&D.Viganola&Z.Chen&A.Dreber&M.Johannesson&T.Pfeiffer&E.L.Uhlmann&A.M.A.Al Aziz&A.T.Abraham&J.Trojan&M.Adam，2022年。"从档案数据中检查研究结果的概括性,"打印后哈尔-04452695，哈尔。
    14. Uri Simonsohn和Joseph P.Simmons以及Leif D.Nelson，2020年。"规格曲线分析,"自然-人类行为《自然》，第4卷（11），第1208-1214页，11月。
    15. Wicherts、Jelte M.&Veldkamp、Coosje Lisabet Sterre&Augusteijn、Hilde&Bakker、Marjan&van Aert、Robbie Cornelis Maria&van Assen、Marcel A.L.M.，2016年。"计划、运行、分析和报告心理研究的自由度避免p黑客攻击的检查表,"OSF预打印umq8d，开放科学中心。
    16. Breznau、Nate&Rinke、Eike Mark&Wuttke、Alexander&Nguyen、Hung H.V.&Adem、Muna&Adrians、Jule&Alvarez-Benjumea、Amalia&Andersen、Henrik K.&Auer、Daniel&Azevedo、Flavio&Bahnsen、Oke，2022年。"使用相同的数据和假设对许多研究人员进行观察，揭示了一个隐藏的不确定性宇宙,"EconStor开放存取文章和书籍章节，ZBW-莱布尼茨经济信息中心，第119卷（44），第1-8页。
    17. Raphael Silberzahn和Eric L.Uhlmann，2015年。"众包研究：多人多艺,"自然《自然》，第526卷（7572），第189-191页，10月。
    18. Balazs Aczel&Barnabas Szaszi&Alexandra Sarafoglou&Zoltan Kekecs&Šimon Kucharskí&Daniel Benjamin&Christopher D.Chambers&Agneta Fisher&Andrew Gelman&Morton A.Gernsbacher&John P.Io，2020年。"作者更正：基于共识的透明度检查表,"自然-人类行为《自然》，第4卷（1），第120-120页，1月。
    19. Uri Simonsohn和Joseph P.Simmons以及Leif D.Nelson，2020年。"出版商更正：规格曲线分析,"自然-人类行为《自然》，第4卷（11），第1215-1215页，11月。
    20. Joel Ferguson、Rebecca Littman、Garret Christensen、Elizabeth Levy Paluck、Nicholas Swanson、Zenan Wang、Edward Miguel、David Birke、John-Henry Pezzuto，2023年。"社会科学中开放科学实践和态度调查,"自然通信《自然》，第14卷（1），第1-13页，12月。
    21. Dorothy Bishop，2019年。"在不可复制的四匹马中的缰绳,"自然《自然》，第568卷（7753），第435-435页，4月。
    22. Philip B.Stark，2018年。"在再现性出现之前，必须具备预生产性,"自然《自然》，第557卷（7707），第613-613页，5月。
    23. Christoph Huber&Anna Dreber&J¼rgen Huber和Magnus Johannesson&Michael Kirchler&Utz Weitzel&Miguel Abell&Xeniya Adayeva&Fehime Ceren Ay&Kai Barron&Zachariah Berry&Werner B¶nte，2023年。"竞争与道德行为：45个众包实验设计的元分析,"美国国家科学院院刊《美国国家科学院院刊》，第120卷（23），第2215572120-页，6月。
    24. 沃尔夫冈Viechtbauer，2010年。"使用metafor包在R中进行Meta-分析,"统计软件杂志《开放获取统计基金会》，第36卷（i03）。
    25. 克里斯托弗·布莱恩（Christopher J.Bryan）、伊丽莎白·蒂普顿（Elizabeth Tipton）和戴维·耶格尔（David S.Yeager），2021年。"如果没有异质性革命，行为科学不太可能改变世界,"自然-人类行为《自然》，第5卷（8），第980-989页，8月。
    26. Camerer、Colin&Dreber、Anna&Forsell、Eskil&Ho、Teck-Hua&Huber、Jurgen&Johannesson、Magnus&Kirchler、Michael&Almenberg、Johan&Altmejd、Adam&Chan、Taizan&Heikensten、Emma&Holzmeist，2016年。"评估经济学实验室实验的可复制性,"MPRA纸75461，德国慕尼黑大学图书馆。
    27. Rotem Botvinik-Nezer&Felix Holzmeister&Colin F.Camerer&Anna Dreber&Juergen Huber&Magnus Johannesson&Michael Kirchler&Roni Iwanir&Jeanette A.Mumford&R.Alison Adcock&Paolo Avesani，2020年。"多个团队对单个神经影像数据集的分析中的可变性,"自然，《自然》，第582卷（7810），第84-88页，6月。
    28. Kristijan Armeni&Loek Brinkman&Rickard Carlsson&Anita Eerland&Rianne Fijten&Robin Fondberg&Vera E Heininga&Stephan Heunis&Wei Qi Koh&Maurits Masselink&Niall Moran&Andrew Baoill，2021年。"促进开放科学实践的广泛采用：开放科学社区的作用,"科学与公共政策牛津大学出版社，第48卷（5），第605-611页。
    29. 凯瑟琳·米尔克曼（Katherine L.Milkman）、米特斯·帕特尔（Mitesh S.Patel）、林妮娅·甘地（Linnea Gandhi）、希瑟·N·格拉奇（Heather N.Graci）、德纳·M·格罗梅（Dena M.Gromet）、洪浩（Hung Ho）、约瑟夫·凯（Joseph S.Kay）、蒂莫西·李（Timothy W。"一项基于文本的鼓励患者在即将到来的医生预约中接种疫苗的大型研究,"美国国家科学院院刊《美国国家科学院院刊》，第118卷（20），第2101165118-页，5月。
    30. Brian C.Martinson和Melissa S.Anderson以及Raymond de Vries，2005年。"科学家行为不端,"自然《自然》，第435卷（7043），第737-738页，6月。
    31. Nosek、Brian A.和Ebersole、Charles R.和DeHaven、Alexander Carl和Mellor、David Thomas，2018年。"预注册革命,"OSF预打印2dxu5，开放科学中心。
    32. Balazs Aczel&Barnabas Szaszi&Alexandra Sarafoglou&Zoltan Kekecs&Šimon Kucharskí&Daniel Benjamin&Christopher D.Chambers&Agneta Fisher&Andrew Gelman&Morton A.Gernsbacher&John P.Io，2020年。"基于共识的透明度检查表,"自然-人类行为《自然》，第4卷（1），第4-6页，1月。
    完整参考文献 （包括与IDEAS上的项目不匹配的项目）

    最相关的项目

    这些是最常引用与本书相同作品的项目，也被与本书同样的作品引用。
    1. 纪尧姆·考克雷特（Guillaume Coqueret），2023年。"金融经济学中的分岔路径,"论文2401.08606，arXiv.org。
    2. Anna Dreber和Magnus Johannesson，2023年。"经济学中评估再现性和可复制性的框架,"鲁尔经济论文1055，RWI-莱布尼茨大学波鸿分校莱布尼兹学院杜伊斯堡大学。
    3. Christoph Huber&Anna Dreber&J¼rgen Huber和Magnus Johannesson&Michael Kirchler&Utz Weitzel&Miguel Abell&Xeniya Adayeva&Fehime Ceren Ay&Kai Barron&Zachariah Berry&Werner B¶nte，2023年。"竞争与道德行为：45个众包实验设计的元分析,"美国国家科学院院刊《美国国家科学院院刊》，第120卷（23），第2215572120-页，6月。
    4. Schweinsberg、Martin&Feldman、Michael&Staub、Nicola&van den Akker、Olmo R.&van Aert、Robbie C.M.&van Assen、Marcel A.L.M.&Liu、Yang&Althoff、Tim&Heer、Jeffrey&Kale、Alex&Mohamed，Z，2021年。"相同的数据，不同的结论：当独立分析师操作和测试相同的假设时，实证结果的根本离散,"组织行为与人类决策过程爱思唯尔，第165（C）卷，第228-249页。
    5. Eric-Jan Wagenmakers&Alexandra Sarafoglou&Sil Aarts&Casper Albers&Johannes Algermissen&Štěpán Bahník&Noah Dongen&Rink Hoekstra&David Moreau&Don Ravenzwaaij&Alja zza Sluga&Franziska，2021年。"提高统计实践透明度的七个步骤,"自然-人类行为，《自然》，第5卷（11），第1473-1480页，11月。
    6. Jasper Brinkerink，2023年。"当为星而战变成为星号而战：家族企业研究中的P-Hacking,"创业理论与实践第47（2）卷，第304-343页，3月。
    7. Slichter，David&Tran，Nhan，2023年。"更好的期刊发表更好的估计吗？,"MPRA纸118433，德国慕尼黑大学图书馆。
    8. Brodeur，Abel&Cook，Nikolai&Neisser，Carina，2022年。"P-Hacking、数据类型和数据共享策略,"IZA讨论文件15586年，劳动经济学研究所（IZA）。
    9. Kaiser，Tim&Lusardi，Annamaria&Menkhoff，Lukas&Urban，Carly，2022年。"金融教育影响金融知识和下游行为,"金融经济学杂志爱思唯尔，第145（2）卷，第255-272页。
    10. Dominika Ehrenbergerova&Josef Bajzik&Tomas Havranek，2023年。"货币政策何时影响房价？元分析,"国际货币基金组织经济评论Palgrave Macmillan；国际货币基金组织，第71（2）卷，第538-573页，6月。
    11. Ankel-Peters，Jörg&Fiala，Nathan&Neubauer，Florian，2023年。"经济学家会复制吗？,"经济行为与组织杂志爱思唯尔，第212（C）卷，第219-232页。
    12. 詹森·钦（Jason Chin）和凯瑟琳·泽勒（Kathryn Zeiler），2021年。"实证法律研究中的可复制性,"LawArXiv公司2b5k4，开放科学中心。
    13. Doucouliagos，Hristos&Hinz，Thomas&Zigova，Katarina，2022年。"偏见和职业：来自援助实效文献的证据,"欧洲政治经济学杂志爱思唯尔，第71卷（C）。
    14. 阿德勒（Adler）、苏珊娜·贾纳（Susanne Jana）和罗塞勒（Röseler）、卢卡斯（Lukas）和舍尼格尔（Schöniger）、玛蒂娜·卡塔琳娜（Martina Katharina），2023年。"评估已发表研究结果可信度的工具箱,"商业研究杂志爱思唯尔，第167（C）卷。
    15. 塞巴斯蒂安·巴克勒（Sebastian Bachler）、阿曼多·霍尔兹克内特（Armando Holzknecht）、于尔根·胡贝尔（Jürgen Huber）和迈克尔·柯奇勒（Michael Kirchler），2024年。"从个人选择到四眼原则：重温金融专业人士和学生之间的大抢劫游戏,"工作文件2024-04年，因斯布鲁克大学经济与统计学院。
    16. 金德里奇·马图塞克（Jindrich Matousek）、托马斯·哈夫拉内克（Tomas Havranek）和祖扎纳·伊尔索娃（Zuzana Irsova），2022年。"个人贴现率：实验证据的荟萃分析,"实验经济学，施普林格；经济科学协会，第25卷（1），第318-358页，2月。
    17. Christoph Huber和Christian König-Kersting，2022年。"与金融专业人士进行实验,"工作文件2022-07年，因斯布鲁克大学经济与统计学院。
    18. Nick Huntington‐Klein&Andreu Arenas&Emily Beam&Marco Bertoni&Jeffrey R.Bloem&Pralhad Burli&Naibin Chen&Paul Grieco&Godwin Ekpe&Todd Pugatch&Martin Saavedra&Yaniv Stopnitzky，2021年。"应用微观经济学中隐性研究者决策的影响,"经济调查《西方经济协会国际》，第59卷（3），第944-960页，7月。
      • 亨廷顿·克莱恩（Huntington-Klein）、尼克与阿里纳斯（Nick&Arenas）、安德烈与比姆（Andreu&Beam）、艾米丽·A·贝托尼（Emily A.&Bertoni）、马可与布隆（Marco&Bloem）、杰弗里·R·伯里（Jeffrey R.&Burli）、普拉哈德与陈（Pralhad&Chen）、奈宾与格雷科（Naibin&Greico。"应用微观经济学中隐性研究者决策的影响,"IZA讨论文件13233，劳动经济学研究所（IZA）。
      • 亨廷顿·克莱恩（Huntington-Klein）、尼克与阿里纳斯（Nick&Arenas）、安德烈与比姆（Andreu&Beam）、艾米丽与贝托尼（Emily&Bertoni）、马可与布隆（Marco&Bloem）、杰弗里·R&伯里（Jeffrey R.&Burli）、普拉哈德与陈（Pralhad&Chen）、奈宾与格雷科（Naibin&Greico）、保罗。"应用微观经济学中隐性研究者决策的影响,"GLO讨论论文系列537，全球劳工组织（GLO）。
    19. 安德烈亚斯·维格伦和罗杰·皮多克，2020年。"公共交通中乘客激励合同对公交车乘客量的影响,"交通研究A部分：政策与实践爱思唯尔，第135卷（C），第144-159页。
    20. Gechert、Sebastian&Mey、Bianka&Opatrny、Matej&Havranek、Tomas&Stanley、T.D.&Bom、Pedro R.D.&Doucouliagos、Hristos&Heimberger、Philipp&Irsova、Zuzana&Rachinger、Heiko J.，2023年。"经济学中的传统智慧、元分析与研究修正,"EconStor预印本280745，ZBW-莱布尼茨经济信息中心。

    有关此项目的更多信息

    关键词

    冲突;竞赛;冲突解决;群体决策;群体身份;联盟;实验;
    所有这些关键字.

    NEP字段

    这篇论文已在下面宣布NEP报告:

    统计

    访问和下载统计

    更正

    本网站上的所有材料均由各自的出版商和作者提供。你可以帮助纠正错误和遗漏。请求更正时，请提及此项目的句柄：RePEc：酒店：wppaper:2023-17。请参阅一般信息关于如何更正RePEc中的材料。

    如果您编写了此项目，但尚未在RePEc注册，我们鼓励您这样做在这里。这允许将您的个人资料链接到此项目。它还允许您接受我们不确定的该项目的潜在引用。

    如果CitEc公司识别了书目参考，但没有将RePEc中的项目链接到它，您可以帮助这个表格.

    如果你知道引用这一条的缺失条目，你可以通过以与上述相同的方式为每个引用条目添加相关引用来帮助我们创建这些链接。如果您是此项目的注册作者，您可能还需要检查您的RePEc作者服务个人资料，因为可能有一些引文等待确认。

    有关本项目的技术问题，或更正作者、标题、摘要、书目或下载信息，请联系：Janette Walde（以下电子邮件可用）。供应商的一般联系方式：https://edirc.repec.org/data/fuibkat.html.

    请注意，更正可能需要几周时间才能筛选出来各种RePEc服务。

    思想是一个经济学研究论文服务。RePEc使用各出版商提供的书目数据。