S公司 有时,科学发挥作用似乎令人惊讶。 2005年,一篇题为“为什么大多数已发表的研究结果都是虚假的”的论文震惊了医学界 1 该报告由斯坦福大学医学教授John Ioannidis撰写,实际上并没有表明任何特定的结果是错误的。 相反,它表明报告的阳性结果的统计数据与人们应该多久检查一次不一致 期待 找到他们。 正如Ioanidis最近得出的结论,“许多已发表的研究结果是虚假的或夸大的,估计85%的研究资源被浪费了。” 2
一些研究人员可能会有意识地收集数据,以发表他们的研究成果。 其中一些问题肯定与期刊出版政策有关。 但错误发现的问题往往始于研究人员无意中愚弄自己:他们成为认知偏见的牺牲品,这种常见的思维模式会诱使我们得出错误但方便或有吸引力的结论。 德国波恩马克斯·普朗克集体物品研究所(Max Planck Institute for Research on Collective Goods)的行为经济学家苏珊·菲德勒(Susann Fiedler)表示:“看到心理学和其他实证科学中的再现率,我们可以放心地说,有些事情并没有按照应有的方式进行。”。 “认知偏见可能是原因之一。”
弗吉尼亚大学的心理学家布赖恩·诺塞克说,科学中最常见和最有问题的偏见是“动机推理”:我们解释观察结果以适应特定的想法。 心理学家已经表明,“我们的大多数推理实际上是合理化,”他说。 换言之,我们已经决定了该做什么或该想什么,我们对推理的“解释”实际上是为做我们想做或相信的事辩护——无论如何。 当然,科学的本意是比日常思维更客观、更怀疑,但它到底有多少呢?
我意识到人类普遍存在偏见,但当我第一次“了解到”这些偏见也适用于科学家时,我有点惊讶,尽管它是如此明显。
哲学家卡尔·波普尔(Karl Popper)倡导的科学方法的证伪模型假设,科学家寻找方法来检验和证伪她的理论,比如问“我怎么错了?” 你 错了吗?”)。 当事实表明我们可能实际上并不正确时,我们倾向于将其视为无关的,如果不是真的错了的话。 20世纪80年代末,由电化学学家马丁·弗莱希曼和斯坦利·庞斯煽动的现在臭名昭著的“冷聚变”事件充满了这种即兴的抨击。 例如,当有人向Fleischmann和Pons指出,他们声称的聚变反应产生的伽马射线的能量谱峰值在错误的能量上时,他们只是移动了它,喃喃自语着关于校准的一些含糊不清的内容。
统计数据似乎可以通过数字优势缓解偏见,但它们同样令人担忧。 荷兰蒂尔堡大学的Chris Hartgerink致力于研究统计数据收集中“人为因素”的影响。 他指出,研究人员经常将虚假确定性归因于偶然统计。 他说:“研究人员和一般人一样,不善于考虑概率。”。 虽然有些结果肯定是假阴性的,也就是说,那些看起来不正确的结果排除了某些东西。Hartgerink说,他从未读过一篇论文对其发现做出如此多的结论。 他最近的研究表明,多达三分之二的心理学论文报告了无意义的结果,可能忽略了假阴性。 三
鉴于科学揭示了各种令人眼花缭乱的认知偏见,相对忽视它们在科学内部的后果是很奇怪的。 “我意识到人类普遍存在偏见,”Hartgerink说,“但当我第一次‘了解到’这些偏见也适用于科学家时,我有点惊讶,尽管它是如此明显。”
你能相信吗 1989年,马丁·弗莱什曼(Martin Fleischmann)和斯坦利·彭斯(Stanley Pons)声称在室温下的试管中产生了聚变反应(上图所示的模型)。 当有人向他们指出,从他们声称的反应中发出的伽马射线的能量谱峰值出现在错误的能量时,他们只是移动了峰值。 乔治·弗雷/盖蒂图片社
A类 对这种情况的常见反应是认为,即使个别科学家可能自欺欺人,其他人也会毫不犹豫地批评他们的想法或结果,所以这一切都一清二楚:科学作为一种公共活动是自我纠正的。 有时这是真的,但它不一定像我们想象的那样迅速或顺利地发生。
诺塞克认为,同行评审有时可能会积极阻碍对科学主张的明确和快速测试。 他指出,2011年意大利的一个物理学家团队 中微子的报告证据 它的速度明显超过光速(违反了爱因斯坦的狭义相对论), 4 审查和反驳 5, 6 得益于高能物理学家通过开放存取存储库分发论文预印本的高效系统,这一速度非常快。 如果测试依赖于通常的同行评审渠道,那么可能需要数年时间。
同样,当研究人员建议 科学 2010年,砷可能会取代某些微生物DNA中的磷,这一说法可能会改写生命的基本化学原理。一位研究人员进行了后续研究,试图复制这些发现,她认为在开源博客上记录自己正在进行的研究结果很重要。 这与最初的研究团队形成了对比,他们被批评没有报告任何后续证据来支持他们有争议的主张。 7
同行评议似乎是一种更容易出错的工具,尤其是在医学和心理学等领域,这比人们通常认为的更容易出错,因为 可复制性危机 “证明。 医学记者伊万·奥兰斯基(Ivan Oransky)和科学编辑亚当·马库斯(Adam Marcus)负责“收缩观察”服务, 这样说: “当科学按照设计运行时,随后的发现会增加、改变或完全破坏早期的研究……问题是,在科学领域,或者更准确地说,在科学出版物中,这个过程很少按照指示工作……今天在科学期刊上发表的许多(如果不是大多数)内容,只有在另一个 她的实验室再次尝试了这个实验,很可能甚至没有。” 8
科学文献被歪曲的原因之一是,期刊发表正面结果的可能性比负面结果大得多:说某事是真的比说它是错的容易。 期刊审稿人可能倾向于以过于无聊为由拒绝负面结果,而研究人员目前从这些发现中获得的资助者或部门的信任或地位微乎其微。 奥兰斯基和马库斯写道:“如果你做20个实验,其中一个很可能会有一个可发表的结果。”。 “但仅仅公布结果并不能使你的发现有效。事实恰恰相反。” 9
“和许多研究生一样,当我采取研究方法时,我对科学如何运作的理想主义破灭了。”
奥兰斯基认为,虽然科学领域的所有激励措施都强化了确认偏见,但出版的迫切性是最成问题的。 他说:“为了获得终身教职、拨款和认可,科学家需要经常在主要期刊上发表论文。”。 “这鼓励了积极和‘突破性’的发现,因为后者是获得引用和影响因素的因素。因此,科学家们自欺欺人地在他们的实验发现中看到完美的突破性结果也就不足为奇了。”
诺塞克对此表示赞同,他说,最具扭曲性的影响之一是授予荣誉、任期和资金的奖励制度。 “为了推进我的职业生涯,我需要尽可能频繁地在盈利最高的出版物上发表文章。这意味着我必须撰写更有可能发表的文章。”他说,这些文章都是报告积极结果的文章(“我发现了……”,而不是“我反驳了……。”), 原始结果(从未“我们证实了以前的发现…”),以及干净的结果(“我们证明了…”,而不是“不清楚如何解释这些结果”)。 但是“实验室里发生的大多数事情看起来都不像那样”,诺塞克说,事实上,这是胡说八道。 他问道:“我如何从繁杂到美丽的结果?”。 “我可以耐心等待,也可以运气好——或者我可以采取最简单的方式,对我选择的数据以及如何分析这些数据做出常常是无意识的决定,从而得出一个清晰的故事。但在这种情况下,我的推理肯定会有偏见。”
乌托邦: 布赖恩·诺塞克(Brian Nosek)正在追求一个科学乌托邦,在这个乌托邦中,科学摆脱了动机推理和确认偏见。 由Brian Nosek提供 糟糕的数据和错误的想法不仅可以存活下来,好的想法也可以通过积极的推理和职业压力被压制。 遗传学家芭芭拉·麦克林托克(Barbara McClintock)在20世纪40年代和50年代提出,一些DNA序列可以在染色体周围“跳跃”,生物化学家斯坦利·普鲁辛纳(Stanley Prusiner)在80年代提出,称为朊蛋白的蛋白质可以折叠成完全错误的形状,错误折叠可以从一种蛋白质传递到另一种蛋白质, 这两位研究人员在被证明是正确的并获得诺贝尔奖之前,都遭到了无情的嘲笑。 对大胆主张的怀疑总是有道理的,但回顾过去,我们可以看到,有时更多的是因为无法摆脱主流观点的偏见,而不是对证据质量的真正怀疑。 诺塞克说,麦克林托克和普鲁辛纳的例子表明,当证据的份量需要时,科学确实能够自我纠正,但“我们不知道在哪些例子中,有人提出了类似的见解,但却被彻底摒弃,从未被追求。”
可以肯定的是,科学家对此有一些认识。 许多人赞同哲学家托马斯·库恩(Thomas Kuhn)的理论,即科学经历了突如其来的范式转变,在这种转变中,整个领域的主流智慧遭到破坏,出现了一幅全新的图景。 在这种转变之间,我们只能看到符合普遍共识的“正常科学”,直到异常现象的积累产生足够的压力,冲破墙壁,形成新的范式。 经典的例子是20世纪初量子物理学的出现; 18世纪的化学燃素概念——被拉瓦锡的氧理论推翻的所谓“燃烧原理”——也符合这个模型。 马克斯·普朗克(Max Planck)的一句名言提出了另一种克服科学先入为主观念的方法:“科学一次推进一场葬礼。”只有当老保守派去世时,新思想才会突破。
T型 作为心理学研究生,诺塞克清楚地认识到偏见在科学中的作用。 他说:“和许多研究生一样,当我采用研究方法时,我对科学如何运作的理想主义被粉碎了。”。 “在那堂课上,我们读了许多论文,这些论文甚至是从20世纪50年代到20世纪70年代的旧文章,内容涉及出版偏见、低能力研究设计、缺乏复制、出版文章中方法论报道不足、缺乏原始数据访问以及对无效结果的偏见。”
此后,诺塞克致力于使科学更好地发挥作用。 10 他相信,通过揭示这些偏见,科学的进程和进步将变得更加顺畅,这意味着研究的方法、假设和解释将更加透明。 他说:“解决这些问题并不容易,因为它们是文化挑战,没有人能够改变一种文化。”。 “所以我从我能控制的问题开始:我的研究设计的力量。”
令人惊讶的是,诺塞克认为,科学中认知偏见的最有效解决方案之一可能来自最近因其容易出错和自我回避的方式而饱受批评的学科:药理学。 正是因为这些问题在制药行业如此明显,在诺塞克看来,这个社区在处理这些问题方面远远领先于其他科学界。 例如,由于制药公司及其合作者报告试验阳性结果和软性阴性结果的已知趋势,现在美国的法律要求所有临床试验在开始之前都必须登记。 这迫使研究人员无论说什么都要报告结果。
Nosek为研究制定了一个类似的预注册计划,称为 开放科学框架 (OSF)。 他已经计划了很多年,但当前软件开发人员Jeff Spies于2009-2010年加入他的实验室并将其作为一个论文项目时,它真的开始了。 诺塞克说:“很多人都参与其中,很快事情就变得更大了。”。 “我们为OSF建立了一个网站,社区和投资者围绕着它聚集。”Nosek和Spies共同创建了 开放科学中心 2013年在夏洛茨维尔(Charlottesville),该组织现在管理OSF,并能够免费提供服务。
Nosek说,这个想法是研究人员“提前写下他们的研究目的和他们认为会发生什么。”然后,当他们做实验时,他们同意必须严格在原始计划的范围内分析结果。 这听起来很简单,就像我们教孩子们如何做科学一样。 确实如此,但很少发生这种情况。 相反,正如Fiedler所证明的那样,分析是基于各种未陈述的、通常是无意识的假设,即什么会被看到或不会被看到。 诺塞克说,使用OSF的研究人员经常惊讶于,当他们来查看结果时,该项目如何偏离了他们最初的目标。
Hartgerink表示,通常会出现预期之外的结果。 “如果问公众是否可以这样做,他们会说不行。”
菲德勒已经使用了这项服务,他说,这不仅使研究保持诚实,而且使其运行更加顺畅。 她说:“OSF的预注册迫使我提前考虑所有细节,在我开始收集数据之前,项目以及一些写作工作已经完成。”。 “有了这种意识,我可以区分哪些结果是我信任的,哪些是我不信任的。”不仅仅是她:让整个过程透明化“让每个其他研究人员都有机会判断这个结果是否值得他们宝贵的研究时间。”
同时也是OSF用户的Hartgerink说,陈述你的目标也是一种检查你是否知道目标的好方法。 “一旦我们决定这样做,我们注意到解释这些假设本身就很困难”——这表明它们实际上还没有被清楚地表述出来。 他总结道:“如果你想测试假设,那么从技术上讲,预注册是必须的。”。 菲德勒说,在过去的一年里,她和她的所有博士生都使用了OSF计划。 “我从中学到了很多,所以我只能向我们这一行的每个人推荐,”她断言。
Hartgerink说,OSF和正常业务之间的区别很大。 由于大多数研究人员只是在完成研究后才写手稿,所以之前没有明确地写下假设。 “一旦结果已知,这将导致更有利的假设公式。”爱荷华州大学心理学家欧内斯特·奥博伊尔(Ernest O'Boyle)及其同事将这种偏见称为“蛹效应”,以使结果的回顾呈现更加美丽。哈特格林克(Hartgerink)说,其中一个结果是, 通常会出现预期之外的结果。 “如果问公众是否可以这样做,他们会说不可以。然而,这在科学界已经很长时间了。”
通常,假设和目标的这种转变只是发生了,没有意图,甚至没有认识到。 费德勒说:“在设计实验、收集数据、分析数据并将结果提交给我们的科学同事的有时漫长的过程中,我们看待问题的方式和相应的结果不断发展。”。 “一路走来,我们可能会忘记最初失败的测试,并提出我们的新见解,根据相同的数据回答不同的问题。”她说,这种科学方法有很大的价值:发现不可预见的联系很重要。 但这不仅改变了研究的目标,还可能导致研究人员“过于相信可能存在的虚假效应” 研究人员将球门柱留在原处。
但是,如果你在做实验之前就选择把自己限制在一个狭隘的目标范围内,难道你没有关闭那些你无法预见的潜在肥沃的道路吗? 诺塞克说,也许吧,但“从数据中学习”并不是得出可靠结论的途径。 他说:“目前我们把探索性研究和验证性研究混为一谈。”。 “一个经常被遗忘的基本事实是,你不能产生假设 和 用同样的数据测试它们。” 如果你发现一个有趣的新线索,你应该单独跟进,而不是告诉自己这就是实验一直以来的内容。
菲德勒对预先注册会扼杀创造力和自由的指控提出异议。 “这并不是每个人都必须做的事,”她说,在没有明确的假设检验议程的情况下收集数据的探索性研究仍然有重要的地位。 但我们需要考虑到这些区别。
Hartgerink认为,主要障碍是教育:研究人员根本不被建议这样做。 但他们最好这样做。“如果年轻的研究人员现在不开始应用这些技术,”他说,“他们可能会在10年后成为后座议员,因为以可复制、透明和公开的方式进行研究正成为常态。”
最终,诺塞克着眼于一个“科学乌托邦”,在这个乌托邦中,科学成为一种更有效的知识积累手段。 然而,没有人声称OSF将是我们到达目的地的灵丹妙药。 正如奥兰斯基所说,“更大的问题之一是让科学家停止自欺欺人。这需要消除有动机的推理和确认偏见,而我还没有看到任何好的解决方案。”因此,与OSF一起,Nosek认为必要的重组包括开放获取出版, 以及公开和持续的同行审查。 也许我们无法消除偏见,但我们可以软化他们的警笛声。 正如Nosek和他的同事、以色列本古里安大学的心理学家Yoav Bar Anan所说,“变革的关键障碍不是技术或财务障碍,而是社会障碍。尽管科学家们维护现状,但他们也有能力改变现状。”
菲利普·鲍尔是《 看不见:看不见的危险诱惑 还有许多关于科学和艺术的书。
工具书类
1.Ioanidis,J.P.A.为什么大多数公布的研究结果都是错误的。 公共科学图书馆医学 2 ,e124(2005)。
2.Ioanidis,J.P.A.如何使更多已发表的研究成为现实。 公共科学图书馆医学 11 ,e1001747(2014)。
3.Hartgerink,C.H.J.,van Assen,M.A.L.M.,&Wicherts,J.好到不能错:重新评估了无意义的结果。 开放科学框架 网址:https://osf.io (上次更新日期为2015年4月7日)检索自 https://osf.io/qpfnw/
4.安东内洛,M。, 等。 在CNGS束流处使用ICARUS探测器测量中微子速度。 预印本arXiv:1203.3433(2012)。
5.Brumfiel,G.中微子速度不超过光速。 自然新闻 (2012). 检索自doi:10.1038/nature.2012.10249
6.Cho,A.《物理学家再次揭穿Faster-Than-Light中微子新闻.sciencemag.org》(2012年)。
7.E.C.海登公开研究对砷的寿命提出了质疑。 自然新闻 (2011). 检索自doi:10.1038/news.2011.469
8.奥兰斯基,I。《与滚石不同:科学在自我修正方面真的比新闻更好吗?》? http://theconversation.com (2015).
9.Oransky,I.与滚石不同:科学真的比新闻业更好吗? 网址:www.iflscience.com (2015).
10.Ioanidis,J.P.A.,Munafo,M.R.,Fusar-Poli,P.,Nosek,B.A.,&David,S.P.出版和认知科学中的其他报告偏见:检测、流行和预防。 认知科学趋势 18 , 235-241 (2014).
获取Nautilus时事通讯
前沿科学,由最聪明的思想家揭示。